price = re.findall(price_rule, html)

# 小区所在区域

district_rule = r'class="district" title=".*?">(.*?)'

district = re.findall(district_rule, html)

# 小区所在商圈

bizcircle_rule = r'class="bizcircle" title=".*?">(.*?)&nbsp'

bizcircle = re.findall(bizcircle_rule, html)

# 建立小区名和房价对应的字典

housing_price_dict = {}

if len(name) == len(price) == len(district) == len(bizcircle):

for i in range(len(name)):

infor = [] # 存放信息的列表

if price[i] != '暂无': #因为存在暂无，把除了暂无房价数据以外的房价变成浮点型

floated = float(price[i])

else:

floated = '暂无'

infor.append(district[i])

infor.append(bizcircle[i])

infor.append(floated)

housing_price_dict[name[i]] = infor # 遍历生成键值

else:

print('参数匹配失败')

return housing_price_dict

二、遍历输入的n个页面，并且把n个页面获取的数据字典整合为一个。

上面已经写了爬取一个页面的def，现在要在上面def的基础上自动生成url并且爬取n个页面并且整合n个页面的数据。

首先先写一个合并两个字典的def放在这，等下用得着。

# 合并字典

def merge_dict(dict1, dict2):

merged = {**dict1, **dict2}

return merged

然后写一个遍历页面的def，经过简单的观察切换页面只需要在原来的url后面+pg+数字就行。

下面这个def的思路是输入起始和中止页，用for遍历起始和中止页之间的所有页面，然后用一里面的def爬取每个单页的数据，最后把每个单页得到的字典整合起来。

# 整合房价字典

def merge_price_dict(start, end):

initial = {}

for pg in range(start, end+1): # 设置起始和中止界面

url = f'https://bj.lianjia.com/xiaoqu/pg{pg}/'

prices = get_housing_price(url)

time.sleep(1)

initial = merge_dict(initial, prices)

return initial

三、举个栗子。

拥有了以上的三个def就可以完成数据的爬取和打印工作了。下面举个简单的栗子谈谈如何串联三个def。

只需要三行(如果大家需要自己该代码写入excel之类的话，可以直接放弃第二行第三行)：

第一行：获取3-5页里的房价数据并且整合为一个字典。

第二行：美化一下第一行的字典(主要为了打印出来比较好看)。

第三行：打印。

price_dict = merge_price_dict(3, 5)

formation_dict = json.dumps(price_dict, indent=4, ensure_ascii=False) # 输出美化

print(formation_dict)

打印出来结果长这样。

完整代码

import requests

import re

import time

import json

# 爬取房价并且返回一个页面的字典

def get_housing_price(url):

url = str(url)

html = requests.get(url).text # 获取页面原代码

# 正则表达式

# 小区名

name_rule = r'lianjia.com/xiaoqu/[0-9]*/" target="_blank">(.*?)' #[0-9]* 表示任意多个数字 .*? 匹配一次

name = re.findall(name_rule, html)

# 房价

price_rule = r'