import requests
import time
import re
from lxml import etree# 获取某市区域的所有链接
def get_areas(url):print('start grabing areas')headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36'}resposne = requests.get(url, headers=headers)content = etree.HTML(resposne.text)areas = content.xpath("//dd[@data-index = '0']//div[@class='option-list']/a/text()")areas_link = content.xpath("//dd[@data-index = '0']//div[@class='option-list']/a/@href")for i in range(1,len(areas)):area = areas[i]area_link = areas_link[i]link = 'https://bj.lianjia.com' + area_linkprint("开始抓取页面")get_pages(area, link)#通过获取某一区域的页数，来拼接某一页的链接
def get_pages(area,area_link):headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36'}resposne = requests.get(area_link, headers=headers)pages =  int(re.findall("page-data=\'{\"totalPage\":(\d+),\"curPage\"", resposne.text)[0])print("这个区域有" + str(pages) + "页")for page in range(1,pages+1):url = 'https://bj.lianjia.com/zufang/dongcheng/pg' + str(page)print("开始抓取" + str(page) +"的信息")get_house_info(area,url)#获取某一区域某一页的详细房租信息
def get_house_info(area, url):headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36'}time.sleep(2)try:resposne = requests.get(url, headers=headers)content = etree.HTML(resposne.text)info=[]for i in range(30):title = content.xpath("//div[@class='where']/a/span/text()")[i]room_type = content.xpath("//div[@class='where']/span[1]/span/text()")[i]square = re.findall("(\d+)",content.xpath("//div[@class='where']/span[2]/text()")[i])[0]position = content.xpath("//div[@class='where']/span[3]/text()")[i].replace(" ", "")try:detail_place = re.findall("([\u4E00-\u9FA5]+)租房", content.xpath("//div[@class='other']/div/a/text()")[i])[0]except Exception as e:detail_place = ""floor =re.findall("([\u4E00-\u9FA5]+)\(", content.xpath("//div[@class='other']/div/text()[1]")[i])[0]total_floor = re.findall("(\d+)",content.xpath("//div[@class='other']/div/text()[1]")[i])[0]try:house_year = re.findall("(\d+)",content.xpath("//div[@class='other']/div/text()[2]")[i])[0]except Exception as e:house_year = ""price = content.xpath("//div[@class='col-3']/div/span/text()")[i]with open('链家北京租房.txt','a',encoding='utf-8') as f:f.write(area + ',' + title + ',' + room_type + ',' + square + ',' +position+','+ detail_place+','+floor+','+total_floor+','+price+','+house_year+'\n')print('writing work has done!continue the next page')except Exception as e:print( 'ooops! connecting error, retrying.....')time.sleep(20)return get_house_info(area, url)def main():print('start!')url = 'https://bj.lianjia.com/zufang'get_areas(url)if __name__ == '__main__':main()复制代码

#北京路段_房屋均价分布图
detail_place = df.groupby(['detail_place'])
house_com = detail_place['price'].agg(['mean','count'])
house_com.reset_index(inplace=True)
detail_place_main = house_com.sort_values('count',ascending=False)[0:20]attr = detail_place_main['detail_place']
v1 = detail_place_main['count']
v2 = detail_place_main['mean']line = Line("北京主要路段房租均价")
line.add("路段",attr,v2,is_stack=True,xaxis_rotate=30,yaxix_min=4.2,
mark_point=['min','max'],xaxis_interval=0,line_color='lightblue',    line_width=4,mark_point_textcolor='black',mark_point_color='lightblue',is_splitline_show=False)bar = Bar("北京主要路段房屋数量")
bar.add("路段",attr,v1,is_stack=True,xaxis_rotate=30,yaxix_min=4.2,xaxis_interval=0,is_splitline_show=False)overlap = Overlap()
overlap.add(bar)
overlap.add(line,yaxis_index=1,is_add_yaxis=True)
overlap.render('北京路段_房屋均价分布图.html')复制代码

#房源价格区间分布图
price_info = df[['area', 'price']]#对价格分区
bins = [0,1000,1500,2000,2500,3000,4000,5000,6000,8000,10000]level = ['0-1000','1000-1500', '1500-2000', '2000-3000', '3000-4000', '4000-5000', '5000-6000', '6000-8000', '8000-1000','10000以上']price_stage = pd.cut(price_info['price'], bins = bins,labels = level).value_counts().sort_index()attr = price_stage.index
v1 = price_stage.valuesbar = Bar("价格区间&房源数量分布")
bar.add("",attr,v1,is_stack=True,xaxis_rotate=30,yaxix_min=4.2,xaxis_interval=0,is_splitline_show=False)overlap = Overlap()
overlap.add(bar)
overlap.render('价格区间&房源数量分布.html')复制代码

#房屋面积分布
bins =[0,30,60,90,120,150,200,300,400,700]
level = ['0-30', '30-60', '60-90', '90-120', '120-150', '150-200', '200-300','300-400','400+']
df['square_level'] = pd.cut(df['square'],bins = bins,labels = level)df_digit= df[['area', 'room_type', 'square', 'position', 'total_floor', 'floor', 'house_year', 'price', 'square_level']]
s = df_digit['square_level'].value_counts()
attr = s.index
v1 = s.values
pie = Pie("房屋面积分布",title_pos='center')pie.add("",attr,v1,radius=[40, 75],label_text_color=None,is_label_show=True,legend_orient="vertical",legend_pos="left",
)overlap = Overlap()
overlap.add(pie)
overlap.render('房屋面积分布.html')#房屋面积&价位分布
bins =[0,30,60,90,120,150,200,300,400,700]
level = ['0-30', '30-60', '60-90', '90-120', '120-150', '150-200', '200-300','300-400','400+']
df['square_level'] = pd.cut(df['square'],bins = bins,labels = level)
df_digit= df[['area', 'room_type', 'square', 'position', 'total_floor', 'floor', 'house_year', 'price', 'square_level']]
square = df_digit[['square_level','price']]
prices = square.groupby('square_level').mean().reset_index()
amount = square.groupby('square_level').count().reset_index()
attr = prices['square_level']
v1 = prices['price']
pie = Bar("房屋面积&价位分布布")
pie.add("", attr, v1, is_label_show=True)
pie.render()
bar = Bar("房屋面积&价位分布")
bar.add("",attr,v1,is_stack=True,xaxis_rotate=30,yaxix_min=4.2,xaxis_interval=0,is_splitline_show=False)overlap = Overlap()
overlap.add(bar)
overlap.render('房屋面积&价位分布.html')复制代码

关注公众账号

回复 数字“1”下载从入门到研究，人工智能领域最值得一读的10本资料（附下载）

回复 数字“2”机器学习 & 数据科学必读的经典书籍，内附资料包！

回复 数字“3”走进AI & ML：从基本的统计学到机器学习书单（附PDF下载）

回复 数字“4”了解人工智能，30份书单不容错过（附电子版PDF下载）

回复 数字“5”大数据学习资料下载，新手攻略，数据分析工具、软件使用教程

回复 数字“6”AI人工智能：54份行业重磅报告汇总（附下载）

回复 数字“7”TensorFlow介绍、安装教程、图像识别应用（附安装包/指南）

回复 数字“8”大数据资料全解析(352个案例+大数据交易白皮书+国内外政策汇篇)

回复 数字“9”干货 | 荐读10本大数据书籍（初级/中级/高级）成为大数据专家！

回复 数字“10”麦肯锡160页报告：2030年全球将可能8亿人要被机器抢饭碗

回复 数字“11”50本书籍大礼包：AI人工智能/大数据/Database/Linear Algebra/Python/机器学习/Hadoop

回复 数字“12”小白| Python+Matlab+机器学习+深度神经网络+理论+实践+视频+课件+源码，附下载！

回复 数字“13”大数据技术教程+书籍+Hadoop视频+大数据研报+科普类书籍

回复 数字“14”小白| 机器学习和深度学习必读书籍+机器学习实战视频/PPT+大数据分析书籍推荐！

回复 数字“15”大数据hadoop技术电子书+技术理论+实战+源代码分析+专家分享PPT

回复 数字“16”100G Python从入门到精通！自学必备全套视频教程+python经典书籍！

回复 数字“17”【干货】31篇关于深度学习必读论文汇总(附论文下载地址)

回复 数字“18”526份行业报告+白皮书：AI人工智能、机器人、智能出行、智能家居、物联网、VR/AR、 区块链等（附下载）

回复 数字“19”800G人工智能学习资料:AI电子书+Python语言入门+教程+机器学习等限时免费领取！

回复 数字“20”17张思维导图，一网打尽机器学习统计基础（附下载）

回复 数字“21”收藏 |7本 Matlab入门经典教程书籍，不可错过！

回复 数字“22”吴恩达新书，教你构建机器学习项目：《Machine Learning Yearning》

回复 数字“23”机器学习：怎样才能做到从入门到不放弃？（内含福利）

回复 数字“24”限时下载 | 132G编程资料：Python、JAVA、C，C++、机器人编程、PLC，入门到精通~

回复 数字“25”限资源 | 177G Python/机器学习/深度学习/算法/TensorFlow等视频，涵盖入门/中级/项目各阶段！

回复 数字“26”人工智能入门书单推荐，学习AI的请收藏好（附PDF下载）

回复 数字“27”资源 | 吴恩达斯坦福CS230深度学习课程全套资料放出（附下载）

回复 数字“28”懂这个技术的程序员被BAT疯抢...（内含资料包）

回复 数字“29”干货 | 28本大数据/数据分析/数据挖掘电子书合集免费下载！

回复 数字“30”领取 | 100+人工智能学习、深度学习、机器学习、大数据、算法等资料，果断收藏！

回复 数字“31”2G谷歌机器学习25讲速成课全集（中文版），限时下载

回复 数字“32”Matlab安装包+教程视频，让你从入门到精通！

回复 数字“33”程序员去阿里面试，没想到过程如此壮烈 （内含资料包）

回复 人工智能下载《FMI人工智能与大数据峰会嘉宾演讲PPT》

回复 AI 江湖下载《十大AI江湖领域》

回复 ML实践下载《机器学习实践经验指导（英文版）》

回复 DL论文下载《深度学习100篇以上论文资料》

回复 算法 下载《数据挖掘十大经典算法》

回复 6.10 下载《6.10饿了么&飞马网项目管理实践PPT》