Python爬取链家北京租房房价|保存为csv格式文件

其实这是一个半途而废的“作品”（捂脸）
我的想法是：首先，我把链家上北京房价爬取下来保存为表格，每行有编号、小区和价格三个属性，然后通过百度地图API获得小区的经纬度，最后绘制热力图，康康红色的区域（房价最高位置）到绿色区域颜色过渡的分布，即房价分布吧，这个步骤是参考的[Python调用百度地图]。(https://blog.csdn.net/xxzj_zz2017/article/details/79396980)
但是，我只做了第一步，把链家房价数据爬取下来了，好吧，我还申请了一个百度地图的账号，所以为啥我不继续做下去嘞?因为，没动力了，不想做了，后面好麻烦啊，我老友记还没看完，我的人鱼线还没练出来，亲爱的热爱的韩商言好帅啊（我从法医秦明第一部就是张若昀演秦明那里就开始关注李现了，当时他有穿一件军绿色外套好看极了，然后看了他跟张若昀演的电影奇葩朵朵，挺颠覆形象的，还有电影睡在我上铺的兄弟，挺感人的，所以我在说些什么狗屁玩意，抱歉，来，继续说李现，不不不，这个代码，哈哈）
链家的网页是html类型的，跟bilibili一样，我之前写了个爬取b站排名靠前vlog的主题，所以这次代码有参考当时的，因为import urllib/BeautifulSoup/re库都是一样的。不过这次找内容有点麻烦，就是关键词的截取，不过最后写出来了（哎呦，不错哦）。直接康代码了，不解释。
代码：

import urllib
import time
import re
from bs4 import BeautifulSoup as bs
import csv#获得房价
def get_price():base_url="https://bj.lianjia.com/zufang/"#第一页for page in range(2,5):#后几页url=base_url+"/pg"+str(page)+"/"html=urllib.request.urlopen(url).read()soup=bs(html,'html.parser',from_encoding="utf-8")f=open("D://cs//python//summer//house_price.csv",'a',newline='')#打开文件csv_writer=csv.writer(f,dialect='excel')#设置写入模式i=0#编号try:for each in soup.find_all('div',{"class":"content__list--item--main"}):title=each.find('a').get_text()#获得小区位置title=title.lstrip()#去除左边空格print(title)if '·' in title:xiaoqu=re.findall(r'·(.*?) ', title)[0]else:xiaoqu=title.split()[0]print(xiaoqu)p=each.find('span',{"class":"content__list--item-price"})price=p.find('em').get_text()#获得房价print(price)hp=[i,xiaoqu,price]#一行信息csv_writer.writerow(hp)#写入一行i+=1time.sleep(0.5)except:print("error")get_price()

之后发挥一下高超的excel才能把数据整理一下，做个透视表啊啥的挺好的。或者完成热力图吧，我是let it go了，别学我哈。其实这篇就算水水了，打个卡8.

Python爬取链家北京租房房价|保存为csv格式文件相关推荐

Python爬取链家北京租房信息！北京租房都租不起啊！
一.效果图二.代码 import re from fake_useragent import UserAgent from lxml import etree import asyncio impo ...
Python爬取链家北京租房信息
刚学习了python,中途遇到很多问题,查了很多资料,最关键的就是要善于调试,div信息一定不要找错,下面就是我爬取租房信息的代码和运行结果: 链家的房租网站两个导入的包 1.requests 用来 ...
爬取链家北京租房数据并做简单分析
在一个来北京不久的学生眼中,北京是一个神秘又充满魅力的大城市.它无比美好,但又无时无刻不再觊觎这你薄弱的钱包. 租房是很多人都离不开的硬性需求,这里就对从链家爬取的北京地区房屋出租数据进行一个简单分析 ...
python爬取链家房价消息_Python的scrapy之爬取链家网房价信息并保存到本地
因为有在北京租房的打算,于是上网浏览了一下链家网站的房价,想将他们爬取下来,并保存到本地. 先看链家网的源码..房价信息都保存在 ul 下的li 里面爬虫结构: 其中封装了一个数据库处理模 ...
python爬房源信息_用python爬取链家网的二手房信息
题外话:这几天用python做题,算是有头有尾地完成了.这两天会抽空把我的思路和方法,还有代码贴出来,供python的初学者参考.我python的实战经历不多,所以代码也是简单易懂的那种.当然过程中还 ...
python爬取链家网的房屋数据
python爬取链家网的房屋数据爬取内容爬取源网站爬取内容爬取思路爬取的数据代码获取房屋url 获取房屋具体信息爬取内容爬取源网站北京二手房 https://bj.lianjia. ...
python 爬取链家数据_用python爬取链家网的二手房信息
题外话:这几天用python做题,算是有头有尾地完成了.这两天会抽空把我的思路和方法,还有代码贴出来,供python的初学者参考.我python的实战经历不多,所以代码也是简单易懂的那种.当然过程中还 ...
python关于二手房的课程论文_基于python爬取链家二手房信息代码示例
基本环境配置 python 3.6 pycharm requests parsel time 相关模块pip安装即可确定目标网页数据哦豁,这个价格..................看到都觉得脑阔 ...
租房不入坑不进坑，Python爬取链家二手房的数据，提前了解租房信息
目录前言一.查找数据所在位置: 二.确定数据存放位置: 三.获取html数据: 四.解析html,提取有用数据: 前言贫穷限制了我的想象,从大学进入到社会这么久,从刚开始的兴致勃勃,觉得钱有什么 ...
python爬取链家新房_Python爬虫实战：爬取链家网二手房数据
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 买房装修,是每个人都要经历的重要事情之一.相对于新房交易市场来说,如今的二手房交易市场一点也 ...

Python爬取链家北京租房房价|保存为csv格式文件

Python爬取链家北京租房房价|保存为csv格式文件相关推荐

最新文章

热门文章