直接上代码吧，应该很好理解

import requests
import lxml.html
import time
from fake_useragent import UserAgent
import pymongo
import randomf = "https://bj.lianjia.com/ershoufang/"
ua = UserAgent()
client = pymongo.MongoClient()
database = client['lianjia']
collection = database['spider']proxyHost = "http-dyn.abuyun.com"
proxyPort = "9020"# 代理隧道验证信息
proxyUser = "xxxxx"
proxyPass = "xxxxx"proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {"host": proxyHost,"port": proxyPort,"user": proxyUser,"pass": proxyPass,
}proxies = {"http": proxyMeta,"https": proxyMeta,
}
url_list = []
for i in range(1, 101):right_url = 'https://bj.lianjia.com/ershoufang/pg{}/'.format(i)url_list.append(right_url)
t = True
num = 0
while t:try:HEADERS = {'Referer': 'https://bj.lianjia.com/?utm_source=baidu&utm_medium=pinzhuan&utm_term=biaoti&utm_content=biaotimiaoshu&utm_campaign=sousuo&ljref=pc_sem_baidu_ppzq_x','User-Agent': ua.random}print(url_list[num])html = requests.get(url_list[num], headers=HEADERS, proxies=proxies).content.decode()source = lxml.html.fromstring(html)title = source.xpath('//*[@id="content"]/div[1]/ul/li/div[1]/div[2]/div/a/text()')info = source.xpath('//*[@id="content"]/div[1]/ul/li/div[1]/div[2]/div/text()')price = source.xpath('//*[@id="content"]/div[1]/ul/li/div[1]/div[6]/div[1]/span/text()')per_price = source.xpath('/html/body/div[4]/div[1]/ul/li/div[1]/div[6]/div[2]/span/text()')dic = {}for i in range(len(title)):dic = {'location': title[i], 'info': info[i], 'price': price[i], 'per_price': per_price[i]}collection.insert_one(dic)print(dic)time.sleep(random.randint(3, 6))num += 1if num == 100:t = Falseexcept Exception as e:num += 1print(e)continueprint('信息采集完毕')

采集这些网站最后花点钱买一个ip代理，这样不容易中途被封ip 我用的是阿布云 1块钱一个小时很划算
下面是采集的结果部分数据

如果你正好有买房的想法，可以再采集全部成交二手房那个的信息，然后进行数据对比这样就能知道你想要买的房子大概市面价是多少。

python 爬虫链家网二手房信息采集代码相关推荐

【Python】链家网二手房购房决策树
整体流程: 1.数据抓取: 2.数据清洗: 3.建模及优化: 4.业务意义: 5.反思. 一.数据抓取环境:python3.7 from parsel import Selector import ...
python爬取链家新房_Python爬虫实战：爬取链家网二手房数据
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 买房装修,是每个人都要经历的重要事情之一.相对于新房交易市场来说,如今的二手房交易市场一点也 ...
python爬取链家新房数据_Python爬虫实战：爬取链家网二手房数据
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 买房装修,是每个人都要经历的重要事情之一.相对于新房交易市场来说,如今的二手房交易市场一点也 ...
链家网二手房数据分析（承接上篇爬虫）
import pandas as pd import numpy as np import matplotlib.pyplot as plt plt.rcParams['font.sans-serif ...
python二手房使用教程_python实战：基于链家网二手房数据解析任务
实战:基于链家网二手房数据解析任务页面:https://bd.ke.com/ershoufang/ 获取如下信息: 标题位置房屋信息关注人数 / 发布时间房屋总价房屋单价备注信息 1.导 ...
爬取链家网二手房数据并保存到mongodb中
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档爬取链家网二手房数据并保存到mongodb中文章目录前言一.爬虫的介绍二.协程的介绍三.css选择器四.基于asyncio ...
数据分析：pandas分析链家网二手房信息
分析链家网南京市二手房信息链家网二手房数据的采集方法参见之前的博客:数据采集(四):用XPath爬取链家网房价数据总共有3000条二手房信息记录. import pandas as pd impo ...
Python爬虫攻略(2)Selenium+多线程爬取链家网二手房信息
申明:本文对爬取的数据仅做学习使用,请勿使用爬取的数据做任何商业活动,侵删前戏安装Selenium: pip install selenium 如果下载速度较慢, 推荐使用国内源: pip ins ...
php爬取房源,Python 爬虫链家二手房（自行输入城市爬取）
因同事想在沈阳买房,对比分析沈阳各区的房价,让我帮忙爬取一下链家网相关数据,然后打算记下笔记用于总结学到的东西&用到的东西. 一.爬虫需要会什么? 学习东西首先你要知道它是干嘛的.爬虫 ...

python 爬虫链家网二手房信息采集代码

直接上代码吧，应该很好理解

python 爬虫链家网二手房信息采集代码相关推荐

最新文章

热门文章

python 爬虫 链家网二手房信息采集代码

直接上代码吧，应该很好理解

python 爬虫 链家网二手房信息采集代码相关推荐

最新文章

热门文章

python 爬虫链家网二手房信息采集代码

python 爬虫链家网二手房信息采集代码相关推荐