python爬虫-selenium爬取链家网房源信息

使用selenium抓取链家网房源信息，含分页处理。
源码如下，详细请看注释：

# coding=utf-8
from selenium import webdriver
import time
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait'''
抓取链家网默认排序的房源信息
date：2019-11-17
Author:broccoli
'''def write2txt(line):with open('./result.txt', 'a', encoding='utf-8') as f:f.write(line + '\n')def process():driver_path = r"D:\chromedriver.exe"options = webdriver.ChromeOptions()# options.add_experimental_option('excludeSwitches', ['enable-automation'])browser = webdriver.Chrome(executable_path=driver_path)browser.implicitly_wait(1)#实现页码拼接，第一页为一种情况，第2页以后要拼接上数字for page in range(1, 50):if page == 1:url = 'https://sh.lianjia.com/ershoufang/?utm_source=baidu&utm_medium=pinzhuan&utm_term=biaoti&utm_content=biaotimiaoshu&utm_campaign=sousuo&ljref=pc_sem_baidu_ppzq_x'else:url = 'https://sh.lianjia.com/ershoufang/pg' + str(page) +'/?utm_source=baidu&utm_medium=pinzhuan&utm_term=biaoti&utm_content=biaotimiaoshu&utm_campaign=sousuo&ljref=pc_sem_baidu_ppzq_x'browser.get(url)browser.maximize_window()wait = WebDriverWait(browser, 3)ul = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, 'div.content  > div > ul')))li_list = ul.find_elements_by_tag_name('li')li_len = print(len(li_list))#添加num计数器是为了跳过第6个li元素，该元素下面没有文本内容，仅有一张广告图片num = 0for li in li_list:if num != 5:detail_div = li.find_element_by_css_selector('div')print(num)detail_div_list = detail_div.find_elements_by_tag_name('div')title = detail_div_list[0].find_element_by_tag_name('a').textprint('房源：',title)write2txt('房源：'+title)flood_postition_list = detail_div_list[1].find_element_by_tag_name('div').find_elements_by_tag_name('a')print('房源位置：',flood_postition_list[0].text + flood_postition_list[1].text)write2txt('房源位置：' + flood_postition_list[0].text + flood_postition_list[1].text)#address = detail_div_list[2].find_element_by_css_selector('div.houseInfo').text#print(address)followInfo = detail_div_list[3].find_element_by_tag_name('div').textprint('详细信息：', followInfo)write2txt('详细信息：'+ followInfo)#span_list = detail_div_list[4].find_elements_by_tag_name('span')#print(span_list[0].text + span_list[1].text)num += 1if __name__ == '__main__':process()

抓取下来的信息如下：

python爬虫-selenium爬取链家网房源信息相关推荐

python+selenium爬取链家网房源信息并保存至csv
python+selenium爬取链家网房源信息并保存至csv 抓取的信息有:房源', '详细信息', '价格','楼层', '有无电梯 import csv from selenium import ...
如何高效地爬取链家的房源信息（四）
"Python实现的链家网站的爬虫第四部分,最后一部分." 本系列文将以链家南京站为例,使用Python实现链家二手房源信息的爬虫,将数据爬取,并存入数据库中,以便使用. 本系列第 ...
如何高效地爬取链家的房源信息（三）
"Python实现的链家网站的爬虫第三部分." 本系列文将以链家南京站为例,使用Python实现链家二手房源信息的爬虫,将数据爬取,并存入数据库中,以便使用. 本系列第一部分为基础 ...
如何高效地爬取链家的房源信息（二）
"Python实现的链家网站的爬虫第二部分." 本系列文将以链家南京站为例,使用Python实现链家二手房源信息的爬虫,将数据爬取,并存入数据库中,以便使用. 本系列第一部分: 如 ...
Python 小项目 01 爬虫项目爬取链家网南京地区二手房信息
SpiderLianjia 介绍 python爬虫小程序,爬取链家网南京地区普通住宅二手房数据. 代码下载: https://gitee.com/lihaogn/SpiderLianjia 1 程序设 ...
【爬虫】爬取链家网青城山二手房源信息
一.项目背景本项目是用python爬虫来实现爬取链家网青城山的二手房信息,我们小组是针对于在我们成都东软学院周边的二手房信息做一个数据爬取和建表.我们小组做这个项目的背景是因为在不久的将来,我们大学 ...
python 爬虫实践（爬取链家成交房源信息和价格）
简单介绍 pi: 简单介绍下,我们需要用到的技术,python 版本是用的pyhon3,系统环境是linux,开发工具是vscode:工具包:request 爬取页面数据,然后redis 实现数据缓存 ...
python爬取南京市房价_Python的scrapy之爬取链家网房价信息并保存到本地
因为有在北京租房的打算,于是上网浏览了一下链家网站的房价,想将他们爬取下来,并保存到本地. 先看链家网的源码..房价信息都保存在 ul 下的li 里面爬虫结构: 其中封装了一个数据库处理模 ...
python爬取链家房价消息_Python的scrapy之爬取链家网房价信息并保存到本地
因为有在北京租房的打算,于是上网浏览了一下链家网站的房价,想将他们爬取下来,并保存到本地. 先看链家网的源码..房价信息都保存在 ul 下的li 里面爬虫结构: 其中封装了一个数据库处理模 ...
爬虫，爬取链家网北京二手房信息
# 链家网二手房信息爬取 import re import time import requests import pandas as pd from bs4 import BeautifulSoup ...

python爬虫-selenium爬取链家网房源信息

python爬虫-selenium爬取链家网房源信息相关推荐

最新文章

热门文章