分页抓取链家房源信息 xpath selenium

import time
from selenium import webdriver
for num in range(1,11):#实现分页浏览

url = 'https://cq.fang.lianjia.com/loupan/nhs'+str(num)+'/'print(url)driver=webdriver.Chrome()
driver.get(url)
js='scrollTo(0,500)'
driver.execute_script(js)lists=driver.find_elements_by_xpath('//div[@class="resblock-desc-wrapper"]')fp=open('./链家.txt',"a",encoding="utf-8")
for list1 in lists:temp={}temp["title"]=list1.find_element_by_xpath('./div[@class="resblock-name"]/a').texttemp['location'] = list1.find_element_by_xpath('./div[@class="resblock-location"]/span').texttemp['price']=list1.find_element_by_xpath('./div[@class="resblock-price"]//span').textprint(temp)fp.write(str(temp)+"\n")
driver.close()

分页抓取链家房源信息 xpath selenium相关推荐

python找房源_python抓取链家房源信息(二)
试着用scrapy将之前写的抓取链家网信息的重新写了写然后先是用了第一页的网页作为测试,调试代码,然后发现总是抓取的时候遇见了类似于这样的问题,并且抓取不到信息 2017-03-28 17:52: ...
Python爬虫三：抓取链家已成交二手房信息（58W数据）
环境:Windows7+python3.6+Pycharm2017 目标:抓取链家北京地区已成交二手房信息(无需登录),如下图,户型.朝向.成交时间价格等,保存到csv.最后一共抓取约58W数据,程序 ...
python爬虫之scrapy初试与抓取链家成交房产记录
接上一篇文章,本机安装好python之后和scrapy之后,我们开始学习使用scrapy创建爬虫程序. 今天先来点简单的,不那么复杂,先看看抓取链家网里面的房价信息. 首先使用CMD命令行进入F盘创建 ...
链家网开源java_异步协程爬取链家租房信息
异步协程抓取链家数据+pandas写入csv import asyncio import aiohttp import pandas from bs4 import BeautifulSoup fro ...
python爬虫requests源码链家_python爬虫——爬取链家房价信息（未完待续）
爬取链家房价信息(未完待续) items.py # -*- coding: utf-8 -*- # Define here the models for your scraped items # # ...
python关于二手房的课程论文_基于python爬取链家二手房信息代码示例
基本环境配置 python 3.6 pycharm requests parsel time 相关模块pip安装即可确定目标网页数据哦豁,这个价格..................看到都觉得脑阔 ...
Python异步爬虫技术：10秒抓取3000条房源信息！
本文先熟悉并发与并行.阻塞与非阻塞.同步与异步.多线程.多线程.协程的基本概念.再实现asyncio + aiohttp爬取链家成都二手房源信息的异步爬虫,爬取效率与多线程版进行简单测试和比较. 1. ...
python爬虫requests源码链家_python爬虫爬取链家二手房信息
#coding=utf-8 import requests from fake_useragent import UserAgent from bs4 import BeautifulSoup imp ...
python爬虫代码房-python爬虫爬取链家二手房信息
#coding=utf-8 import requests from fake_useragent import UserAgent from bs4 import BeautifulSoup imp ...
python爬虫--爬取链家租房信息
python 爬虫-链家租房信息爬虫,其实就是爬取web页面上的信息. 链家租房信息页面如下: https://gz.lianjia.com/zufang/ ## python库 Python库 1 ...

分页抓取链家房源信息 xpath selenium

分页抓取链家房源信息 xpath selenium相关推荐

最新文章

热门文章