python 爬取自如租房的租房数据，使用图像识别获取价格信息

python 爬取自如租房的租房数据

完整代码下载：https://github.com/tanjunchen/SpiderProject/tree/master/ziru

#!/usr/bin/python
# -*- coding: UTF-8 -*-import re
import requests
import pytesseract
from PIL import Image
from selenium import webdriver
from fake_useragent import UserAgent
from lxml import etree
from urllib import parse
import pandas as pd
from datetime import datetimeua = UserAgent()
headers = {"User-Agent": ua.random,"Referer": "http://gz.ziroom.com/"}class ZiRoom(object):def __init__(self):self.driver = webdriver.Chrome()self.all_data = []def get_content(self, name):div_list = self.driver.find_elements_by_xpath('//*[@id="houseList"]/li')number = self.get_image_number()print(number)for div in div_list[1:]:try:price_list = []# 如果网页中的值不存在 则可能会存在部分数据丢失 也就是空数据丢失 基本不会有什么影响for i in range(2, 6):start_price = \div.find_element_by_xpath('.//div[3]/p/span[{}]'.format(i)).get_attribute('style').split(' ')[1].replace('-', '').replace('px', '')price = number[int(int(start_price) / 30)]price_list.append(price)price = '{}元/每月'.format(''.join(price_list))title = div.find_element_by_xpath('.//div[2]/h3/a').text.replace(' ', '')location = div.find_element_by_xpath('.//div[2]/div//p[2]/span').text.replace(' ', '')area = div.find_element_by_xpath('.//div[2]/div/p/span').text.replace(' ', '')self.all_data.append([name, title, price, location, area])except BaseException as e:print(e)passdef get_image_number(self):'''获取价格的图片  并且通过 pytesseract 识别图片 解成数字列表:return:'''# 价格数据来源于js 加载的图片html = self.driver.execute_script("return document.documentElement.outerHTML")photo = re.findall('var ROOM_PRICE = {"image":"(//.*?.png)"', html)[0]image = requests.get('http:' + photo).contentf = open('price.png', 'wb')f.write(image)f.close()num = []'''pytesseract psm 选项参数0    Orientation and script detection (OSD) only.1    Automatic page segmentation with OSD.2    Automatic page segmentation, but no OSD, or OCR.3    Fully automatic page segmentation, but no OSD. (Default)4    Assume a single column of text of variable sizes.5    Assume a single uniform block of vertically aligned text.6    Assume a single uniform block of text.7    Treat the image as a single text line.8    Treat the image as a single word.9    Treat the image as a single word in a circle.10    Treat the image as a single character. 11    Sparse text. Find as much text as possible in no particular order.12    Sparse text with OSD.13    Raw line. Treat the image as a single text line'''number = pytesseract.image_to_string(Image.open("price.png"),config="-psm 8 -c tessedit_char_whitelist=1234567890")for i in number:num.append(i)return numdef run(self):url = "http://www.ziroom.com/z/nl/z2-d23008614.html"res = requests.get(url, headers=headers)res.encoding = "utf-8"html = etree.HTML(res.text)name = html.xpath("//div[@class='selection_con']/dl[2]/dd/ul/li[position()>1]/span/a/text()")urls = html.xpath("//div[@class='selection_con']/dl[2]/dd/ul/li[position()>1]/span/a/@href")urls = [parse.urljoin(url, n) for n in urls]data = zip(name, urls)for k, v in data:print("正在获取", k, v)res = requests.get(v, headers=headers)res.encoding = "utf-8"html = etree.HTML(res.text)page_xpath = html.xpath("//span[@class='pagenum']/text()")if page_xpath:page_num = page_xpath[0].strip("/")if page_num:for i in range(1, int(page_num) + 1):# self.driver.implicitly_wait(10)self.driver.get(v + '?p={}'.format(i))self.get_image_number()self.get_content(k)df = pd.DataFrame(self.all_data)df.columns = ['地区', '房源', '价格', '位置', '面积']df.to_csv("all_result_" + datetime.now().strftime('%Y-%m-%d') + ".csv", index=False, encoding="gbk")if __name__ == '__main__':z = ZiRoom()z.run()

python 爬取自如租房的租房数据，使用图像识别获取价格信息相关推荐

python 爬取自如网租房信息（解决照片价格问题）
一.背景爬取自如网的租房信息时,本来以为是手到擒来的事,结果却被租房价格卡死了.有脾气的自如,价格居然搞成了照片,并且照片是乱序的0到9,每次根据像素位截取. 最气人的,还是一张照片只取一个数字,例 ...
用python爬取网站_「自如网」关于用python爬取自如网信息的价格问题(已解决) - seo实验室...
自如网 ###这是一篇求助文,我能获取图片并变成字符串,但是无法获取位移量### 前两坛突发奇想想要爬取自如网的租房数据,本来以为能够请求+美丽+ re能全部搞定,没想到这个网站的反爬机制有点让我搞不 ...
关于用python爬取自如网信息的价格问题(已解决)
###这是一篇求助文,我能获取图片并变成字符串,但是无法获取位移量### 前两坛突发奇想想要爬取自如网的租房数据,本来以为能够请求+美丽+ re能全部搞定,没想到这个网站的反爬机制有点让我搞不定先贴个 ...
python爬取自如房间信息(一)
使用python和selenium+Chrome Headless爬取自如房间信息,并将结果存储在MongoDB中.其中最麻烦的应该是每间房的价格,因为自如是用一张图片和offset来显示价格,所以不 ...
练习：使用Python爬取COVID-19疫情国内当日数据
练习:使用Python爬取COVID-19疫情国内当日数据推荐公众号:数据酷客 (里面有超详细的教程) 代码来源数据酷客公众号教程 URL它是Uniform Resource Locator的缩写, ...
python爬取股票信息_利用Python爬取网易上证所有股票数据（代码
利用Python爬取网易上证所有股票数据(代码发布时间:2018-04-14 17:30, 浏览次数:1261 , 标签: Python import urllib.request import r ...
如何使用python编程抢京东优惠券知乎_学好Python爬取京东知乎价值数据
原标题:学好Python爬取京东知乎价值数据 Python爬虫为什么受欢迎如果你仔细观察,就不难发现,懂爬虫.学习爬虫的人越来越多,一方面,互联网可以获取的数据越来越多,另一方面,像 Python这 ...
python如何爬取实时人流量_使用python爬取微信宜出行人流量数据
代码地址:https://liujiao111.github.io/2019/06/18/easygo/ 工具介绍: 该工具基于微信中的宜出行提供的数据接口进行爬取,能够爬取一定范围内的当前时间点的人 ...
使用python爬取BOSS直聘岗位数据并做可视化（Boss直聘对网页做了一些修改，现在的代码已经不能用了）
使用python爬取BOSS直聘岗位数据并做可视化结果展示首页岗位信息岗位详情薪资表学历需求公司排名岗位关键词福利关键词代码展示爬虫代码一.导入库二.爬取数据 1.爬取数据代 ...

python 爬取自如租房的租房数据，使用图像识别获取价格信息

python 爬取自如租房的租房数据，使用图像识别获取价格信息相关推荐

最新文章

热门文章