爬虫 58同城房价信息高德的接口进行房价地图绘制

爬虫部分

// An highlighted block
def main():base_url1 = 'https://hz.58.com/xinfang/loupan/all/p'base_url2 = '/?PGTID=0d0091a8-0004-f055-d9b7-c447c3e1c187&ClickID=1'date_list = []for i in range(1,34):html = ask_url(base_url1+str(i)+base_url2)bs = BeautifulSoup(html, 'html.parser')list = bs.find_all(class_='item-mod')for item in list[2:]:  # 前两个item-mod 存储的不是具体房产信息bs_mod = BeautifulSoup(str(item), 'html.parser')it1 = bs_mod.find_all(class_='items-name')[0]try:it2 = bs_mod.find_all(class_='price')[0]except:it2 = bs_mod.find_all(class_='price-txt')[0]date_list.append([it1.get_text(), it2.get_text(), transfrom(it1.get_text())])print('第%d页完成' %i)print('一共%d条' %len(date_list))save_Date(date_list,'杭州新房价格坐标.xls')

因为这里爬取的是新楼的房价，很多的地方都是在建中，很多都还没有定价，所以部分价格在源代码中的标签使用的是’price-txt’而不是’price’。

代用高德api接口实现地址的获取

def transfrom(addr):parameters = { 'keywords' : addr,'key' : '**********************'}base =     'https://restapi.amap.com/v3/place/text?parameters'try:response = requests.get(base , parameters , timeout = 2)res = json.loads(response.text)return res['pois'][0]['location']except:return '地址获取失败'

这里需要去高德的开放平台进行获取你的key简单的进行注册你的账号。这里在完成的时候，对于返回值的处理我搞了很久没搞好，后来才发现他的网页中本身可以进行返回值的查看，我使用的是对关键字搜索。

最后进行数据的上传就可以获得最终的成果图。

这个是以价格为参考圆圈越大价格越高，本来是想用颜色进行标识，但是效果实在太理想，系统默认的将大部分价格划分的颜色过分接近，没有办法让人直观的进行一眼辨识，最终选择大小来呈现价格的不同。

爬虫 58同城房价信息高德的接口进行房价地图绘制相关推荐

（64）-- 爬取58同城网页信息
# 爬取58同城租房信息 from lxml import etree import requestsbase_url = 'http://bj.58.com/chuzu/?utm_source=ma ...
多线程爬取58同城二手车信息
多线程爬取58同城二手车信息目录多线程的介绍数据的爬取数据的解析多线程简介:线程是轻量级的进程,是程序执行流的最小单元,它不拥有系统的资源,运行占用独立的资源且资源小,且多个线程共享一个单 ...
python爬取58同城租房信息_分页爬取58同城租房信息.py
import requests,re,openpyxl,os headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleW ...
58上租房显示服务器异常,“58同城租房信息”满是套路，你中招了吗？
原标题:"58同城租房信息"满是套路,你中招了吗? 58同城,大家都很熟悉.尤其是那句广告词:58同城,一个神奇的网站.网站的确是挺神奇的,招工信息.租房信息各种信息无奇不有,然而 ...
字体加密-58同城简历信息爬取
加密文件通过base64加密,先拿到加密字符串,通过base64解密,保存成woff文件利用fonttool把woff文件保存成xml文件,再开始分析真实数据与加密数据的动态映射关系映射关系如下: ...
python爬虫58同城（多个信息一次爬取）
对58同城二手平板电脑的爬虫一.先爬取内容中的一项先爬取一项的代码爬去一项的结果二.爬取一整页一整页代码一整页的全部信息结果有网友留言说,这个代码已经不能爬取了,我2018.11.9号查 ...
python爬虫爬取58同城租房信息（使用动态IP）输出Excel文件
python爬虫爬取58同城信息(使用动态IP) 新手,为了做一个数据分析,搞了几天,终于搞出来了,大家可以给点意见啊. # coding=utf-8 import sys import csv im ...
python爬取58同城租房信息,用selenium爬取58同城租房信息（万级数据）
今天想做一个58同城的爬虫,然后到页面分析一下链接,发现58同城的链接的有些参数是由js动态生成的,然后我就想偷懒了.(当然其实去js文件中找到生成式并不难),但我就是不想去找.然后就想到了selen ...
python爬虫58同城租房
使用scrapy框架爬取58上面租房信息源码如下: -- coding: utf-8 -- import scrapy from zufang.items import ZufangItem cla ...

爬虫 58同城房价信息高德的接口进行房价地图绘制

爬虫部分

代用高德api接口实现地址的获取

爬虫 58同城房价信息高德的接口进行房价地图绘制相关推荐

最新文章

热门文章

爬虫 58同城房价信息 高德的接口进行房价地图绘制

爬虫部分

代用高德api接口实现地址的获取

爬虫 58同城房价信息 高德的接口进行房价地图绘制相关推荐

最新文章

热门文章

爬虫 58同城房价信息高德的接口进行房价地图绘制

爬虫 58同城房价信息高德的接口进行房价地图绘制相关推荐