python爬虫——链家苏州成交房价2

# -*- coding: utf-8 -*-
import bs4
import requests
import time#引入time，计算下载时间def open_url(url):
#    url = 'https://su.lianjia.com/chengjiao/gongyeyuan/pg1/'hd = {}hd['User-Agent'] = 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36'r = requests.get(url,headers=hd,timeout=10)return rhost = 'https://su.lianjia.com/chengjiao/pg'whvj = []
aa = []
bb = []
cc = []
dd = []
count = 1start = time.time()
size = 0
q = 2  #for i in range(98,99):
while count < q:
#    count = 1aaurl = host + str(count)r = open_url(url)soup = bs4.BeautifulSoup(r.text,'html.parser')count = count + 1targets = soup.find_all('a',class_="img")for each in targets:whvj.append(each['href'])print('\r'+"已经下载："+int(count/q*100)*"█"+"【"+str(round(float(count/q)*100,2))+"%"+"】",end="")
#    print(url)
#    print(whvj)
count1 = 0
response = requests.get(url,stream = True)#stream参数设置成True时，它不会立即开始下载，当你使用iter_content或iter_lines遍历内容或访问内容属性时才开始下载
chunk_size = 1024#每次块大小为1024
content_size = int(len(whvj))
for i in whvj:soup1 = bs4.BeautifulSoup(open_url(i).text,'html.parser')djjx = soup1.find_all("span",class_="record_price")aa.append(djjx[0].text)xbxi = soup1.find_all("div",class_="content")for each in xbxi[0]:bb.append(each.text.split())uijm = soup1.find_all("div",class_="name")
#        for each in uijm[len(uijm)-1]:cc.append(uijm[len(uijm)-1].text)title = soup1.find_all("title")for each in title:dd.append(each.text)size = size +1 print('\r'+"已经下载："+int(size/content_size*100)*"█"+" 【"+str(round(size/chunk_size/1024,2))+"MB】"+"【"+str(round(float(size/content_size)*100,2))+"%"+"】",end="")##
result = []
length =len(bb)
for i in range(length):result.append(str(dd[i])+'  '  +str(aa[i])+'  '+str(whvj[i])+ '  ' + str(bb[i]) + '^' + str(cc[i]) + '\n')end = time.time()
print("总耗时:"+str(end-start)+"秒")#data_count = 0with open('ty.txt','w',encoding='utf-8') as f:for each in result:f.write(each)

python爬虫——链家苏州成交房价2相关推荐

php爬取房源,Python 爬虫链家二手房（自行输入城市爬取）
因同事想在沈阳买房,对比分析沈阳各区的房价,让我帮忙爬取一下链家网相关数据,然后打算记下笔记用于总结学到的东西&用到的东西. 一.爬虫需要会什么? 学习东西首先你要知道它是干嘛的.爬虫 ...
python 爬虫链家网二手房信息采集代码
直接上代码吧,应该很好理解 import requests import lxml.html import time from fake_useragent import UserAgent impo ...
【Python】基于Python获取链家小区房价信息及其POI数据
文章目录 1 简介 2 效果展示 3 分析网页 4 代码思路 5 完整代码 6 相关文章 1 简介本来要先发在csdn上的,但是之前学弟催我给他公众号写点东西,我就把这篇博客首发在他的公众号上,现在 ...
26-爬取链家二手房成交的房产信息【简单】
目的:爬取链家二手房成交的信息,包括:['cjxiaoqu','cjdanjia','cjhuxing','cjmianji','cjshijian','cjlouceng','cjchaoxiang ...
python适应的领域_“Andrew说Python爬虫”百家号娱乐领域排行-哪个领域更适合新手作者？...
Andrew说Python爬虫是当前百家号中的普通号,目前账号百家号权重为2,综合排名位列690769名,娱乐分类排名位列181017名,领先了37.8%的百家号. Andrew说Python爬虫的简 ...
python哪个领域厉害_“Andrew说Python爬虫”百家号娱乐领域排行-哪个领域更适合新手作者？...
Andrew说Python爬虫是当前百家号中的普通号,目前账号百家号权重为2,综合排名位列690769名,娱乐分类排名位列181017名,领先了37.8%的百家号. Andrew说Python爬虫的简 ...
Python爬虫三：抓取链家已成交二手房信息（58W数据）
环境:Windows7+python3.6+Pycharm2017 目标:抓取链家北京地区已成交二手房信息(无需登录),如下图,户型.朝向.成交时间价格等,保存到csv.最后一共抓取约58W数据,程序 ...
python建筑案例_Python数据分析实战-链家北京二手房价分析
前言最近在自学Python,通过学习大家的分享案例,看到使用Python进行较多的主要4个方面:爬虫,数据处理,数据可视化以及机器学习建模.对我来说目标就是: 熟练使用numpy pandas 进行 ...
python爬虫requests源码链家_Python 爬虫链家二手房（自行输入城市爬取）
因同事想在沈阳买房,对比分析沈阳各区的房价,让我帮忙爬取一下链家网相关数据,然后打算记下笔记用于总结学到的东西&用到的东西. 一.爬虫需要会什么? 学习东西首先你要知道它是干嘛的.爬虫 ...

python爬虫——链家苏州成交房价2

python爬虫——链家苏州成交房价2相关推荐

最新文章

热门文章