利用Python中的BeautifulSoup库爬取安居客第一页信息

题目：
网址为https://beijing.anjuke.com/sale/，
利用BeautifulSoup库，爬取第1页的信息，具体信息如下：进入每个房源的页面，爬取小区名称、参考预算、发布时间和核心卖点，并将它们打印出来。（刚学网络爬虫。若有错误，望指正）
代码如下：

import requests
from bs4 import BeautifulSoup
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36 Edg/94.0.992.50'
}info_lists = []house=requests.get("https://beijing.anjuke.com/sale/",headers=headers)
soup=BeautifulSoup(house.text,"lxml")
names=soup.select("h3")
positions=soup.select("p.property-content-info-comm-name")
moneys=soup.select("div.property-price > p.property-price-total > span.property-price-total-num")
years=soup.select("div.property-content > div.property-content-detail > section > div:nth-of-type(1) > p:nth-of-type(5)")
points=soup.select("div.property-content > div.property-content-detail > section > div:nth-of-type(3)")for name,position,money,year,point in zip(names,positions,moneys,years,points):info = {'name':name.get_text().strip(),'position':position.get_text().strip(),'money':money.get_text().strip(),'year':year.get_text().strip(),'point':point.get_text().strip()}info_lists.append(info)for info_list in info_lists:f = open(r'C:\Users\23993\Desktop\house_info.txt','a+')try:f.write(info_list["name"]+'  '+info_list["position"]+'  '+info_list["money"]+'万'+'  '+info_list["year"]+'  '+info_list["point"]+'\n')f.close()except UnicodeEncodeError:pass

部分结果截图：

利用Python中的BeautifulSoup库爬取安居客第一页信息相关推荐

利用Python中的BeautifulSoup库爬取豆瓣读书中书本信息
利用BeautifulSoup库,获取前250本图书的信息,需要爬取的信息包括书名.书名的URL链接.作者.出版社和出版时间.书本价格.评分和评论,把这些信息存到txt文件,要求将这些信息对齐,排列整 ...
Python爬虫实战-详细讲解爬取安居客房价数据
最近在尝试用python爬取安居客房价数据,在这里给需要的小伙伴们提供代码,并且给出一点小心得. 首先是爬取之前应该尽可能伪装成浏览器而不被识别出来是爬虫,基本的是加请求头,但是这样的纯文本数据爬取的 ...
python3 beautiful爬取安居客的二手房信息
今天有一位同学找我爬取安居客的信息,安居客网站有反爬虫机制,所以不能简单用requests来做,这里用selenium来模拟获取url网页. 环境 mac, python3.7 beautifulso ...
使用Python requests和BeautifulSoup库爬取去哪儿网
功能说明:爬取去哪儿网城市下面若干条景点详细信息并将数据导入Excel表(使用xlwt库) 爬取去哪儿网的教程参考自 https://blog.csdn.net/gscsd_t/article/det ...
用bs爬取安居客优秀经理人信息
目标 1.安居客二手房,随便一个城市,选择优秀经纪人,爬取所有页数网址:http://beijing.anjuke.com/tycoon/p/ 过程 1.在网页源代码中找到所需要的数据 2.用bs提 ...
python 安居客爬虫_爬虫学习6：爬取安居客的VR房源信息
公司的VR产品在推广前夕,需要做一个较详细的市场分析报告,我们可以从下面几个步骤来深入探讨: 1.需要展望整个VR的市场规模有多大,从而论证我们需要面对的市场分量, 2.在这个大市场下面,我们面对的细 ...
Python爬取安居客经纪人信息
Python爬取安居客经纪人信息 Python2.7.15 今天我们来爬取安居客经纪人的信息.这次我们不再使用正则,我们使用beautifulsoup.不了解的可以先看一下这个文档,便于理解.http ...
利用Python进行百度文库内容爬取（二）——自动点击预览全文并爬取
本文是衔接上一篇:<利用Python进行百度文库内容爬取(一)>. 上回说到我们在对百度文库进行爬虫时,需要模拟手机端来进行登录,这样固然可以对文章进行爬取,但是很多时候并不是非常智能的翻 ...
Python开发爬虫之BeautifulSoup解析网页篇：爬取安居客网站上北京二手房数据
目标:爬取安居客网站上前10页北京二手房的数据,包括二手房源的名称.价格.几室几厅.大小.建造年份.联系人.地址.标签等. 网址为:https://beijing.anjuke.com/sale/ B ...

利用Python中的BeautifulSoup库爬取安居客第一页信息

利用Python中的BeautifulSoup库爬取安居客第一页信息相关推荐

最新文章

热门文章