3.32 小猪短租的爬虫-

够造主网页的url获取函数，从主网页中获取到详情页的链接，从详情页中获取到标题，价格，评论等内容

这里因为ip反爬，返回的是错误的网页，所以后续失败

#这里进行了反爬，返回的网页进行了重定向，不是自己要爬的网址from bs4 import BeautifulSoup
import requests
import time         #导入相应的库文件
url ="https://bj.xiaozhu.com/fangzi/1047842478.html"
headers = {"Cookie": "abtest_ABTest4SearchDate=b; sajssdk_2015_cross_new_user=1; distinctId=17663eb00672c9-0d67d3dfd2265d-e726559-2073600-17663eb006841a; Hm_lvt_92e8bc890f374994dd570aa15afc99e1=1607994115,1608023687; xzuuid=87961465; xzuinfo=%7B%22user_id%22%3A153018699197%2C%22user_name%22%3A%2217317126846%22%2C%22user_key%22%3A%223d865d010085%22%2C%22user_nickName%22%3A%22wangwangluo123%22%7D; xzucode=1e98f258b6137a484cf910d72d023371; xzucode4im=ac7725f797e9e2a2b0ad8cdbe1351291; xztoken=WyIwMTA1MTIyNjE1V0xoRCIseyJ1c2VyaWQiOjE1MzAxODY5OTE5NywiZXhwaXJlIjowLCJjIjoid2ViIn0sImZmMTk3MWQ0MDg4ZWNiYjA1MTU1Nzc1ZGQ3YWYzY2RhIl0%3D; xzSessId4H5=b5a5b64d28b22fc6567fdbe586a5770c; _pykey_=ed9c883e-5526-519d-801c-4be4c37724ca; sensorsdata2015jssdkcross=%7B%22distinct_id%22%3A%22153018699197%22%2C%22first_id%22%3A%2217663eb00672c9-0d67d3dfd2265d-e726559-2073600-17663eb006841a%22%2C%22props%22%3A%7B%22%24latest_traffic_source_type%22%3A%22%E8%87%AA%E7%84%B6%E6%90%9C%E7%B4%A2%E6%B5%81%E9%87%8F%22%2C%22%24latest_search_keyword%22%3A%22%E6%9C%AA%E5%8F%96%E5%88%B0%E5%80%BC%22%2C%22%24latest_referrer%22%3A%22https%3A%2F%2Fwww.baidu.com%2Flink%22%7D%2C%22%24device_id%22%3A%2217663eb00511d9-0a4d3fd6b7de7e-e726559-2073600-17663eb005298%22%7D; rule_math=tckf4hwakbq; Hm_lpvt_92e8bc890f374994dd570aa15afc99e1=1608024368","Referer": "https://bj.xiaozhu.com/fangzi/1047842478.html","User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36 SE 2.X MetaSr 1.0","accept": "*/*",
"accept-encoding": "gzip, deflate, br",
"accept-language": "zh-CN,zh;q=0.9",
"access-control-request-headers": "content-type",
"access-control-request-method": "GET",
"sec-fetch-dest": "empty",
"sec-fetch-mode": "cors",
"sec-fetch-site": "same-site"}                  #加入请求头def get_info(url):wb_data = requests.get(url, headers = headers)print(wb_data.text)soup = BeautifulSoup(wb_data.text, "lxml")titles = soup.select("#page_list > ul > li:nth-of-type(1) > div.result_btm_con.lodgeunitname > div:nth-child(1) > span > i ")print(titles)
get_info(url)

3.32 小猪短租的爬虫-相关推荐

python爬取网上租房信息_Python爬虫入门 | 5 爬取小猪短租租房信息
小猪短租是一个租房网站,上面有很多优质的民宿出租信息,下面我们以成都地区的租房信息为例,来尝试爬取这些数据. 1.爬取租房标题按照惯例,先来爬下标题试试水,找到标题,复制xpath. 多复制几个房屋 ...
Python爬虫||BeautifulSoup4库-以小猪短租为例
由于上次的文章被同学吐槽了,正则表达式过于麻烦,那就用BeautifulSoup库吧,比正则表达式简单太多了!只需要简单的几条语句,即可完成网页中某个元素的提取.他是python的一个HTML或者XM ...
Python爬虫入门 | 5 爬取小猪短租租房信息
小猪短租是一个租房网站,上面有很多优质的民宿出租信息,下面我们以成都地区的租房信息为例,来尝试爬取这些数据. 小猪短租(成都)页面:http://cd.xiaozhu.com/ 1.爬取租房标题 ...
python爬虫--小猪短租的租房信息
python爬虫--小猪短租的租房信息利用requests获取网页利用Beautifulsoup4和lxml解析网页具体代码如下 from bs4 import BeautifulSoup im ...
python3通过Beautif和XPath分别爬取“小猪短租-北京”租房信息，并对比时间效率（附源代码）...
爬虫思路分析: 1. 观察小猪短租(北京)的网页首页:http://www.xiaozhu.com/?utm_source=baidu&utm_medium=cpc&utm_term ...
疫情过去女朋友想去重庆玩，python批量爬取小猪短租重庆民宿信息
疫情过去女朋友想去重庆玩,python批量爬取小猪短租重庆民宿信息随着时间的流逝,在中国共产党的领导,全国人民的共同努力下,疫情逐渐受到了控制,逐渐好转,复工,开学有望.最近在和女朋友的闲聊当中得知 ...
险些“B轮死”的小猪短租，如何穿越了融资生死线
文/小饭桌新媒体记者何斌编辑/郭文俊 ►2013年的最后一天,陈驰突然接到投资人的电话:"对不起,这个项目不投了". 接近两年之后,作为小猪短租创始人他仍然记得那个晚上--被他 ...
ruoyi是怎么点击菜单跳转页面的_小猪短租怎么发布房源
小猪短租是一款租房软件,那么小猪短租怎么发布房源,今天就让PChouse来为大家讲解一下. 1.下载小猪短租APP,进入首页,在最下面菜单项选择[订单]或者[消息],就会弹出登录界面. 2.点击登录, ...
Airbnb、小猪短租等这类短租类产品发展前景如何?
Tsao 某家公司打杂- 1 产品信息 1. 产品名称:小猪短租 2. 版本号:4.9.1 3. 体验环境:iPhone 7 (11.2.1) 4. slogin:居住自由主义 5. 产品定位:通过 ...
蛋壳公寓信息/信息网爬取/小猪短租/豆瓣/拉钩/人民邮电报/百度电视剧/加载更多-获取字符串中间任意内容
调试 import requests from lxml import etreebase_url = 'https://www.danke.com/room/bj?page=1'headers = ...

3.32 小猪短租的爬虫-

3.32 小猪短租的爬虫-相关推荐

最新文章

热门文章