58同城python_Python实战计划爬虫作业第一周作业:爬58同城
作业要求:
作业要求1.1
作业要求2
作业要求更改说明:由于58同城页面改版,二手商品的个人卖家均改为了“转转”,因此,本次爬虫作业,无法屏蔽转转卖家,而是直接从转转卖家的页面爬取信息。
我的代码
from bs4 import BeautifulSoup
import requests
import time
import os
'''
本作业是完成爬取http://bj.58.com/shouji上的商品信息,最后将商品信息存在本地的.txt文件中
每个商品的共有一下属性:
root : 商品路径
title : 商品标题
price : 商品当前价格
view : 商品的访问次数
image : 商品封面图片
area : 商品所属地
qual_label : 商品的质量标签
'''
def get_search_url(pageNum, who_sells, type = 'shouji'):
'''
用来生成一个搜索页的URL
:param pageNum: 访问的页码
:param who_sells: 个人卖家以及商家卖家
:param type: 商品类型
:return: URL的字符串
'''
url = 'http://bj.58.com/{}/{}/{}'\
.format(type, str(who_sells), 'pn'+str(pageNum))
return url
def get_links(url, headers):
'''
用来得到当前搜索页的所有商品链接
:param url: 当前搜索页的URL
:param headers: 本机的headers
:return: 一个list: 如果当前搜索页访问的状态码!=200,返回一个空list
如果当前搜索页访问状态码== 200,返回由当前页所有商品的URL组成的list
'''
webSite = requests.get(url, headers)
urls = []
if webSite.status_code != 200 :
print('status_code : ', str(webSite.status_code),'\n', url, 'cannot open')
return urls
soup = BeautifulSoup(webSite.text, 'lxml')
links = soup.select('td.t > a.t')
for link in links:
urls.append(link.get('href'))
return urls
def get_sinlge_info(url, headers):
'''
用来得到一个商品的信息
:param url: 商品页的URL
:param headers: 本机访问的headers
:return: 一个dictionary : 如果商品页访问状态码 != 200, 返回空dictionary
如果状态码 == 200, 返回包含商品信息的dictionary
'''
webSite = requests.get(url, headers=headers)
single_info = {}
if webSite.status_code != 200:
#这里可以设置打印出错误的状态码,便于调bug
return single_info # 如果状态码不是200,访问网页会有一定问题,则跳入下一次循环
soup = BeautifulSoup(webSite.text, 'lxml')
root = soup.select('div.breadCrumb')
title = soup.select('div.box_left_top > h1')
price = soup.select('span.price_now > i')
view = soup.select('span.look_time')
image = soup.select('div.g_img > span > img')
area = soup.select('div.palce_li > span > i')
qual_label = soup.select('div.quality > span > span.qual_label')
single_info = {
'root' : list(root[0].stripped_strings), # 商品路径
'title': title[0].get_text(), # 商品标题
'view' : int(view[0].get_text()[:-3]), # 访问次数
'price': float(price[0].get_text()), # 价格
'image': image[0].get('rel'), # 商品封面图片
'area' : area[0].get_text(), # 商品区域
'qual_label': [label.get_text() for label in qual_label] # 商品质量标签
}
return single_info
def get_info_from(pageNum = 1, who_sells = 0, type = 'shouji'):
'''
从 pageNum 中获取 who_sells 销售的 type 类型商品信息
:param pageNum: 搜索页的页码(默认为第1页)
:param who_sells: 销售的用户类型(默认为个人卖家)
:param type: 商品类型(默认为手机)
:return: 一个list, 每个元素为一个商品信息组成的dictionary
'''
headers = {
'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36',
'Cookie' : 'bj58_id58s="Rm9Ca1lhQU1Fd0ZROTA1NA=="; id58=c5/njVeK25sP1F/iJ71uAg==; als=0; myfeet_tooltip=end; bangbigtip2=1; ipcity=km%7C%u6606%u660E%7C0; sessionid=812ecc7d-5679-4b81-b3c5-bc6c57997b68; final_history=26097540789057%2C26727826953024%2C26697721819855%2C26062681492781; city=bj; 58home=bj; bj58_new_session=0; bj58_init_refer=""; bj58_new_uv=4; 58tj_uuid=6530a941-1013-4a74-b2a4-9f9781f6f4ca; new_session=0; new_uv=4; utm_source=; spm=; init_refer='
}
search_url = get_search_url(pageNum, who_sells, type) #获取搜索页的URL
links = get_links(search_url, headers = headers)
info = []
for link in links:
# time.sleep(2) #每访问一个网页暂停一秒
try:
single_info = get_sinlge_info(url = link, headers = headers)
except requests.exceptions.ConnectionError as e:
print(e.__traceback__)
time.sleep(10)
if len(single_info) == 0: #如果网页的response的状态码不是200,则get_sinlge_info返回空的dict
continue
info.append(single_info)
return info
def write_info(info, filename):
'''
将商品信息写入本地的filename中,为了降低I/O开销,因此每访问完一个搜索页所有的商品信息后再写入一次
:param filename: 本地的filename的绝对路径
:param info: 多个商品信息组成的list
:return: void
'''
with open(filename,'a') as file:
for single_info in info:
file.write(str(single_info))
file.write('\n')
print('又完成了一页')
def main():
filename = '/Users/xyh/Documents/python/python3/Week1/Week1_Homework/product.txt'
for pageNum in range(1,11):
info = get_info_from(pageNum = pageNum, who_sells=0, type='shouji')
write_info(info, filename)
if __name__ == '__main__':
main()
代码写得有扩展性:
get_info_from()函数设计得可以传入,页码,卖家类别,以及商品类别,使得该函数不只适合本次作业,可以适合58同城的其他商品爬取
总结
由于58同城页面的改版,浏览次数并不需要像作业详解中的从JS文件中获取,而是直接从html页面中获取,因此浏览次数并不复杂
封面图片的链接,这次并不在标签内的“src”属性中,而是在“rel”属性中
问题:怎样使得程序更健壮?
希望如果网页如果不是正常打开时,有更完备的解决方案。因为在58同城中,如果商品搜不到,返回的是58自己设计的404页面,从浏览器看,这个页面的状态码也是200。
希望可以设置一个功能,当10s内网页没有解析出来,就打印出相关信息,并跳到下一页。但是不知道怎么做。
希望能够有老师能够提供一些关于爬虫问题的异常处理的方案,或者教程,让程序变得更健壮。
58同城python_Python实战计划爬虫作业第一周作业:爬58同城相关推荐
- 2021金山训练营作业第一周作业
话不多说,先上图: 注意:左侧的滑动栏,是因为父盒子的高度装不下子盒子所有高度了,所以给父盒子设置了overflow:auto,就有了侧边下滑栏了! 代码: workpage2.html <!D ...
- 现代软件工程 作业 第一周博客作业
第一周作业 1. 介绍自己,建博客 我是一名大三的学生,平时爱好看看书,感觉没啥特长. 要说有什么优势技能,就是文笔还可以吧. 从初三开始写日记,基本上上学的日子每天都写,一直到大一结束. 2. 现状 ...
- 学号20189220余超 2018-2019-2 《密码与安全新技术专题》第一周作业
学号20189220 2018-2019-2 <密码与安全新技术专题>第一周作业 课程:<密码与安全新技术专题> 班级: 1892 姓名: 余超 学号:20189220 上课教 ...
- 2019-2020-1 1823《程序设计与数据结构》第一周作业总结
作业地址 第一周作业:https://edu.cnblogs.com/campus/besti/2019-2020-1-1823-PDDS/homework/3466 提交情况如图: 共7人没提交,还 ...
- 【中文】【吴恩达课后编程作业】Course 2 - 改善深层神经网络 - 第一周作业(123)
[中文][吴恩达课后编程作业]Course 2 - 改善深层神经网络 - 第一周作业(1&2&3) - 初始化.正则化.梯度校验 上一篇:[课程2 - 第一周测验]※※※※※ [回到目 ...
- 2022-2023-1 20222809《Linux内核原理与分析》第一周作业
Linux内核原理与分析第一周作业 配置环境 1.参考Linux(Ubuntu)系统安装图文教程中第二种借助virtualbox成功配置Ubuntu环境 2.升级更新软件包 可以通过调节分辨率和虚拟机 ...
- 消息称快手已通过港交所聆讯 计划2月第一周上市
1月15日消息,据腾讯潜望报道,快手已经于昨日通过港交所聆讯,计划2月第一周上市.1月18日开始,快手上市保荐人团队将开始分析师路演,随后快手公司正式进入招股阶段. 去年11月5日,快手抢先字节跳动, ...
- Boolan第一周笔记(二)对于第一周作业的一点总结
本文主要总结下面的问题: 1.为什么这周的作业里面,创建数组的时候使用堆内存更好: 2.指针指向不同类型走的步数不同. 第一周作业内容如下,题目来自Boolan: 为Date类实现如下成员: 1. 构 ...
- 输出结果为16的python表达式_第一周作业(rayco)
rayco 第一周作业 第一次-课后习题 a = 10 b = 3 c = a/b-a print(c, type(c)) c = a/b*a print(c, type(c)) c = 0.1*a/ ...
最新文章
- c语言fac函数求n的阶乘,急求C语言编辑题:Cnm=n!/m!(n-m)!其中n,m 由键盘输入。要求设计一个函数fac(n)求某个正整数n 的阶乘。...
- python求解方程组_python如何解方程组
- 碎碎念-----快排与工作
- 【学术】考博中你最关心的那些问题,博导给你答案!
- linux fedora35禁用或启用仓库
- python根据表格数据生成折线图_Python交互图表可视化Bokeh:4. 折线图| 面积图
- Android\OPhone动画分析之翻转效果
- 楼宇自控ba系统 服务器,楼宇自控BA系统
- jbutton添加点击事件_electron-vue自定义边框后点击事件失效问题
- 二维数组中的查找(java)
- 吴恩达机器学习 4.逻辑回归(Logistic Regression)
- 使用GCC和GNU Binutils编写能在x86实模式运行的16位代码
- 程序人生:半路转行再来学软件测试,能够成为大牛吗?
- 55.SQL server 行转列
- 在 Google 工作是什么体验?
- Linux-SHELL基本操作
- 86年版五笔和98年版五笔区别
- 通用码头计算机管理系统,智慧港口码头货物管理解决方案_华测导航-华测导航...
- GameFi市值飙升,详解N.Fans目前的发展现状以及未来前景
- 卡巴虚拟机启发式查毒的绕过方法