“希希敬敬对”团队作业—

“希希敬敬对”百度贴吧小爬虫任务计划：

今天的团队讨论照片：

　　　龙江腾（队长） 201810775001

　　　　　完成“爬取发帖主题人的主题回复数据”代码review，明天完成代码，实现“把10个页面的数据整合到一个数据组中，并进行排序”的功能。

　　　杨希 201810812008

　　　　　完成代码，实现“爬取发帖主题人的主题回复数据”功能，明天完成“把10个页面的数据整合到一个数据组中，并进行排序”的代码review。

　　　何敬上　　　　 201810812004

　　　　　完成“爬取发帖主题人的主题回复数据”代码review，明天完成代码，实现“把10个页面的数据整合到一个数据组中，并进行排序”的功能。

遇到的问题：

　　暂无

燃尽图：

程序代码（基于昨天代码的基础上的更新）：

# 找到数据对应的网页，分析网页结构找到数据所在的标签位置
#模拟HTTP请求，向服务器发送这个请求，获取到服务器返回给我们的HTMLimport re
from urllib import requestclass BDTBCrawler():url = "http://tieba.baidu.com/f?kw=%E4%B8%9C%E5%8D%8E%E7%90%86%E5%B7%A5%E5%A4%A7%E5%AD%A6&ie=utf-8"Name_num_list = []def __init__(self, url):BDTBCrawler.url = url#匹配到包含了主题作者和帖子回复数关键字的标签root_pattern = '<span class="threadlist_rep_num center_text"([\s\S]*?)data-field='# 匹配到对应的帖子回复数num_pattern = 'title="回复">([\s\S]*?)</span>'# 匹配到主题作者name_pattern = 'title="主题作者: ([\s\S]*?)"'#模拟HTTP请求，向服务器发送请求，获取到服务器返回给我们的HTMLdef __fetch_content(self):r = request.urlopen(BDTBCrawler.url)htmls = r.read()# 将服务器返回的字节码转换成字符串格式htmls = str(htmls, encoding='utf-8')return htmlsdef __analysis(self, htmls):#root_html获取包含了主题作者和帖子回复数关键字的标签root_html = re.findall(BDTBCrawler.root_pattern, htmls)# 用anchors这个列表来存放提取出来的主题作者和帖子回复数组成的字典anchors = []for html in root_html:# 提取主题作者（列表类型）name = re.findall(BDTBCrawler.name_pattern, html)# #提取回复数（列表类型）number = re.findall(BDTBCrawler.num_pattern, html)anchor = {'name': name, 'number': number}anchors.append(anchor)# print(anchors)return anchorsdef go(self):#使用for循环爬取前10页htmls = ''for i in range(0, 10):pn = i * 50#page记录当前爬取页面需要在URL上添加的字符串page = '&pn=' + str(pn)BDTBCrawler.url += pagehtmls += self.__fetch_content()anchors = self.__analysis(htmls)for i in anchors:print(i)crawler = BDTBCrawler(BDTBCrawler.url)
crawler.go()

程序运行结果部分截图：

转载于:https://www.cnblogs.com/dyls/p/10019355.html

“希希敬敬对”团队作业——敏捷冲刺4相关推荐

“希希敬敬对”团队作业-敏捷冲刺1
"希希敬敬对"百度贴吧小爬虫任务计划 Alpha任务分配计划: 百度贴吧小爬虫项目一共分成10个小的任务,分别分配给不同的同学. 以下是我们的10个任务: 以下是不同的3位组员分别 ...
“希希敬敬对”团队作业——敏捷冲刺5
"希希敬敬对"百度贴吧小爬虫任务计划:今天的团队讨论照片: 今天讨论照片: 龙江腾(队长) 201810775001 完成"把10个页面的数据整合到一个数据组中,并进行排 ...
“希希敬敬对”团队作业-敏捷冲刺-3
"希希敬敬对"百度贴吧小爬虫任务计划: 今天的团队讨论照片: 龙江腾(队长) 201810775001 完成任务"对贴吧前10页进行爬取任务",明天将完成&qu ...
“希希敬敬对”团队作业-敏捷冲刺2
"希希敬敬对"百度贴吧小爬虫任务计划今天的团队讨论照片: 龙江腾(队长) 201810775001 完成 "贴吧名字关键字与URL关联"代码检查.明天将要完成 ...
“希希敬敬对”团队作业——敏捷冲刺7
1"希希敬敬对"百度贴吧小爬虫任务计划: 龙江腾(队长) 201810775001 程序生成exe文件遇到了些问题,程序生成apk文件的review,程序贴吧推广使用的review ...
“希希敬敬对”团队作业——敏捷冲刺6
1"希希敬敬对"百度贴吧小爬虫任务计划: 龙江腾(队长) 201810775001 完成爬下的发帖主题人信息进行图形化显示的review,明天完成程序生成exe文件,程序生成apk ...
团队作业——Alpha冲刺 6/12
团队作业--Alpha冲刺冲刺任务安排杨光海天今日任务:编辑界面完成标题栏的开发,以及与已经完成gallery开发的同学,商讨我负责的界面中,图片滑动的具体措施. 明日任务:除了图像识别内容嵌入 ...
《团队作业第三、第四周》五小福团队作业--Scrum 冲刺阶段--Day6
<团队作业第三.第四周>五小福团队作业--Scrum 冲刺阶段--Day6 一.项目燃尽图二.项目进展 [20172301郭恺第六天的进展] 第五天完成的任务: 点击牌会抬起.选中牌的图 ...
团队作业——Alpha冲刺 4/12
团队作业--Alpha冲刺冲刺任务安排杨光海天今日任务:着手进行编辑界面的布局,插入控件,并进行参数调整. 明日任务:继续完善编辑界面控件,学习控件交互功能. 郭剑南今日任务:上网查阅学习了关 ...

“希希敬敬对”团队作业——敏捷冲刺4

“希希敬敬对”团队作业——敏捷冲刺4相关推荐

最新文章

热门文章