前言

D题与地方电视台有关，多年的收视率数据可能有一些用

站点分析

http://www.tvtv.hk/archives/category/tv

可以发现每天的排行榜以一个静态页面发布，获得了每天的排行榜链接才能进一步获取每天的数据

每天前10的信息以文字发布在p标签内，抓取段落的时候，最后按空格拆分一下

具体代码

抓取每天排行的链接

def get_href_list():hrefs = {}for i in range(1, 100):print(i)url = 'http://www.tvtv.hk/archives/category/tv/page/'+str(i)response = requests.get(url)html = response.textdoc = pq(html)articles = doc.find('.status-publish')for article in articles.items():alink = article.find('h2 a')hrefs[alink.attr('title')] = alink.attr('href')with open('TV/排行榜链接列表.csv', 'a') as f:for key in hrefs.keys():if key.find('榜（') > 0:f.write(key+','+hrefs[key]+ '\n')

结果如下

打开每天的链接

def get_audience_proportion():out = open('TV/收视率排行榜列表.csv', 'w', encoding='utf-8')with open('TV/排行榜链接列表.csv, 'r') as f:for line in f:print(line)strs = line.split(',')out.write(strs[0])response = requests.get(strs[1], timeout=10000)html = response.textdoc = pq(html)paragraph = doc.find('.entry-content p').text()items = paragraph.split(' ')count = 0for item in items:if count > 2: out.write(','+item)count = count+1out.write('\n')

结果如下

19年深圳杯D题之爬取电视收视率排行榜相关推荐

19年深圳杯D题之爬取微博粉丝基本信息
文章目录前言网站分析具体代码解决登录获取id 获取信息调用演示前言由于第一问需要频道用户信息,便选择从深圳卫视的微博中爬取其粉丝的信息作为数据. 网站分析首先分析微博粉丝列表,获取每 ...
# 深圳杯D题爬取电视收视率排行榜
目录深圳杯D题爬取电视收视率排行榜站点分析代码实现深圳杯D题爬取电视收视率排行榜站点分析 http://www.tvtv.hk/archives/category/tv 每天的排行版通过静态 ...
2022年深圳杯A题破除“尖叫效应”与“回声室效应”走出“信息茧房”
2022年深圳杯A题破除"尖叫效应"与"回声室效应"走出"信息茧房" 为了防止更多的人走弯路,对于此题,数据随便找,数据自己造然后文档写 ...
2020深圳杯B题论文
2020深圳杯B题论文问题1: 在给定的信噪比(SNR)信道中,为了达到更高的频谱效率,很多新型的星座图技术,例如几何成型(GeometricShaping,GS)和概率成型(Probalisiti ...
2020年深圳杯C题
C题:无线可充电传感器网络充电路线规划摘要物联网的快速发展带动了无线传感器网络WSN在生活中的广泛运用.无线传感器网络中包括若干传感器以及一个数据中心,这些传感器的电池均需要移动充电器提供能量来维 ...
c语言开发深圳,2020年深圳杯C题
C题:无线可充电传感器网络充电路线规划摘要物联网的快速发展带动了无线传感器网络WSN在生活中的广泛运用.无线传感器网络中包括若干传感器以及一个数据中心,这些传感器的电池均需要移动充电器提供能量来维 ...
2021年深圳杯A题火星探测器着陆控制方案
2021年深圳杯A题火星探测器着陆控制方案本题聚焦于探测器从火星同步轨道出发到探测器在火星地表上方悬停的过程(以下简称着陆过程),要求参赛队收集有关天问一号探测器的音像和文字等公开资料,建立数学模型 ...
【Python爬虫】2022年数学建模美赛B题数据爬取
2022年数学建模美赛B题数据爬取背景 2022年的美赛刚刚落下帷幕,该题的一个主要难点在于数据的获取.很多人无法找到有效的数据,或者是无法获取数据. 比如找到了如下米德湖的水文数据,但是发现并没有 ...
Python网络爬虫与信息提取（17）—— 题库爬取与整理+下载答案
前言上一节实现了题目的整理,没整理答案是不完整的,所以这一节加上答案的爬取. 上一节地址:Python网络爬虫与信息提取(16)-- 题库爬取与整理效果思路爬答案有点难搞,像这种题库的答案都是 ...

19年深圳杯D题之爬取电视收视率排行榜

文章目录

前言

站点分析

具体代码

19年深圳杯D题之爬取电视收视率排行榜相关推荐

最新文章

热门文章