深圳杯D题爬取电视收视率排行榜
- 站点分析
- 代码实现

深圳杯D题爬取电视收视率排行榜

站点分析

http://www.tvtv.hk/archives/category/tv

每天的排行版通过静态页面发布，先获取每天的排行榜链接，再进一步从链接里面获取数据

每天前10的信息发布在p标签内，存储的时候空格拆分一下

代码实现

获取每一页的静态链接

url = 'http://www.tvtv.hk/archives/category/tv/page/'# 获取每一个网页的静态页面
for i in range(1, 100):href = {}print('正在爬取第' + str(i) + '页')print(url + str(i))doc = pq(url + str(i))sp = doc('.status-publish')for s in sp.items():ha = s.find('h2 a')href[ha.attr('title')] = ha.attr('href')with open('TV链接列表.csv', 'a') as f:for key in href.keys():if key.find('榜') > 0:f.write(key + ',' + href[key] + '\n')

从每天的静态页面中获取前十的数据

# 从每一个静态页面中获取数据
out = open('TV收视率.csv', 'w', encoding='utf-8')
with open('TV链接列表.csv', 'r') as f:for line in f:print(line)strs = line.split(',')out.write(strs[0])doc = pq(strs[1])p = doc.find('p:nth-child(1)').text().strip()ps = p.split(' ')count = 0for item in ps:count = count + 1if count <= 3:continuej = 0while '0' <= item[j] <= '9':j = j + 1out.write(',' + item[j:])out.write('\n')

运行结果

完整代码获取：https://github.com/sstealer/WebSpider/tree/master。感觉有帮助的话可以GitHub点个赞哦

转载于:https://www.cnblogs.com/sstealer/p/11495824.html

# 深圳杯D题爬取电视收视率排行榜相关推荐

19年深圳杯D题之爬取电视收视率排行榜
文章目录前言站点分析具体代码前言 D题与地方电视台有关,多年的收视率数据可能有一些用站点分析 http://www.tvtv.hk/archives/category/tv 可以发现每天的排 ...
2022年深圳杯A题破除“尖叫效应”与“回声室效应”走出“信息茧房”
2022年深圳杯A题破除"尖叫效应"与"回声室效应"走出"信息茧房" 为了防止更多的人走弯路,对于此题,数据随便找,数据自己造然后文档写 ...
2020深圳杯B题论文
2020深圳杯B题论文问题1: 在给定的信噪比(SNR)信道中,为了达到更高的频谱效率,很多新型的星座图技术,例如几何成型(GeometricShaping,GS)和概率成型(Probalisiti ...
2020年深圳杯C题
C题:无线可充电传感器网络充电路线规划摘要物联网的快速发展带动了无线传感器网络WSN在生活中的广泛运用.无线传感器网络中包括若干传感器以及一个数据中心,这些传感器的电池均需要移动充电器提供能量来维 ...
c语言开发深圳,2020年深圳杯C题
C题:无线可充电传感器网络充电路线规划摘要物联网的快速发展带动了无线传感器网络WSN在生活中的广泛运用.无线传感器网络中包括若干传感器以及一个数据中心,这些传感器的电池均需要移动充电器提供能量来维 ...
2021年深圳杯A题火星探测器着陆控制方案
2021年深圳杯A题火星探测器着陆控制方案本题聚焦于探测器从火星同步轨道出发到探测器在火星地表上方悬停的过程(以下简称着陆过程),要求参赛队收集有关天问一号探测器的音像和文字等公开资料,建立数学模型 ...
python大规模获取豆瓣影评_python爬取豆瓣电影排行榜(requests)
''' 爬取豆瓣电影排行榜设计思路: 1.先获取电影类型的名字以及特有的编号 2.将编号向ajax发送get请求获取想要的数据 3.将数据存放进excel表格中 ''' 环境部署: 软件安装: 模块 ...
爬取豆瓣电影排行榜，并制作柱状图与3d柱状图
**爬取豆瓣电影排行榜,并简单制作柱状图一.首先,我们需要获取页面的信息,下图是从排行第25到50的电影,由此可见start可以想象为偏移量,我们把start的值换为0,得到了第一到25排名的电影, ...
【python 爬虫】 scrapy 入门--爬取百度新闻排行榜
scrapy 入门–爬取百度新闻排行榜环境要求:python2/3(anaconda)scrapy库开发环境:sublime text + windows cmd 下载scrapy(需要pytho ...

# 深圳杯D题爬取电视收视率排行榜

深圳杯D题爬取电视收视率排行榜

站点分析

代码实现

# 深圳杯D题爬取电视收视率排行榜相关推荐

最新文章

热门文章