python爬虫实战-爬取新闻联播视频和新闻文稿

一、爬取新闻联播视频

1. 将视频拖到最后

2. 分析视频缓存链接

如图所示url：https://hls.cntv.baishancdnx.cn/asp/hls/1200/0303000a/3/default/46c6c76d679340d5bb1df3a87573c952/270.ts
3. 将url对应的二进制内容抓取下来

代码如下：

import requests
import osif __name__=="__main__":for i in range(270):url = "https://hls.cntv.baishancdnx.cn/asp/hls/1200/0303000a/3/default/46c6c76d679340d5bb1df3a87573c952/"+str(i+1)+".mp4"root = "videos/0926/"path = root +str(i+1) +".mp4"              #抓取文件起的名字try:if not os.path.exists(root):os.mkdir(root)                  #如果该目录不存在就创建它if not os.path.exists(path):r = requests.get(url)           #获取到目标视频的所有信息with open(path, 'wb') as f:     #以二进制写的方式将r的二进制内容写入pathf.write(r.content)f.close()print("文件"+path+" 保存成功!")else:print("文件已存在")except:print("爬取失败")

爬取新闻文稿

代码如下：

import requests
from urllib.request import urlopen#用于获取网页
from bs4 import BeautifulSoupdef getUrls():url = "http://www.sdpp.com.cn/list/list_98.html"html=urlopen(url)bs = BeautifulSoup(html,"html.parser")urls = bs.find('aside',class_="news_list").find_all("a")url_list=[]for url in urls:item=url.get('href')url_list.append(item)print(url_list)return url_listif __name__=="__main__":headers = {'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"}url_list=getUrls()for url in url_list:filename="texts/newsText"+url[-9:-5]+".txt"r = requests.get(url, headers=headers)r.encoding = 'urf8'bs = BeautifulSoup(r.text, "html.parser")allpagecount = int(bs.find("span", {"id": "allpagecount"}).get_text())title = bs.find("div", {"class": "keys3"}).get_text()temp = title + "\n"for i in range(1, allpagecount):link = bs.find("a", {"id": "nextpageurl"})["href"]r = requests.get(link, headers=headers)r.encoding = 'urf8'bs = BeautifulSoup(r.text, "html.parser")maintext = bs.find("div", {"class": "textCon"}).get_text()temp = temp + maintext + "\n"print(maintext)with open(filename, "w", encoding="utf8") as f:f.write(temp)

python爬虫实战-爬取新闻联播视频和新闻文稿相关推荐

python爬虫实战-爬取视频网站下载视频至本地(selenium)
#python爬虫实战-爬取视频网站下载视频至本地(selenium) import requests from lxml import etree import json from selenium ...
Python爬虫实战爬取租房网站2w+数据-链家上海区域信息（超详细）
Python爬虫实战爬取租房网站-链家上海区域信息(过程超详细) 内容可能有点啰嗦大佬们请见谅后面会贴代码带火们有需求的话就用吧正好这几天做的实验报告就直接拿过来了,我想后面应该会有人用的到吧 ...
python爬虫实战---爬取大众点评评论
python爬虫实战-爬取大众点评评论(加密字体) 1.首先打开一个店铺找到评论很多人学习python,不知道从何学起. 很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手. 很多 ...
python爬虫实战-爬取微信公众号所有历史文章 - (00) 概述
http://efonfighting.imwork.net 欢迎关注微信公众号"一番码客"获取免费下载服务与源码,并及时接收最新文章推送. 最近几年随着人工智能和大数据的兴起,p ...
python爬虫实战--爬取猫眼专业版-实时票房
小白级别的爬虫入门最近闲来无事,发现了猫眼专业版-实时票房,可以看到在猫眼上映电影的票房数据,便验证自己之前学的python爬虫,爬取数据,做成.svg文件. 爬虫开始之前我们先来看看猫眼专业版- ...
python爬虫实战-爬取小说
今天做一个爬虫练手的小实战:爬取顶点小说网的小说,实现下载到本地(虽然网站上本来就可以下载,不过还是自己写代码来有成就感嘛!) 爬取网站进入官网后,点击元尊,就爬取这本书了. 我们先把整个网页爬下来 ...
Python爬虫实战- 爬取整个网站112G-8000本pdf epub格式电子书下载
(整个代码附在最后) 目录: 爬虫准备 - 某电子书网站内容架构分析爬虫前奏 - 网站Html代码分析,如何获取需要的链接? 爬虫高潮 - 测试是否有反爬虫措施,测试是否能正常下载一个sample ...
python爬虫淘宝实例-Python——爬虫实战爬取淘宝店铺内所有宝贝图片
之前用四篇很啰嗦的入门级别的文章,带着大家一起去了解并学习在编写爬虫的过程中,最基本的几个库的用法. 那么今天,我们就正式开始我们的第一篇实战内容,爬取一整个淘宝店铺里的所有宝贝的详情页,并且把详情页 ...
Python爬虫实战——爬取RUNOOB.COM的Python3教程
说明关于Python开发环境搭建,可参考博主的另一篇博文-Visual Studio 2017搭配OpenCV之Python环境,省去其中的OpenCV配置及安装即可.另外,在做Python爬虫项目 ...

python爬虫实战-爬取新闻联播视频和新闻文稿

一、爬取新闻联播视频

爬取新闻文稿

python爬虫实战-爬取新闻联播视频和新闻文稿相关推荐

最新文章

热门文章