Python爬虫：爬取网站视频

python爬取百思不得姐网站视频：http://www.budejie.com/video/

新建一个py文件，代码如下：

#!/usr/bin/python

# -*- coding: UTF-8 -*-

import urllib,re,requests

import sys

reload(sys)

sys.setdefaultencoding('utf-8')

url_name = [] #url name

def get():

#获取源码

hd = {"User-Agent":"Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"}

url = 'http://www.budejie.com/video/'

html = requests.get(url,headers=hd).text

url_content = re.compile(r'(<div class="j-r-list-c">.*?</div>.*?</div>)',re.S) #编译

url_contents = re.findall(url_content,html) #匹配

for i in url_contents:

#匹配视频

url_reg = r'data-mp4="(.*?)"' #视频地址

url_items = re.findall(url_reg,i)

#print url_items

if url_items: #判断视频是否存在

name_reg = re.compile(r'<a href="/detail-.{8}?.html">(.*?)</a>',re.S)

name_items = re.findall(name_reg,i)

#print name_items[0]

for i,k in zip(name_items,url_items):

url_name.append([i,k])

print i,k

for i in url_name: #i[1]=url i[0]=name

urllib.urlretrieve(i[1],'video\\%s.mp4' % (i[0].decode('utf-8')))

if __name__ == "__main__":

get()

在 py 文件下新建一个 video 文件夹，执行后结果如下：

在 video 文件夹可以看到下载好的视频

注意报错：

UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-9: ordinal not in range(128)

解决：

import sys
reload(sys)

sys.setdefaultencoding('utf-8')

Python爬虫：爬取网站视频相关推荐

python如何爬取网站所有目录_用python爬虫爬取网站的章节目录及其网址
认识爬虫网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁.自动索引.模拟 ...
Python爬虫爬取Twitter视频、文章、图片
Python爬虫爬取Twitter视频.文章.图片 Twitter的Python爬虫 https://github.com/bisguzar/twitter-scraper 2.2k星标 (2020. ...
使用python爬虫爬取bilibili视频
可以使用 Python 爬虫框架如 Scrapy 来爬取 Bilibili 的视频.首先需要了解 Bilibili 网站的构造,包括数据是如何呈现的,然后构建请求来获取所需的数据.同时需要考虑反爬虫措 ...
Python爬虫爬取网站小漫画
python爬取小漫画最近在google冲浪的时候发现一个很有意思的漫画网站,可以看韩国的小漫画,但是只可以看很少的一部分,后面的需要付费观看,于是就想着怎么才能免费看到这个网站的所有漫画. 于是我 ...
Python爬虫爬取网站全部图片实战
一.获得图片地址和图片名称 1.进入网址之后按F12 打开开发人员工具点击elemnts 2.点击下图的小箭头选择主图中的任意一个图片那我们这里点击第一个图片 3.显示控制台为了验 ...
python 爬虫爬取快手视频批量解析建议收藏
#!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2020/12/8 20:30 # @Author : huni # @File : 快 ...
Python爬虫-爬取爆米花视频下载至本地
打开爆米花的网站,然后打开其中一个视频: 打开F12,然后刷新,可以看到: 这个URL为视频的真实地址: http://59.56.28.122/vm48002.baomihua.com/d1b3a2 ...
python网络爬虫爬取视频_Python网络爬虫——爬取小视频网站源视频！自己偷偷看哦！...
学习前提1.了解python基础语法 2.了解re.selenium.BeautifulSoup.os.requests等python第三方库 1.引入库爬取网站视频需要引入的第三方库: impor ...
Python网络爬虫——爬取小视频网站源视频！自己偷偷看哦！
学习前提 1.了解python基础语法 2.了解re.selenium.BeautifulSoup.os.requests等python第三方库 1.引入库 PS:如有需要Python学习资料的小伙伴 ...
python如何爬取网页视频_快就完事了！10分钟用python爬取网站视频和图片
原标题:快就完事了!10分钟用python爬取网站视频和图片话不多说,直接开讲!教你如何用Python爬虫爬取各大网站视频和图片. 638855753 网站分析: 我们点视频按钮,可以看到的链接是: ...

Python爬虫：爬取网站视频

Python爬虫：爬取网站视频相关推荐

最新文章

热门文章