python3爬取视频原理_Python3爬虫实战:以爬取豆瓣电影为例
爬虫又称为网页蜘蛛,是一种程序或脚本。
但重点在于,它能够按照一定的规则,自动获取网页信息。
爬虫的基本原理——通用框架
1.挑选种子URL;
2.讲这些URL放入带抓取的URL列队;
3.取出带抓取的URL,下载并存储进已下载网页库中。此外,讲这些URL放入带抓取URL列队,进入下一循环。
4.分析已抓取列队中的URL,并且将URL放入带抓取URL列队,从而进去下一循环。
爬虫获取网页信息和人工获取信息,其实原理是一致的。
如我们要获取电影的“评分”信息
人工操作步骤:
1.获取电影信息的网页;
2.定位(找到)要评分信息的位置;
3.复制、保存我们想要的评分数据。
爬虫操作步骤:
1.请求并下载电影页面信息;
2.解析并定位评分信息;
3.保存评分数据。
爬虫的基本流程
简单来说,我们向服务器发送请求后,会得到返回的页面,通过解析页面后,我们可以抽取我们想要的那部分信息,并存储在指定文档或数据库中,这样,我们想要的信息会被我们“爬”下来了。
python中用于爬虫的包很多,如bs4,urllib,requests等等。这里我们用requests xpath的方式,因为简单易学,像BeautifulSoup还是有点难的。
下面我们就使用requests和xpath来爬取豆瓣电影中的“电影名”、“导演”、“演员”、“评分”等信息。
安装requests和lxml库:pip install requests
pip install lxml
一、导入模块#-*- coding:utf-8 -*-
import requests
from lxml import etree
import time #这里导入时间模块,以免豆瓣封你IP
二、获取豆瓣电影目标网页并解析
爬取豆瓣电影《神秘巨星》上的一些信息,地址
https://movie.douban.com/subject/26942674/?from=showing
#-*- coding:utf-8 -*-
import requests
from lxml import etree
import time
url = 'https://movie.douban.com/subject/26942674/'
data = requests.get(url).text
s=etree.HTML(data)
#给定url并用requests.get()方法来获取页面的text,用etree.HTML()
#来解析下载的页面数据“data”。
1.获取电影名称。
获取电影的xpath信息并获得文本s.xpath('元素的xpath信息/text()')
这里的xpath信息要手动获取,获取方式如下:
1.如果你是用谷歌浏览器的话,鼠标“右键”–>“检查元素”;
2.Ctrl Shift C将鼠标定位到标题;
3.“右键”–>“Copy”–>“Copy Xpath”就可以复制xpath。
这样,我们就把电影标题的xpath信息复制下来了。//*[@id="content"]/h1/span[1]
放到代码中并打印信息#-*- coding:utf-8 -*-
import requests
from lxml import etree
import time
url = 'https://movie.douban.com/subject/26942674/'
data = requests.get(url).text
s=etree.HTML(data)
film_name = s.xpath('//*[@id="content"]/h1/span[1]/text()')
print("电影名:",film_name)
这样,我们爬取豆瓣电影中《神秘巨星》的“电影名称”信息的代码已经完成了,可以在eclipse中运行代码。
得到如下结果:电影名: ['神秘巨星 Secret Superstar']
OK,迈出了第一步,我们继续抓取导演、主演、评分;film_name=s.xpath('//*[@id="content"]/h1/span[1]/text()')#电影名
director=s.xpath('//*[@id="info"]/span[1]/span[2]/a/text()')#编剧
actor1=s.xpath('//*[@id="info"]/span[3]/span[2]/a[1]/text()')#主演1
actor2=s.xpath('//*[@id="info"]/span[3]/span[2]/a[2]/text()')#主演2
actor3=s.xpath('//*[@id="info"]/span[3]/span[2]/a[3]/text()')#主演3
actor4=s.xpath('//*[@id="info"]/span[3]/span[2]/a[4]/text()')#主演4
movie_time=s.xpath('//*[@id="info"]/span[13]/text()')#片长
观察上面的代码,发现获取不同主演时,区别只在于“a[x]”中“x”的值不同。实际上,要一次性获取所有主演信息时,用不加数字的“a”即可获取。
如下:actors = s.xpath('//*[@id="info"]/span[3]/span[2]/a/text()')#所有主演
所以我们修改好的完整代码如下:#-*- coding:utf-8 -*-
import requests
from lxml import etree
import time
url1 = 'https://movie.douban.com/subject/26942674/'
data = requests.get(url1).text
s=etree.HTML(data)
film_name=s.xpath('//*[@id="content"]/h1/span[1]/text()')#电影名
director=s.xpath('//*[@id="info"]/span[1]/span[2]/a/text()')#编剧
actor=s.xpath('//*[@id="info"]/span[3]/span[2]/a/text()')#主演
movie_time=s.xpath('//*[@id="info"]/span[13]/text()')#片长
#由于导演有时候不止一个人,所以我这里以列表的形式输出
ds = []
for d in director:
ds.append(d)
#由于演员不止一个人,所以我这里以列表的形式输出
acs = []
for a in actor:
acs.append(a)
print ('电影名:',film_name)
print ('导演:',ds)
print ('主演:',acs)
print ('片长:',movie_time)
结果输出:电影名: ['神秘巨星 Secret Superstar']
导演: ['阿德瓦·香登']
主演: ['塞伊拉·沃西', '梅·维贾', '阿米尔·汗', '拉杰·阿晶', '提斯·沙马', '卡比尔·谢赫', '法如克·贾法尔',
'马努杰·沙玛', '莫娜·安伯加卡尔', '尼基塔·阿南德', '尚', '莫纳利·塔库尔']
片长: ['150分钟']
怎么样,是不是很简单啊。赶快去试试吧~~~
这里顺便补充点基础知识:
Requests常用的七种方法:
目前,我们只需要掌握最常用的requests.get()方法就好了。
requests.get()的使用方法import requests
url = 'https://www.baidu.com'
data = requests.get(url)#使用get方法发送请求,返回汗网页数据的Response并存储到对象data 中
Repsonse对象的属性:
data.status_code:http请求的返回状态,200表示连接成功;
data.text:返回对象的文本内容;
data.content:猜测返回对象的二进制形式;
data.encoding:返回对象的编码方式;
data.apparent_encoding:响应内容编码方式。
众多python培训视频,尽在python学习网,欢迎在线学习!
本文转自:https://blog.csdn.net/mtbaby/article/details/79165890
python3爬取视频原理_Python3爬虫实战:以爬取豆瓣电影为例相关推荐
- python爬取控制台信息_python爬虫实战之爬取智联职位信息和博客文章信息
1.python爬取招聘信息 简单爬取智联招聘职位信息 # !/usr/bin/env python # -*-coding:utf-8-*- """ @Author ...
- python3 爬虫 全站_Python3[爬虫实战] scrapy爬取汽车之家全站链接存json文件
昨晚晚上一不小心学习了崔庆才,崔大神的博客,试着尝试一下爬取一个网站的全部内容,福利吧网站现在已经找不到了,然后一不小心逛到了汽车之家 (http://www.autohome.com.cn/beij ...
- python爬虫爬取新闻标题_Python3爬虫实战(一):新闻标题及其URL
本文以'链节点'网站为例,实现新闻标题及其URL批量获取,并以字典的形式存入本地. 代码使用python的requests模块,并以json格式转存本地. 分成3步:1,发请求:2,解析数据:3,保存 ...
- python爬取高德地图_爬虫实战:如何爬取高德地图?
提起高德地图,咱们每一个人都不会陌生,高德地图是一款非常好用的地区服务软件,很多用户在出行的时候都会使用这款软件,日程用来导航,也可以用来打车,一次呼叫多种车型,用户可以在这里获得更好的服务,随时都可 ...
- python爬虫爬取起点小说_python3爬虫-使用requests爬取起点小说
import requests from lxml import etree from urllib import parse import os, time def get_page_html(ur ...
- 利用python爬取租房信息_Python爬虫实战(1)-爬取“房天下”租房信息(超详细)
#前言html 先看爬到的信息:python 今天主要用到了两个库:Requests和BeautifulSoup.因此我先简单的说一下这两个库的用法,提到的都是此文须要用到的.编程 #Requests ...
- python爬百度贴吧_Python爬虫实战之爬取百度贴吧帖子
大家好,上次我们实验了爬取了糗事百科的段子,那么这次我们来尝试一下爬取百度贴吧的帖子.与上一篇不同的是,这次我们需要用到文件的相关操作. 本篇目标对百度贴吧的任意帖子进行抓取 指定是否只抓取楼主发帖内 ...
- python爬去新浪微博_荐爬虫实战 新浪微博爬取 详细分析
目标 #2020.5.22 #author:pmy #目标:爬取最爱的绵羊的微博,包含时间,文本内容,点赞数,评论数与转发数 #在更换博主时主要在于修改headers中的referer和参数中的con ...
- Python爬虫实战示例-51job和豆瓣电影
2018年7月16日笔记 1.conda常用命令 1.1 列出当前环境的所有库 命令:conda list 在cmd中运行命令如下图所示: 图片.png-36.6kB 1.2 管理环境 创建环境 命令 ...
最新文章
- HTML的标签描述7
- 为什么每个函数都要测试
- Storybord切换
- java研发自测报告_开发自测方法探讨
- python 内存回收机制_【第1题】 Pythonn内存管理以及垃圾回收机制
- MIP、PWA、WebGL、HTTPS,来看Web生态的领先技术
- java添加容器_如何为Java应用程序构建docker容器
- Python的底气,是从哪儿来的?
- 在Idea中连接数据库并生成实体类(mybatis逆向生成实体类)
- 创业反思三:只喜欢我干活,拒不听建议,出了问题还找我
- 【金蝶K3Cloud】 Python套打插件开发记录
- html css js 注释符号,js 注释怎么写 javascript注释格式|js注释
- 英雄联盟大乱斗一个队出现两个杰斯-多线程死锁
- [Autohotkey]获取当前运行的脚本pid与完整路径
- 由二叉树前序序列、中序序列输出相应后续序列
- JS动态添加元素绑定点击事件,触发事件多次执行问题?
- 项目工作量估算的专家法
- java graphics2d旋转_反转Java Graphics2D缩放和旋转坐标
- java common log使用,log4j和commons.logging日志记录的使用方法
- 利用python爬取小说诡秘之主
热门文章
- match在java中文翻译_match是什么意思_match翻译_读音_用法_翻译
- 气缸标识上vr什么意思_dohc发动机是什么意思(发动机的这个标识DOHC是什么意思?)...
- java类的加载时机和过程
- 计算机禁止usb,win7系统使用组策略禁用usb端口的四种方法-系统城
- 二进制和十进制之间的换算
- 经纬度计算距离html,js版谷歌地图计算两经纬度坐标点的距离
- 【解决方案】如何基于EasyDSS直播点播系统快速搭建VR直播平台?
- iOS App清除缓存
- Ocaml学习笔记 语句
- 多暂估的库存如何调整_会计们看过来 暂估存货小知识