零基础快速入门（二）爬取豆瓣电影——python爬虫实例
爬虫又称为网页蜘蛛，是一种程序或脚本。
但重点在于，它能够按照一定的规则，自动获取网页信息。
###爬虫的基本原理——通用框架
1.挑选种子URL；
2.讲这些URL放入带抓取的URL列队；
3.取出带抓取的URL，下载并存储进已下载网页库中。此外，讲这些URL放入带抓取URL列队，进入下一循环。
4.分析已抓取列队中的URL，并且将URL放入带抓取URL列队，从而进去下一循环。
爬虫获取网页信息和人工获取信息，其实原理是一致的。
如我们要获取电影的“评分”信息
人工操作步骤：
1.获取电影信息的网页；
2.定位（找到）要评分信息的位置；
3.复制、保存我们想要的评分数据。
爬虫操作步骤：
1.请求并下载电影页面信息；
2.解析并定位评分信息；
3.保存评分数据。
###爬虫的基本流程
简单来说，我们向服务器发送请求后，会得到返回的页面，通过解析页面后，我们可以抽取我们想要的那部分信息，并存储在指定文档或数据库中，这样，我们想要的信息会被我们“爬”下来了。
python中用于爬虫的包很多，如bs4，urllib，requests等等。这里我们用requests+xpath的方式，因为简单易学，像BeautifulSoup还是有点难的。
下面我们就使用requests和xpath来爬取豆瓣电影中的“电影名”、“导演”、“演员”、“评分”等信息。
上一篇文章已经讲了安装requests和lxml库：
pip install requests
pip install lxml
1
2
###一、导入模块
#-*- coding:utf-8 -*-
import requests
from lxml import etree
import time #这里导入时间模块，以免豆瓣封你IP
###二、获取豆瓣电影目标网页并解析
爬取豆瓣电影《神秘巨星》上的一些信息
#-*- coding:utf-8 -*-
import requests
from lxml import etree
import time
url =
data = requests.get(url).text
s=etree.HTML(data)
#给定url并用requests.get()方法来获取页面的text，用etree.HTML()
#来解析下载的页面数据“data”。
####1.获取电影名称。
获取电影的xpath信息并获得文本
s.xpath('元素的xpath信息/text()')
1
这里的xpath信息要手动获取，获取方式如下：
**1.**如果你是用谷歌浏览器的话，鼠标“右键”–>“检查元素”
2. Ctrl+Shift+C将鼠标定位到标题。
3.“右键”–> “Copy”–> “Copy Xpath”就可以复制xpath
这样，我们就把电影标题的xpath信息复制下来了
//*[@id="content"]/h1/span[1]放到代码中并打印信息
#-*- coding:utf-8 -*-
import requests
from lxml import etree
import time
url =
data = requests.get(url).text
s=etree.HTML(data)
film_name = s.xpath('//*[@id="content"]/h1/span[1]/text()')
print("电影名:",film_name)
这样，我们爬取豆瓣电影中《神秘巨星》的“电影名称”信息的代码已经完成了，可以在eclipse中运行代码。
得到如下结果：
电影名: ['神秘巨星 Secret Superstar']
1
2
OK，迈出了第一步，我们继续抓取导演、主演、评分；
film_name=s.xpath('//*[@id="content"]/h1/span[1]/text()')#电影名
director=s.xpath('//*[@id="info"]/span[1]/span[2]/a/text()')#编剧
actor1=s.xpath('//*[@id="info"]/span[3]/span[2]/a[1]/text()')#主演1
actor2=s.xpath('//*[@id="info"]/span[3]/span[2]/a[2]/text()')#主演2
actor3=s.xpath('//*[@id="info"]/span[3]/span[2]/a[3]/text()')#主演3
actor4=s.xpath('//*[@id="info"]/span[3]/span[2]/a[4]/text()')#主演4
movie_time=s.xpath('//*[@id="info"]/span[13]/text()')#片长
1
2
3
4
5
6
7
8
观察上面的代码，发现获取不同主演时，区别只在于“a[x]”中“x”的值不同。实际上，要一次性获取所有主演信息时，用不加数字的“a”即可获取。
如下：
actors = s.xpath('//*[@id="info"]/span[3]/span[2]/a/text()')#所有主演
#-*- coding:utf-8 -*-
import requests
from lxml import etree
import time
url1 = '神秘巨星 (豆瓣)'
data = requests.get(url1).text
s=etree.HTML(data)
film_name=s.xpath('//*[@id="content"]/h1/span[1]/text()')#电影名
director=s.xpath('//*[@id="info"]/span[1]/span[2]/a/text()')#编剧
actor=s.xpath('//*[@id="info"]/span[3]/span[2]/a/text()')#主演
movie_time=s.xpath('//*[@id="info"]/span[13]/text()')#片长
#由于导演有时候不止一个人，所以我这里以列表的形式输出
ds = []
for d in director:
ds.append(d)
#由于演员不止一个人，所以我这里以列表的形式输出
acs = []
for a in actor:
acs.append(a)
print ('电影名:',film_name)
print ('导演:',ds)
print ('主演:',acs)
print ('片长:',movie_time)
结果输出：
电影名: ['神秘巨星 Secret Superstar']
导演: ['阿德瓦·香登']
主演: ['塞伊拉·沃西', '梅·维贾', '阿米尔·汗', '拉杰·阿晶', '提斯·沙马', '卡比尔·谢赫', '法如克·贾法尔', '马努杰·沙玛', '莫娜·安伯加卡尔', '尼基塔·阿南德', '尚', '莫纳利·塔库尔']
片长: ['150分钟']
怎么样，是不是很简单啊。赶快去试试吧~~~
下一篇文章，我们会爬取豆瓣读书的TOP250条信息：python爬虫实践——爬取豆瓣TOP250条图书信息
与这个又不一样喽~~喜欢的关注一下，谢谢。
这里顺便补充点基础知识：
Requests常用的七种方法。
方法 说明
requests.request() 构造一个请求，支撑以下个方法的基础方法
requests.get() 获取HTML网页的主要方法，对应于HTTP的GET
requests.head 获取HTML网页头信息的方法，对应于HTTP的DEAD
requests.post() 向HTML网页提交POST请求方法，对应于HTTP的POST
requests.put() 向HTML网页提交PUT请求方法，对应于HTTP的PUT
requests.patch() 向HTML网页提交局部修改请求，对应于HTTP的PATCH
requests.delete() 向HTML网页提交删除请求，对应于HTTP的DELETE
目前，我们只需要掌握最常用的requests.get()方法就好了。
####requests.get()的使用方法
import requests
url = '
data = requests.get(url)#使用get方法发送请求，返回汗网页数据的Response并存储到对象data 中
1
2
3
####Repsonse对象的属性：
data.status_code’：http请求的返回状态，200表示连接成功；
data.text：返回对象的文本内容；
data.content：猜测返回对象的二进制形式；
data.encoding：返回对象的编码方式；
data.apparent_encoding：响应内容编码方式。
零基础快速入门（二）爬取豆瓣电影——python爬虫实例相关推荐
- python爬虫爬取豆瓣电影信息城市_Python爬虫入门 | 2 爬取豆瓣电影信息
这是一个适用于小白的Python爬虫免费教学课程,只有7节,让零基础的你初步了解爬虫,跟着课程内容能自己爬取资源.看着文章,打开电脑动手实践,平均45分钟就能学完一节,如果你愿意,今天内你就可以迈入爬 ...
- Python爬虫入门（爬取豆瓣电影信息小结）
Python爬虫入门(爬取豆瓣电影信息小结) 1.爬虫概念 网络爬虫,是一种按照一定规则,自动抓取互联网信息的程序或脚本.爬虫的本质是模拟浏览器打开网页,获取网页中我们想要的那部分数据. 2.基本流程 ...
- python爬取豆瓣电影top250_Python爬虫 - scrapy - 爬取豆瓣电影TOP250
0.前言 新接触爬虫,经过一段时间的实践,写了几个简单爬虫,爬取豆瓣电影的爬虫例子网上有很多,但都很简单,大部分只介绍了请求页面和解析部分,对于新手而言,我希望能够有一个比较全面的实例.所以找了很多实 ...
- python爬取豆瓣电影top250的代码_Python爬虫——爬取豆瓣电影Top250代码实例
利用python爬取豆瓣电影Top250的相关信息,包括电影详情链接,图片链接,影片中文名,影片外国名,评分,评价数,概况,导演,主演,年份,地区,类别这12项内容,然后将爬取的信息写入Excel表中 ...
- python爬取豆瓣电影top250_Python爬虫——爬取豆瓣电影Top250代码实例
利用python爬取豆瓣电影Top250的相关信息,包括电影详情链接,图片链接,影片中文名,影片外国名,评分,评价数,概况,导演,主演,年份,地区,类别这12项内容,然后将爬取的信息写入Excel表中 ...
- 【爬虫实践】记一次Scrapy框架入门使用爬取豆瓣电影数据
本次的学习分享主要是使用一次Scrapy框架,毕竟在很多次的时候,自己在提取一些或是需要实验数据的时候,数据量要求不大,很快便能通过简单的request等库进行调用,然后获取数据. 这次,则是想要使用 ...
- python3[爬虫基础入门实战] 爬取豆瓣电影排行top250
先来张爬取结果的截图 再来份代码吧 # encoding=utf8 import requests import re from bs4 import BeautifulSoup from tkint ...
- Python Scrapy 爬虫入门： 爬取豆瓣电影top250
一.安装Scrapy cmd 命令执行 pip install scrapy 二.Scrapy介绍 Scrapy是一套基于Twisted的异步处理框架,是纯python实现的爬虫框架,用户只需要定制开 ...
- Python实现爬取豆瓣电影|python豆瓣全栈爬虫：电影系列全爬虫系统1.0：（信息，短评，影评，海报）|你想爬的都有
写在前面: 此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 豆瓣电影全系列爬虫系统 免责声明 情况说明 效果展示 主菜单 ...
- python爬取豆瓣小组_Python 爬虫实例+爬取豆瓣小组 + wordcloud 制作词云图
目标 利用PYTHON爬取如下图中所有回答的内容,并且制作词云图. 用到的库 import requests # import json from PIL import Image from pyqu ...
最新文章
- 极端值目标值（exterem or outlier target）对应的核心特征的分布差异分析+结合catboost特种重要度（top10）
- php服务器日志在哪里看,云服务器日志在哪里看
- oracle的to_char如何优化,性能 – 如何优化在date子句中包含to_char的Oracle查询
- 【612页】Android 大厂面试题及解析大全（中高级）
- 可编程led灯带原理_88张图搞定层板灯带的设计、安装、收口及检修！
- 【版本更新】Aspose.Slides V17.10发布 | 支持免费下载
- 使用注解方式进行aop编程(代码)
- 17个服务器发展趋势，我们都给您总结好了！
- 耗时n年，38页《数据仓库知识体系.pdf》（数据岗位必备）
- 两个子集pom互相调用_声明式服务调用组件Feign
- webhooks_在本地开发时如何测试Webhooks
- corelab mysql_ALinq 让Mysql变得如此简单_MySQL
- proe输入数字时成双出现_什么是隔离数字输入？
- spark TF-IDF入门
- Unity 2D角色复活点与复活等待时间设置
- PTA是什么？BT-WIFI共存
- eclipse中xml文件报错异常处理
- 【测试理论】如何做好探索性测试（二）—增加维度
- opencv-python的颜色检测追踪
- 蜜蜂的群体决策：一万只蜜蜂如何投票选择最佳巢穴？