python爬取淘票票正在热映电影

源代码

from bs4 import BeautifulSoup
import requests
import json
'''
遇到不懂的问题？Python学习交流群：1136201545满足你的需求，资料都已经上传群文件，可以自行下载！
'''
#伪装成浏览器请求
headers={'User-Agent':'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;','Referer':'https://www.taopiaopiao.com/showList.htm?spm=a1z21.3046609.header.4.1d69112aGq86y0&n_s=new'
}#获取网页的代码
def getPage(url):try:response=requests.get(url)if response.status_code==200:   #http状态码，200表示请求成功return response.textelse:return Noneexcept Exception:return Nonedef getInfo(html):soup=BeautifulSoup(html,'lxml')    #创建bs对象 bs是使用的python默认的解析器，lxml也是解析器items=soup.select('div .movie-card-wrap')            #去网站的控制台找需要内容的上级标签元素，注意找的时候讲究方法，爬取的内容大部分都是有规律的，找到要爬取内容后，找你要爬的内容的父标签，这里找到div标签,然后后面的.movie-card-wrap是类名，当然也可以按照id查找，不会的自行百度soup.selecti=1for item in items:name=item.find(name='div',class_='movie-card-name').get_text().strip()     #这个是找你要爬取内容的标签和它的类info=item.find(name='div',class_='movie-card-list').get_text().strip()print(str(i)+' '+'电影名:'+name+'\n'+info+'\n')i=i+1url='https://www.taopiaopiao.com/showList.htm?spm=a1z21.3046609.header.4.1d69112aGq86y0&n_s=new'
html=getPage(url)
getInfo(html)

然后说一下代码的具体含义，其实注释都有，我再详细讲一下流程吧

一、伪装成浏览器请求headers

这很好理解，因为如果不伪装的话，那你去爬取，爬取网站就能获悉你在爬数据，很容易被封，所以我们写一个headers的json伪装成浏览器来访问，不明白的自行百度

二、获取网页代码getPage

这部分代码很好理解，有用的就两行，所以就不详细说了，用的时候直接用即可

三、获取信息getInfo

这部分是我觉得就爬取而言最难的一部分，当然也不是很难，所以我结合例子详细说一下

首先我们要知道，爬取网页内容是爬取的网页代码中的内容，服务器端的数据我们是没办法爬取到的，什么意思，我们打开浏览器，按F12

可以看到网页的源代码，然后我们要爬取的就是标签之间的那部分内容

就是例如我上面画红圈的这些内容，我们这一步要做的，就是定位你要爬取内容在源代码中的位置，这么说大家可以理解吧。然后找到对应的标签，调用方法就可以了。

然后爬取到的信息可以存数据库，可以写成json数据，可以写入文件等再去做二次处理，筛选一些有用的数据，这里为了方便理解，我直接输出到控制台大家可以看一下结果。

python爬取淘票票正在热映电影相关推荐

python 爬取淘宝网课
python爬取淘宝网课,打开web控制台,发现有个链接可以下载到对应的内容,下载的格式是m3u8,用文本打开里面是许多.ts链接,当然百度后得知可以直接下个vlc然后下载,但是还是想用python试 ...
python爬取淘宝商品图片
python爬取淘宝商品的图片话不多说,直接上代码: from selenium import webdriver from selenium.webdriver.common import key ...
Python爬取淘宝女模特信息
前言 Python爬取淘宝美女信息下载本地并同时存储mysql数据库,存储数据库用到了pymysql模块,sql语句简单好用,直接上代码,源码请点链接Python-Spiders文集. 项目结构: 本 ...
python爬淘宝app数据_一篇文章教会你用Python爬取淘宝评论数据（写在记事本）
[一.项目简介] 本文主要目标是采集淘宝的评价,找出客户所需要的功能.统计客户评价上面夸哪个功能多,比如防水,容量大,好看等等. [二.项目准备工作] 准备Pycharm,下载安装等,可以参考这篇文章 ...
用Python爬取淘宝网商品信息
用Python爬取淘宝网商品信息转载请注明出处网购时经常会用到淘宝网点我去淘宝但淘宝网上的商品琳琅满目,于是我参照中国大学 MOOC的代码写了一个爬取淘宝网商品信息的程序代码如下: impor ...
python电商数据挖掘_利用Python爬取淘宝商品并数据挖掘与分析实战！此乃大型项目！...
项目内容本案例选择>> 商品类目:沙发: 数量:共100页 4400个商品: 筛选条件:天猫.销量从高到低.价格500元以上. 项目目的 1. 对商品标题进行文本分析词云可视化 2. ...
第一篇博客，python爬取淘宝信息
python爬取淘宝信息本人只是刚学python的菜鸟,代码不规范及需改进的地方请指教我们直接看代码吧!哈哈 import requests from bs4 import BeautifulSo ...
用Python爬取淘宝2000款套套，我发现了一个重要秘密
点击上方"码农突围",马上关注,每天早上8:50准时推送真爱,请置顶或星标一.淘宝商品信息爬取这篇文章主要是讲解如何爬取数据,数据的分析放在下一篇.之所以分开是因为爬取淘宝遇 ...
爬虫案例 --- Python 爬取淘宝数据存到数据库
可以做爬虫的语言有很多,如 PHP.Java.C/C++.Python等等... 1)PHP语言虽然是世界上最好的语言,但是他天生不是干这个的,而且对多线程.异步支持不够好,并发处理能力很弱.爬虫是 ...
python爬取淘宝天猫评论（通过cookie）
今天分享的是使用python语言然后通过cookie来爬取淘宝天猫评论的方法. 1.首先我们打开一个产品页,地址:几素usb小风扇,按下F12,然后下拉到产品评论可以看到如下图 2.点击这个scrip ...

python爬取淘票票正在热映电影

python爬取淘票票正在热映电影相关推荐

最新文章

热门文章