爬取猫眼评分前100的电影

这是简单的聚焦爬虫，爬取猫眼前100的电影，刚学爬虫时写的，没有什么困难的东西，但是如果以后再有新人看到的话，希望能对你产生一点点的帮助，具体代码和注释如下：

import requests
from bs4 import BeautifulSoup
from requests.exceptions import RequestException
import pymongo
from config import *
import jsonclient=pymongo.MongoClient(MONGO_URL,connect=False)
db=client[MONGO_DB]# url='http://maoyan.com/board/4'
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36','Cookie':'__mta=20387463.1534995524246.1534998228834.1535008834516.15"; uuid_n_v=v1; uuid=09407D90A68611E8836EF5378CA03BDF6D7D6F64A44A44D79AB89AC4FFEF8C16; _csrf=35078fdcb3f945837528736f009a0e621a84ee74b5c85a39cf91ab7c385a3949; _lx_utm=utm_source%3Dwww.sogou%26utm_medium%3Dorganic; _lxsdk_cuid=16564dce62bc8-09fea28dc57f5f-5e442e19-144000-16564dce62bc8; _lxsdk=09407D90A68611E8836EF5378CA03BDF6D7D6F64A44A44D79AB89AC4FFEF8C16; __mta=20387463.1534995524246.1534995949923.1534996074539.5"; _lxsdk_s=%7C%7C0'
}#分析排行榜的url，产生url列表
urls=['http://maoyan.com/board/4?offset={}'.format(str(i)) for i in range(0,100,10)]#对排行页发送get请求，获取排行榜内电影的链接，拼接成url内容
def get_one_page_url(url):try:response=requests.get(url,headers=headers)#判断是否成功获得相应if response.status_code==200:soup = BeautifulSoup(response.text, 'lxml')links=soup.select('#app > div > div > div.main > dl > dd > a')for lin in links:url = 'http://maoyan.com' + lin.get('href')parse_one_page(url)return '无法连接'except RequestException:return '出现错误'# 解析每一页的网页
def parse_one_page(url):try:response=requests.get(url,headers=headers)if response.status_code==200:soup=BeautifulSoup(response.text,'lxml')name=soup.select('body > div.banner > div > div.celeInfo-right.clearfix > div.movie-brief-container > h3')classification=soup.select('body > div.banner > div > div.celeInfo-right.clearfix > div.movie-brief-container > ul > li:nth-of-type(1)')time=soup.select('body > div.banner > div > div.celeInfo-right.clearfix > div.movie-brief-container > ul > li:nth-of-type(3)')introduce=soup.select('#app > div > div.main-content > div > div.tab-content-container > div.tab-desc.tab-content.active > div:nth-of-type(1) > div.mod-content > span')for 电影名称, 电影类别, 上映时间, 电影介绍 in zip(name, classification, time, introduce):data = {'电影名称': 电影名称.get_text(),'电影类别': 电影类别.get_text(),'上映时间': 上映时间.get_text(),'电影介绍': 电影介绍.get_text()}print(data)# save_to_mongo(data)write_to_file(data)return '无法连接'except RequestException:return '出现错误'#存入数据库
def save_to_mongo(result):try:if db[MONGO_DB].insert(result):print('成功存入')except Exception:print("失败")#保存成text格式
def write_to_file(content):with open('data.txt', 'w+') as f:f.write('data.txt')f.close()def main():for url in urls:get_one_page_url(url)if __name__=='__main__':main()

爬取猫眼评分前100的电影相关推荐

爬取豆瓣评分前50的电影信息
文章目录项目描述内容模块代码区运行测试项目描述根据豆瓣评分排名,获取豆瓣评分前50的电影信息.主要包括:电影名称.电影评分.评价人数和电影短评信息,并存储到本地表格文件. 内容模块使用r ...
python爬取微信小程序(实战篇)_python爬取猫眼的前100榜单并展示在微信小程序
首先分析要爬取的网页,对其结构及数据获取方式解析后,可采用正则筛选自己要的数据猫眼榜单.png import requests from requests.exceptions import Req ...
python实战（一）Python爬取猫眼评分排行前100电影及简单数据分析可视化python实战（一）Python爬取猫眼排行前一百电影及简单数据分析可视化
python实战(一)Python爬取猫眼排行前一百电影及简单数据分析可视化一.抓取数据需要的库 request库响应http请求 json库将文本保存成json形式 pyquery 类似JQ ...
python实战（一）Python爬取猫眼评分排行前100电影及简单数据分析可视化
python实战(一)Python爬取猫眼排行前一百电影及简单数据分析可视化一.抓取数据需要的库 request库响应http请求 json库将文本保存成json形式 pyquery 类似JQ ...
Python3简单爬虫：爬取猫眼评分top100电影
Python3:用xpath库爬取猫眼评分top100电影在看<Python3 网络爬虫开发实战中>一书学习时,书中第三章例子用re正则匹配来爬取电影的所需数据,虽然爬取速度快,效率好, ...
爬取猫眼上近期上映的电影及评分信息
爬取猫眼上近期上映的电影及评分信息文章目录爬取猫眼上近期上映的电影及评分信息 1.网页分析 2.相关代码 3.总结本次爬虫使用的是re,requests和bs库,如果没有,可以使用pip命令安装 ...
Crawler：基于requests库+json库+40行代码实现爬取猫眼榜单TOP100榜电影名称主要信息
Crawler:基于requests库+json库+40行代码实现爬取猫眼榜单TOP100榜电影名称主要信息目录输出结果实现代码输出结果实现代码 # -*- coding: utf-8 -* ...
Python爬取猫眼评分9.5的《海王》的3万条评论
前言 2018年12月7日,本年度最后一部压轴大片<海王>如期上映,目前猫眼评分达到9.5分,靠着1.5亿美金的制作成本,以小博大,目前票房接近9亿,本文爬取了猫眼3w+条评论,多方位带你 ...
爬取豆瓣网前一百名电影
网站爬取的流程图: 实现项目我们需要运用以下几个知识点一.获取网页 1.找网页规律: 2.使用 for 循环语句获得网站前4页的网页链接: 3.使用 Network 选项卡查找Headers信息: ...

爬取猫眼评分前100的电影

爬取猫眼评分前100的电影相关推荐

最新文章

热门文章