代码如下：

# 注意encoding = 'utf-8'和ensure_ascii = False，不写的话不能输出汉字

import requests

from requests.exceptions import RequestException

import re

import json

#from multiprocessing import Pool

# 测试了下 这里需要自己添加头部 否则得不到网页

headers = {

'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36'

}

# 得到html代码

def get_one_page(url):

try:

response = requests.get(url, headers = headers)

if response.status_code == 200:

return response.text

return None

except RequestException:

return None

# 解析html代码

def parse_one_page(html):

pattern = re.compile('

.*?board-index.*?>(\d+).*?data-src="(.*?)".*?name">(.*?).*?star">(.*?).*?releasetime">(.*?).*?integer">(.*?).*?fraction">(.*?).*?(/dd)', re.S)

items = re.findall(pattern, html)

for item in items:

# 将元组形式变为字典

yield {

'【排名】': item[0],

'【图片】': item[1],

'【标题】': item[2],

'【主演】': item[3].strip()[3:],

'【上映时间】': item[4].strip()[5:],

'【评分】': item[5] + item[6]

}

# 写入文件,写入的是一个json格式的数据

def write_to_file(content):

with open('top100.csv', 'a', encoding = 'utf-8') as f:

f.write(json.dumps(content, ensure_ascii = False) + '\n')

f.close()

# 主函数

def main(offset):

url = 'http://maoyan.com/board/4?offset=' + str(offset)

html = get_one_page(url)

for item in parse_one_page(html):

print(item)

write_to_file(item)

if __name__ == '__main__':

for i in range(10):

main(i * 10)

# 多进程(测试有bug)

# if __name__ == '__main__':

# pool = Pool()

# pool.map(main, [i * 10 for i in range(10)])

# pool.join()

# pool.close()

运行结果如下：

在top100.csv文件中的数据如下：

因为没有下载模块所以这里只是显示首页图片的链接，如果想下载首页图片还需再加上下载模块

Python 爬取 猫眼 top100 电影例子

一个Python 爬取猫眼top100的小栗子 import json import requests import re from multiprocessing import Pool #//进程 ...

使用python爬取MedSci上的期刊信息

使用python爬取medsci上的期刊信息,通过设定条件,然后获取相应的期刊的的影响因子排名,期刊名称,英文全称和影响因子.主要过程如下: 首先,通过分析网站http://www.medsci.cn ...

爬虫系列(1)-----python爬取猫眼电影top100榜

对于Python初学者来说,爬虫技能是应该是最好入门,也是最能够有让自己有成就感的,今天在整理代码时,整理了一下之前自己学习爬虫的一些代码,今天先上一个简单的例子,手把手教你入门Python爬虫,爬取 ...

python 爬取猫眼电影top100数据

最近有爬虫相关的需求,所以上B站找了个视频(链接在文末)看了一下,做了一个小程序出来,大体上没有修改,只是在最后的存储上,由txt换成了excel. 简要需求:爬虫爬取 猫眼电影TOP100榜单 数据 ...

票房和口碑称霸国庆档，用 Python 爬取猫眼评论区看看电影《我和我的家乡》到底有多牛

今年的国庆档电影市场的表现还是比较强势的,两名主力和起到了很好的带头作用. 首日破 2 亿,一举刷新由

steam夏日促销悄然开始，用Python爬取排行榜上的游戏打折信息

前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 不知不觉,一年一度如火如荼的steam夏日促销悄然开始了.每年通过大大小小 ...

Python 爬取猫眼电影最受期待榜

主要爬取猫眼电影最受期待榜的电影排名.图片链接.名称.主演.上映时间. 思路:1.定义一个获取网页源代码的函数: 2.定义一个解析网页源代码的函数: 3.定义一个将解析的数据保存为本地文件的函数: ...

python爬取猫眼电影top100

最近想研究下python爬虫,于是就找了些练习项目试试手,熟悉一下,猫眼电影可能就是那种最简单的了. 1 看下猫眼电影的top100页面 分了10页,url为:https://maoyan.com/b ...

Python爬取猫眼top100排行榜数据【含多线程】

# -*- coding: utf-8 -*- import requests from multiprocessing import Pool from requests.exceptions im ...

随机推荐

Android抓包方法(二)之Tcpdump命令+Wireshark

Android抓包方法(二) 之Tcpdump命令+Wireshark 前言 做前端测试,基本要求会抓包,会分析请求数据包,查看接口是否调用正确,数据返回是否正确,问题产生是定位根本原因等.学会抓包分 ...

SQL基础分类

我们可以把学习过的sql语言,进行分类: 1. DDL : 数据定义语言 a) 操作库表结构的语言. Create drop alter 2. DML : 数据操作语言 a) 操作数据的语言: upd ...

Visual Studio中设置默认VC++路径

菜单"View" -> "Other Windows" -> "Property Manager" 选择对应的配置并修改即可.

(C/C++) Interview in English - Points.

Q: What is a dangling pointer? A: A dangling pointer arises when you use the address of an object af ...

loadrunner简单的例子(demo)

刚刚做了一个loadrunner进行负载测试,把步骤截图给大伙看看.一共三个步骤 一创建/编辑脚本 二运行负载测试 三分析测试结果 首先是第一步的流程:第一步创建/编辑脚本 图一 图二 图三 图四 图 ...

Oracle SQL优化[转]

Oracle SQL优化 1. 选用适合的ORACLE优化器 ORACLE的优化器共有3种: a. RULE (基于规则) b. COST (基于成本) c. CHOOSE (选择性) 设置缺省的优化 ...

xshell的一些常用配置

1  在xshell中鼠标滚轮和右键的快捷方式 利用鼠标滚轮和右键快速粘贴上面复制的内容 打开xshell的工具---选项-----键盘和鼠标 点击确定 回到xshell即可使用

JavaScript之12306自动刷新车票[待完善]

function refresh(){ var search_btn = document.getElementById("query_ticket"); var result_t ...

调试 shell script 方法

wade@V1088:~$ cat b.sh#!/bin/bash dir=`pwd` dir=$dir'/' for f in `ls *.png` do echo $dir$f done 看每一行 ...

hdoj1175 连连看(dfs+剪枝)

处理连连看问题. 要求拐弯方向不多于两次.剪枝很重要!!! 用dir记录当前方向.Orz,居然没想到. #include #include ...