Python爬虫实战案例：一键爬取，多种网页模板任你选！

文章目录

一、网页查看
二、网页爬取数据分析
三、代码分析
四、图片辅助分析
五、运行结果
CSDN独家福利降临！！！

更多博主开源爬虫教程目录索引

一、网页查看

进入网页模板

多页爬取

二、网页爬取数据分析

三、代码分析

数据爬取部分

# 使用etree进行数据解析
tree = etree.HTML(page_text)#参考图1，使用xpath语法根据id定位，定位后拿到下面的所有div标签下的a标签的href属性
#所有详情页url
a_list = tree.xpath("//div[@id='container']//div/a/@href")
#遍历详情页url
for a_li in a_list:# 发起详情页请求moban_data = requests.get(url=a_li, headers=headers)moban_data.encoding = "utf-8"#解析网页tree2 = etree.HTML(moban_data.text)#下载的url，参考图2rar_down = tree2.xpath("//div[@class='downbody']//div[@class='dian'][2]/a[1]/@href")#网页模板名称，参考图3rar_name = tree2.xpath("//div[@class='text_wrap']/h2/a/text()")[0]#rar_down是一个列表DownRar(rar_down[0], rar_name)

多页爬取部分

#多页爬取
for i in range(1,11):#如果是第一页if i == 1:url = "http://sc.chinaz.com/moban/index.html"#不是第一页else:url = "http://sc.chinaz.com/moban/index_" + str(i) + ".html"

四、图片辅助分析

图1

图2

图3

五、运行结果

CSDN独家福利降临！！！

最近CSDN有个独家出品的活动，也就是下面的《Python的全栈知识图谱》，路线规划的非常详细,尺寸是870mm x 560mm 小伙伴们可以按照上面的流程进行系统的学习，不要像我当初一样没人带自己随便找本书乱学，系统的有规律的学习，它的基础才是最扎实的，在我们这行，《基础不牢，地动山摇》尤其明显。

最后，如果有兴趣的小伙伴们可以酌情购买，为未来铺好道路！！！

博主会持续更新，有兴趣的小伙伴可以点赞、关注和收藏下哦，你们的支持就是我创作最大的动力！

更多Python爬虫有关文章

本文爬虫源码已由 GitHub https://github.com/2335119327/PythonSpider 已经收录（内涵更多本博文没有的爬虫,有兴趣的小伙伴可以看看）,之后会持续更新，欢迎Star。

Python爬虫实战案例：一键爬取，多种网页模板任你选！相关推荐

Python爬虫实战案例：爬取新闻资讯
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 一个简单的Python资讯采集案例,列表页到详情页,到数据保存,保存为tx ...
python爬取喜马拉雅_Python爬虫实战案例之爬取喜马拉雅音频数据详解
这篇文章我们来讲一下在网站建设中,Python爬虫实战案例之爬取喜马拉雅音频数据详解.本文对大家进行网站开发设计工作或者学习都有一定帮助,下面让我们进入正文. 前言喜马拉雅是专业的音频分享平台,汇集 ...
转 Python爬虫实战一之爬取糗事百科段子
静觅 » Python爬虫实战一之爬取糗事百科段子首先,糗事百科大家都听说过吧?糗友们发的搞笑的段子一抓一大把,这次我们尝试一下用爬虫把他们抓取下来. 友情提示糗事百科在前一段时间进行了改版,导致 ...
《python爬虫实战》：爬取贴吧上的帖子
<python爬虫实战>:爬取贴吧上的帖子经过前面两篇例子的练习,自己也对爬虫有了一定的经验. 由于目前还没有利用BeautifulSoup库,因此关于爬虫的难点还是正则表达式的书写. ...
python爬虫实战之多线程爬取前程无忧简历
python爬虫实战之多线程爬取前程无忧简历 import requests import re import threading import time from queue import Queu ...
Python爬虫实战一之爬取糗事百科段子
点我进入原文另外, 中间遇到两个问题: 1. ascii codec can't decode byte 0xe8 in position 0:ordinal not in range(128) 解 ...
python爬虫实战之异步爬取数据
python爬虫实战之异步爬取数据文章目录前言一.需求二.使用步骤 1.思路 2.引入库 3.代码如下总结前言 python中异步编程的主要三种方法:回调函数.生成器函数.线程大法. 以进 ...
Python爬虫【四】爬取PC网页版“微博辟谣”账号内容(selenium多线程异步处理多页面)
专题系列导引爬虫课题描述可见: Python爬虫[零]课题介绍 – 对"微博辟谣"账号的历史微博进行数据采集课题解决方法: 微博移动版爬虫 Python爬虫[一]爬取移 ...
Python爬虫【二】爬取PC网页版“微博辟谣”账号内容(selenium同步单线程)
专题系列导引爬虫课题描述可见: Python爬虫[零]课题介绍 – 对"微博辟谣"账号的历史微博进行数据采集课题解决方法: 微博移动版爬虫 Python爬虫[一]爬取移 ...
Python爬虫【三】爬取PC网页版“微博辟谣”账号内容(selenium单页面内多线程爬取内容)
专题系列导引爬虫课题描述可见: Python爬虫[零]课题介绍 – 对"微博辟谣"账号的历史微博进行数据采集课题解决方法: 微博移动版爬虫 Python爬虫[一]爬取移 ...