python批量获取百度贴吧_python网络爬虫案例:批量爬取百度贴吧页面数据
⾸先我们创建⼀个 python⽂件, tiebaSpider.py,我们要完成的是,输⼊⼀个百度贴吧的地址,⽐如:
发现规律了吧,贴吧中每个⻚⾯不同之处,就是 url 最后的 pn 的值,其余的都是⼀样的,我们可以抓住这个规律。
1、简单写⼀个⼩爬⾍程序,来爬取百度 LOL 吧的所有⽹⻚
我们已经之前写出⼀个爬取⼀个⽹⻚的代码。现在,我们可以将它封装成⼀个⼩函数 loadPage,供我们使⽤。
def loadPage(url):
'''
'''
通过 URL 请求爬取到 html 静态⻚⾯源代码
url:需要爬取的 url 地址
req = urllib2.Request(url)
response = urllib2.urlopen(req)
html = response.read()
return html
复制代码
接下来,我们写⼀个百度贴吧爬⾍接⼝,我们需要传递 3 个参数给这个接⼝, ⼀个是我们要爬取的 url 地址,以及起始⻚码和终⽌⻚码,表示要爬取⻚码的范围。
def tiebaSpider(url, beginPage, endPage):
'''
'''
百度贴吧爬⾍核⼼程序:
url: 要爬取的 url 地址
beginPage: 爬⾍贴吧的起始⻚数
endPage: 爬⾍贴吧的终⽌⻚数
user_agent = "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1
; Trident/5.0;" # IE9.0 的 User-Agent
headers = {"User-Agent":user_agent}
for i in range(beginPage, endPage+1):
pn = 50 * (i - 1)
html = loadPage(url+str(pn))
复制代码
最后如果我们希望将爬取到了每⻚的信息存储在本地磁盘上,我们可以简单写⼀个存储⽂件的接⼝。
def writeFile(file_name, text):
'''
'''
将字符串内容写到⽂件中:
file_name: ⽂件路径
text: 要写进的字符串
print "正在存储⽂件" + file_name
f = open(file_name, 'w+')
f.write(text)
f.close()
复制代码
ok,接下来就是写⼀个 main 函数吧,然后提示⽤户输⼊即将爬取的百度贴吧 url 地址。 ( 注意 :百度贴吧最后⻚码” pn= “后的数字,这些数字为我们传⼊的⻚码参数,所以我们再提供的时候不能包括数字)
if name == ' main ':
tiebaurl = str(raw_input('请输⼊贴吧的地址, 去掉 pn=后⾯的数字:'))
beginPage = int(raw_input('请输⼊开始的⻚数'))
endPage = int(raw_input('请输⼊结束的⻚数'))
tiebaSpider(tiebaurl, beginPage, endPage)
复制代码
综上, 全部代码完成。好了,最后我们测试⼀下。
2、爬虫代码测试
运⾏后,输⼊lol 吧的 url 地址 tieba.baidu.com/f?kw=l... ( 注意=号后⾯不要加数字,因为我们要⾃动添加 )
Power@PowerMac ~$ python tiebaSpider.py
请输⼊贴吧的地址, 去掉 pn=后⾯的数字: http://tieba.baidu.com/f?kw=lol&i
e=utf-8&pn=
请输⼊开始的⻚数 5 请输⼊结束
的⻚数 10
正在下载第 5 个⽹⻚
正在存储⽂件 5.html 正
在下载第 6 个⽹⻚ 正在
存储⽂件 6.html 正在下
载第 7 个⽹⻚ 正在存储
⽂件 7.html 正在下载第
8 个⽹⻚ 正在存储⽂件
8.html 正在下载第 9 个
⽹⻚ 正在存储⽂件
9.html 正在下载第 10
个⽹⻚ 正在存储⽂件
10.html
复制代码
3、总结
其实很多⽹站都是这样的,当前⽹址下会有⼏个 html⻚⾯,分别对应⽹址后的⽹⻚序号。
这样⼀个简单的爬⾍程序就可以批量获取⽹站⻚⾯源码,然后我们就可以从中筛选⾃⼰想要的数据信息了。
点击获取全套python爬虫视频教程,从爬虫基础到高级项目实战教程,非常值得零基础的人学习爬虫,理论+项目实践,终成爬虫大神。
python批量获取百度贴吧_python网络爬虫案例:批量爬取百度贴吧页面数据相关推荐
- python 爬虫案例:爬取百度贴吧图片
文章更新于:2020-04-24 注1:打包后的程序(无需python环境)下载参见:https://ww.lanzous.com/ibvwref 注2:更多爬虫案例参见:https://github ...
- [day4]python网络爬虫实战:爬取美女写真图片(Scrapy版)
l> 我的新书<Android App开发入门与实战>已于2020年8月由人民邮电出版社出版,欢迎购买.点击进入详情 文章目录 1.开发环境 2.第三方库 3.Scrapy简介 4. ...
- [day2]python网络爬虫实战:爬取美女写真图片(增强版)
l> 我的新书<Android App开发入门与实战>已于2020年8月由人民邮电出版社出版,欢迎购买.点击进入详情 文章目录 1.开发环境 2.第三方库 3.实现 1.分析url格 ...
- Python爬虫实战之爬取百度贴吧帖子
Python爬虫实战之爬取百度贴吧帖子 大家好,上次我们实验了爬取了糗事百科的段子,那么这次我们来尝试一下爬取百度贴吧的帖子.与上一篇不同的是,这次我们需要用到文件的相关操作. 本篇目标 对百度贴吧的 ...
- Python 网络爬虫实战:爬取知乎回答中的全部图片
平时逛知乎的时候,经常能看到很多很棒的图片,精美的壁纸,搞笑的表情包,有趣的截图等等,总有想全部保存下来的冲动. 于是在一个小老弟的拜托之下,我把之前的知乎爬虫改造了一下,改装成了一个可以下载知乎回答 ...
- [day1]python网络爬虫实战:爬取美女写真图片
l> 我的新书<Android App开发入门与实战>已于2020年8月由人民邮电出版社出版,欢迎购买.点击进入详情 文章目录 1.开发环境 2.第三方库 3.实现 1.分析url格 ...
- Python爬虫系列之爬取微信公众号新闻数据
Python爬虫系列之爬取微信公众号新闻数据 小程序爬虫接单.app爬虫接单.网页爬虫接单.接口定制.网站开发.小程序开发 > 点击这里联系我们 < 微信请扫描下方二维码 代码仅供学习交流 ...
- 爬虫python爬取页面请求_Python网络爬虫第三弹《爬取get请求的页面数据》
一.urllib库 urllib是Python自带的一个用于爬虫的库,其主要作用就是可以通过代码模拟浏览器发送请求.其常被用到的子模块在Python3中的为urllib.request和urllib. ...
- 爬虫python爬取页面请求_03 Python网络爬虫第三弹《爬取get请求的页面数据》,urllib...
一.urllib库 urllib是Python自带的一个用于爬虫的库,其主要作用就是可以通过代码模拟浏览器发送请求.其常被用到的子模块在Python3中的为urllib.request和urllib. ...
- 百度贴吧界面html程序代码,python爬虫例题:爬取百度贴吧评论区图片和视频
百度贴吧是全球最大的中文交流平台,你是否跟我一样,有时候看到评论区的图片想下载呢?或者看到一段视频想进行下载呢? 今天,本期Python教程带大家通过搜索关键字来获取评论区的图片和视频. [二.项目目 ...
最新文章
- 配置Android开发环境(fedora)
- 深入理解JVM-垃圾回收器
- 【poj3709】 K-Anonymous Sequence
- 【ZJOI2015】幻想乡战略游戏【点分树】【带权重心】
- ApplicationContext接口不同应用场景的实现
- 阅读众包文献中一些值得mark 的小收获
- 任正非为什么向两千多年前的李冰父子学习?
- Altium Designer 18简单入门介绍与分享
- windows核心编程之进程(3)
- word2003如何设置护眼模式_word2003护眼色设置
- opencv批量修改图片分辨率
- 微信公众号和服务器的关系,微信公众号订阅号和服务号主要区别
- 独家解读 | 基于优化的对抗攻击:CW攻击的原理详解与代码解读
- html:(9):blockquote引用和br换行
- 赵小楼《天道》《遥远的救世主》深度解析(118)女人的客观就那么难么?不难。难的是不想客观的人。
- 如何用C++开发STM32?
- creo草绘工程图标注字体大小、加粗设置
- 2038问题及其解决方案
- 南加大计算机专业本科sat要求,南加州大学本科申请需要什么条件
- [实训题目EmoProfo]基于深度学习的表情识别服务搭建(一)
热门文章
- 倒车雷达C语言程序,基于单片机汽车倒车雷达系统设计(含程序).doc
- 【毕业设计】基于单片机的超声波雷达系统
- 机器学习算法——GBDT
- Ubuntu系统安装字体方法
- 迟到的秋招经验分享贴,希望能帮到大家
- android 开源 视频播放器,安卓视频播放器——ijkPlayer(Bilibili开源)-Go语言中文社区...
- 童诗白先生诞辰100周年纪念会暨“天立-童诗白中国自动化教育奖”启动仪式
- 算法洗脑系列(8篇)——第四篇 枚举思想
- STM32单片机(一).相关的开发工具软件
- Android Theme.AppCompat 和 ThemeOverlay.AppCompat