【爬虫】爬取百度贴吧数据

在这里我们写一个简单的小爬虫程序，爬取百度贴吧前几页的数据。

import requests
import sysclass Tieba(object):
def __init__(self, name, pn):self.name = name  self.headers = {       #requests请求的时候一定要带上headers  请求头"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36"}#kw{ }=.format(parems)  是一种拼接数据的方式   会把format里面的参数传递给 kw{}里面self.base_url = "http://tieba.baidu.com/f?kw={}&pn=".format(self.name)self.url_list = [self.base_url + str(i*50)for i in range(pn)]   #使用列表生成式，构建 url列表def get_data(self, url):response = requests.get(url, headers=self.headers)return response.contentdef save_data(self, data, index):# 组装文件名   再次用到  format格式filename = self.name + "_{}.html".format(index)with open(filename, 'wb')as f:f.write(data)def run(self):# run中写爬取思路# 构建请求头# 构建url列表# 遍历url列表，对每一个url发起请求获取响应for url in self.url_list:data = self.get_data(url)# 将响应保存index = self.url_list.index(url)self.save_data(data, index)

接线来，开始main主函数启动，调用其他函数

if name == 'main':#input是一种方法          word = sys.argv[1]   #sys接收参数  就是从控制台 console获取数据pn = sys.argv[2]  tieba = Tieba(word, int(pn))tieba.run()

【爬虫】爬取百度贴吧数据相关推荐

java爬虫黑马百度云,Java爬虫小Demo java爬取百度风云榜数据
Java爬虫小Demo java爬取百度风云榜数据很简单的一个小例子,使用到了java的爬虫框架 jsoup ,一起啦看看实现的方法吧! 相关推荐:Python爬虫实战 python爬虫爬取百度风云 ...
python爬取贴吧数据_爬取百度贴吧数据（练习Python爬虫）
爬取百度贴吧数据(Python) 1.总代码: from urllib.request import Request, urlopen from urllib.parse import quote d ...
python爬虫爬取百度文档
使用python爬虫爬取百度文档文字话不多说,直接上代码! import requests import reheaders = {"User-Agent": "Moz ...
python3爬虫爬取百度贴吧下载图片
python3爬虫爬取百度贴吧下载图片学习爬虫时没事做的小练习. 百度对爬虫还是很友好的,在爬取内容方面还是较为容易. 可以方便各位读者去百度贴吧一键下载每个楼主的图片,至于是什么类型的图片,就看你 ...
python爬虫代码实例-Python爬虫爬取百度搜索内容代码实例
这篇文章主要介绍了Python爬虫爬取百度搜索内容代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下搜索引擎用的很频繁,现在利用Python爬 ...
python爬虫豆瓣电影评价_使用爬虫爬取豆瓣电影影评数据Python版
在使用爬虫爬取豆瓣电影影评数据Java版一文中已详细讲解了爬虫的实现细节,本篇仅为展示Python版本爬虫实现,所以直接上代码完整代码爬虫主程序 # 爬虫启动入口 from C02.data ...
python爬虫爬取百度贴吧图片，requests方法
每天一点点,记录学习近期爬虫项目,看完请点赞哦---: 1:python 爬取菜鸟教程python100题,百度贴吧图片反爬虫下载,批量下载 2:python爬虫爬取百度贴吧图片,requests方 ...
python 百度百科爬虫_爬虫爬取百度百科数据
以前段时间<青春有你2>为例,我们使用Python来爬取百度百科中<青春有你2>所有参赛选手的信息. 什么是爬虫? 为了获取大量的互联网数据,我们自然想到使用爬虫代替我们完成这 ...
python爬虫爬取百度图片总结_爬虫篇| 爬取百度图片（一）
什么是爬虫网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁.自动索引.模 ...

【爬虫】爬取百度贴吧数据

【爬虫】爬取百度贴吧数据相关推荐

最新文章

热门文章