如何用python爬虫获取百度贴吧内容
最近开始整理python的资料,博主建立了一个qq群,希望给大家提供一个交流的平台 7848.6745 。
我们要爬取的网站是:百度贴吧,一个非常适合新人练手的地方,那么让我们开始吧。
本次要爬的贴吧是<< 西部世界 >>,贴吧地址 : https://tieba.baidu.com/f?kw=西部世界&ie=utf-8 。
Python版本 : 3.6 浏览器版本: Chrome
目标分析:
由于是第一个实验性质爬虫,我们要做的不多,我们需要做的就是:
- 从网上爬下特定页码的网页。
- 对于爬下的页面内容进行简单的筛选分析。
- 找到每一篇帖子的 标题、发帖人、日期、楼层、以及跳转链接。
- 将结果保存到文本。
前期准备: 看到贴吧的url地址是不是觉得很乱?有那一大串认不得的字符?
其实这些都是中文字符, %E8%A5%BF%E9%83%A8%E4%B8%96%E7%95%8C
在编码之后就是: 西部世界。
链接的末尾处:&ie=utf-8 表示该连接采用的是utf-8编码。
windows的默认编码是GBK,在处理这个连接的时候,需要我们在Python里手动设置一下,才能够成功使用。
Python3相对于Python2对于编码的支持有了很大的提升,默认全局采用utf-8编码,所以建议还在学Python2的小伙伴赶紧投入Python3的怀抱,真的省了老大的功夫了。
接着我们翻到贴吧的第二页:
url: https://tieba.baidu.com/f?kw=%E8%A5%BF%E9%83%A8%E4%B8%96%E7%95%8C&ie=utf-8&pn=50
注意到没有,连接的末尾处多了一个参数&pn=50, 这里我们很容易就能猜到,这个参数的与页码的联系:
- &pn=0 : 首页
- &pn=50: 第二页
- &pn=100:第三页
- &pn=50*n 第n页
- 50 表示 每一页都有50篇帖子。
这下我们就能通过简单的url修改,达到翻页的效果了。
chrome开发人员工具的使用:
要写爬虫,我们一定要会使用开发工具,说起来这个工具是给前端开发人员用的,但是我们可以通过它快速定位我们要爬取的信息,并找到相对应的规律。
- 按cmmand+option+I 打开chrome工具,(win可以看按F12或者手动在chrome工具栏里打开)
- 使用模拟点击工具快速定位到一个单独帖子的位置。(左上角的鼠标箭头图标)
我们仔细的观察一下,发现每个帖子的内容都包裹在一个li标签内。
这样我们只要快速找出所有的符合规则的标签,在进一步分析里面的内容,最后筛选出数据就可以了。
最近开始整理python的资料,博主建立了一个qq群,希望给大家提供一个交流的平台 78486745 。
内容分析
- 我们先写出抓取页面内容的函数:
这是前面介绍过的爬取框架,以后我们会经常用到。
import requests
from bs4 import BeautifulSoup# 首先我们写好抓取网页的函数
def get_html(url):try:r = requests.get(url,timeout=30)r.raise_for_status()#这里我们知道百度贴吧的编码是utf-8,所以手动设置的。爬去其他的页面时建议使用:# r.endcodding = r.apparent_endconding r.encoding='utf-8'return r.textexcept:return " ERROR "
- 接着我们摘取其中的详细信息:
我们来分一下每一个li标签内部的结构:一个大的li标签内包裹着很多个 div标签,而我们要的信息就在这一个个div标签之内:
# 标题&帖子链接
<a rel="noreferrer" href="/p/5803134498" title="【高淸】西部世界1-2季,中英字,未❗️删❕减.?任性给" target="_blank" class="j_th_tit ">【高淸】西部世界1-2季,中英字,未❗️删❕减.?任性给</a>#发帖人:
<span class="tb_icon_author no_icon_author" title="主题作者: 爱学习的萌新_" data-field="{"user_id":829797296}"><i class="icon_author"></i><span class="pre_icon_wrap pre_icon_wrap_theme1 frs_bright_preicon"><a class="icon_tbworld icon-crown-super-v1" href="/tbmall/tshow" data-field="{"user_id":829797296}" target="_blank" title="贴吧超级会员"></a></span>#回复数量:<div class="col2_left j_threadlist_li_left">
<span class="threadlist_rep_num center_text" title="回复">822</span>
</div>#发帖日期:
<span class="pull-right is_show_create_time" title="创建时间">7-20</span>
分析完之后,我们就能很容易的通过soup.find()方法得到我们想要的结果。
具体代码的实现:
'''
抓取百度贴吧---西部世界吧的基本内容
爬虫线路: requests - bs4
Python版本: 3.6
OS: mac os 12.13.6
'''import requests
import time
from bs4 import BeautifulSoup# 首先我们写好抓取网页的函数def get_html(url):try:r = requests.get(url, timeout=30)r.raise_for_status()# 这里我们知道百度贴吧的编码是utf-8,所以手动设置的。爬去其他的页面时建议使用:# r.endcodding = r.apparent_endcondingr.encoding = 'utf-8'return r.textexcept:return " ERROR "def get_content(url):'''分析贴吧的网页文件,整理信息,保存在列表变量中'''# 初始化一个列表来保存所有的帖子信息:comments = []# 首先,我们把需要爬取信息的网页下载到本地html = get_html(url)# 我们来做一锅汤soup = BeautifulSoup(html, 'lxml')# 按照之前的分析,我们找到所有具有‘ j_thread_list clearfix’属性的li标签。返回一个列表类型。liTags = soup.find_all('li', attrs={'class': ' j_thread_list clearfix'})# 通过循环找到每个帖子里的我们需要的信息:for li in liTags:# 初始化一个字典来存储文章信息comment = {}# 这里使用一个try except 防止爬虫找不到信息从而停止运行try:# 开始筛选信息,并保存到字典中comment['title'] = li.find('a', attrs={'class': 'j_th_tit '}).text.strip()comment['link'] = "http://tieba.baidu.com/" + \li.find('a', attrs={'class': 'j_th_tit '})['href']comment['name'] = li.find('span', attrs={'class': 'tb_icon_author '}).text.strip()comment['time'] = li.find('span', attrs={'class': 'pull-right is_show_create_time'}).text.strip()comment['replyNum'] = li.find('span', attrs={'class': 'threadlist_rep_num center_text'}).text.strip()comments.append(comment)except:print('出了点小问题')return commentsdef Out2File(dict):'''将爬取到的文件写入到本地保存到当前目录的 TTBT.txt文件中。'''with open('TTBT.txt', 'a+') as f:for comment in dict:f.write('标题: {} \t 链接:{} \t 发帖人:{} \t 发帖时间:{} \t 回复数量: {} \n'.format(comment['title'], comment['link'], comment['name'], comment['time'], comment['replyNum']))print('当前页面爬取完成')def main(base_url, deep):url_list = []# 将所有需要爬去的url存入列表for i in range(0, deep):url_list.append(base_url + '&pn=' + str(50 * i))print('所有的网页已经下载到本地! 开始筛选信息。。。。')#循环写入所有的数据for url in url_list:content = get_content(url)Out2File(content)print('所有的信息都已经保存完毕!')base_url = 'https://tieba.baidu.com/f?kw=%E8%A5%BF%E9%83%A8%E4%B8%96%E7%95%8C&ie=utf-8'
# 设置需要爬取的页码数量
deep = 3if __name__ == '__main__':main(base_url, deep)
代码里有详细的注释和思路,看不懂的话 多看几遍 下面是爬完的结果:
好了今天的小例子到这里就结束了。
【搜索圆方圆,获得“python教程”,“python下载”,“python入门”类相关信息。】
如何用python爬虫获取百度贴吧内容相关推荐
- python爬虫获取百度贴吧内容
python爬虫获取百度贴吧内容 python爬虫获取百度贴吧内容 *声明:本文仅供学习交流使用,请勿用于商业用途,违者后果自负.* python爬虫获取百度贴吧内容 博主是一个比较懒的人,不会按时更 ...
- Python 爬虫 - 获取百度关键字搜索内容
Python 爬虫 获取百度关键字搜索内容 https://www.cnblogs.com/w0000/p/bd_search_page.html Github headers内的参数,仅有UA时,返 ...
- 用Python爬虫获取百度企业信用中企业基本信息!太厉害了!
一.背景 希望根据企业名称查询其经纬度,所在的省份.城市等信息.直接将企业名称传给百度地图提供的API,得到的经纬度是非常不准确的,因此希望获取企业完整的地理位置,这样传给API后结果会更加准确.百度 ...
- 爬虫python下载-如何用Python爬虫实现百度图片自动下载?
制作爬虫的步骤 制作一个爬虫一般分以下几个步骤: 分析需求 分析网页源代码,配合开发者工具 编写正则表达式或者XPath表达式 正式编写 python 爬虫代码 效果预览 运行效果如下: 存放图片的文 ...
- python爬虫代码没有结果_beautifulsoup - python爬虫获取不到标签内容
问 题 链接如下: http://aaxxy.com/vod-detail-i... 使用requests请求此连接,然后用BeautifulSoup解析获取 dl > dd > a 标签 ...
- python爬去百度搜索结果_python爬虫获取百度搜索结果的简单示例
编程之家收集整理的这篇文章主要介绍了python爬虫获取百度搜索结果的简单示例,编程之家小编觉得挺不错的,现在分享给大家,也给大家做个参考. 感兴趣python爬虫获取百度搜索结果的简单示例的小伙伴, ...
- 从零开始写Python爬虫 --- 1.5 爬虫实践: 获取百度贴吧内容
从零开始写Python爬虫 --- 1.5 爬虫实践: 获取百度贴吧内容 Ehco 5 个月前 经过前期大量的学习与准备,我们重要要开始写第一个真正意义上的爬虫了.本次我们要爬取的网站是:百度贴吧,一 ...
- python爬网页数据用什么_初学者如何用“python爬虫”技术抓取网页数据?
原标题:初学者如何用"python爬虫"技术抓取网页数据? 在当今社会,互联网上充斥着许多有用的数据.我们只需要耐心观察并添加一些技术手段即可获得大量有价值的数据.而这里的&quo ...
- python Chrome + selenium自动化测试与python爬虫获取网页数据
一.使用Python+selenium+Chrome 报错: selenium.common.exceptions.SessionNotCreatedException: Message: sessi ...
- python如何获取百度搜索结果的真实URL
在公司中需要去抓取一些数据,就遇到了以下这些问题: 想通过爬虫获取百度搜索结果的原始链接.通过Firefox的HttpFox插件,发现在搜索结果的URL是加密过的,例如: http://www.bai ...
最新文章
- 添加文件然后自动打开
- ABB 机器人 添加多任务
- 【热点】React18正式版发布,未来发展趋势是?
- c语言中通过指针引用数组,C语言基础(二)
- redis队列(list)
- TestNG中使用监听
- css学习_css用户界面样式
- 如何获取下拉列表框的值
- 联想Y9000X Opencore引导黑苹果Catalina10.15.6安装教程
- 分享240道有意思的逻辑思维题
- 搜索、推荐、广告系统等人工智能优质技术资源最全整理
- 信号完整性(SI)电源完整性(PI)学习笔记(三十三)102条使信号完整性问题最小化的通用设计规则
- 车企销量“期中考”结束之后,新能源们下半年会持续高光吗?
- 【NLP】非监督文本匹配算法——BM25
- python opencv图片拼接
- 中国最牛的站长李兴平
- 阅读javascript高级程序设计随笔(五)
- ListView动态刷新某项Item
- 智能家居核心 —— wifi模块
- 上海交通大学出版社python教材答案学生信息管理系统_学生信息管理系统(最终版)...
热门文章
- 微信公众号历史文章采集
- JAVA城市道路智能停车管理系统计算机毕业设计Mybatis+系统+数据库+调试部署
- leetcode:1788.Maximize the Beauty of the Garden
- 蓝牙无线自制串口模块连接穿越机配置工具
- 下载微信公众号视频文件
- 大厂纷纷押宝“元宇宙”“鸡肋”智能眼镜难成密钥
- 基于STM32F407的测距模块HY-SRF05轮询开发
- python爬取bilibili弹幕_爬取Bilibili弹幕并制作词云图
- 分布式架构 网络传输优化
- 记一次搜狐畅游后台开发笔试