爬虫实践：获取百度贴吧内容

原文链接：https://www.jianshu.com/p/ca6daafe80e9

本次我们要爬取的网站是：百度贴吧，一个非常适合新人练手的地方，那么让我们开始吧。

本次要爬的贴吧是<< 西部世界 >>，西部世界是我一直很喜欢的一部美剧，平时有空也会去看看吧友们都在聊些什么。所以这次选取这个吧来作为实验材料。

贴吧地址 :
https://tieba.baidu.com/f?kw=%E8%A5%BF%E9%83%A8%E4%B8%96%E7%95%8C&ie=utf-8

Python版本 : 3.6
浏览器版本： Chrome

1.目标分析

由于是第一个实验性质爬虫，我们要做的不多，我们需要做的就是：

1、从网上爬下特定页码的网页
2、对于爬下的页面内容进行简单的筛选分析
3、找到每一篇帖子的标题、发帖人、日期、楼层、以及跳转链接
4、将结果保存到文本。

前期准备：
看到贴吧的url地址是不是觉得很乱？有那一大串认不得的字符？

其实这些都是中文字符，
%E8%A5%BF%E9%83%A8%E4%B8%96%E7%95%8C

在编码之后就是：西部世界。

链接的末尾处：&ie=utf-8 表示该连接采用的是utf-8编码。

windows的默认编码是GBK，在处理这个连接的时候，需要我们在Python里手动设置一下，才能够成功使用。

接着我们翻到贴吧的第二页：

url:

url: https://tieba.baidu.com/f?kw=%E8%A5%BF%E9%83%A8%E4%B8%96%E7%95%8C&ie=utf-8&pn=50

注意到没有，连接的末尾处多了一个参数&pn=50,

这里我们很容易就能猜到，这个参数的与页码的联系：

&pn=0 ：首页
&pn=50：第二页
&pn=100：第三页
&pn=50*n 第n页
50 表示每一页都有50篇帖子。

这下我们就能通过简单的url修改，达到翻页的效果了。

2.chrome开发工具使用

要写爬虫，我们一定要会使用开发工具，说起来这个工具是给前段开发人员用的，但是我们可以通过它快速定位我们要爬取的信息，并找到相对应的规律。

按cmmand+option+I 打开chrome工具，（win可以看按F12或者手动在chrome工具栏里打开）

使用模拟点击工具快速定位到一个单独帖子的位置。(左上角的鼠标箭头图标)

我们仔细的观察一下，发现每个帖子的内容都包裹在一个li标签内：

<li class=" j_thread_list clearfix">

这样我们只要快速找出所有的符合规则的标签，

在进一步分析里面的内容，最后筛选出数据就可以了。

3.开始写代码

我们先写出抓取页面内的人的函数：

这是前面介绍过的爬取框架，以后我们会经常用到。

import requests
from bs4 import BeautifulSoup# 首先我们写好抓取网页的函数
def get_html(url):try:r = requests.get(url,timeout=30)r.raise_for_status()#这里我们知道百度贴吧的编码是utf-8，所以手动设置的。爬去其他的页面时建议使用：# r.endcodding = r.apparent_endconding r.encoding='utf-8'return r.textexcept:return " ERROR "

接着我们抓取详细的信息

一个大的li标签内包裹着很多个 div标签

而我们要的信息就在这一个个div标签之内：

# 标题&帖子链接
<a rel="noreferrer" href="/p/5803134498" title="【高淸】西部世界1-2季，中英字，未❗️删❕减.?任性给" target="_blank" class="j_th_tit ">【高淸】西部世界1-2季，中英字，未❗️删❕减.?任性给</a>#发帖人：
<span class="tb_icon_author no_icon_author" title="主题作者: 爱学习的萌新_" data-field="{&quot;user_id&quot;:829797296}"><i class="icon_author"></i><span class="pre_icon_wrap pre_icon_wrap_theme1 frs_bright_preicon"><a class="icon_tbworld icon-crown-super-v1" href="/tbmall/tshow" data-field="{&quot;user_id&quot;:829797296}" target="_blank" title="贴吧超级会员"></a></span>#回复数量：<div class="col2_left j_threadlist_li_left">
<span class="threadlist_rep_num center_text" title="回复">822</span>
</div>#发帖日期：
<span class="pull-right is_show_create_time" title="创建时间">7-20</span>

分析完之后，我们就能很容易的通过soup.find()方法得到我们想要的结果

具体代码的实现：

'''
抓取百度贴吧---西部世界吧的基本内容
爬虫线路： requests - bs4
Python版本： 3.6
OS： mac os 12.13.6
'''import requests
import time
from bs4 import BeautifulSoup# 首先我们写好抓取网页的函数def get_html(url):try:r = requests.get(url, timeout=30)r.raise_for_status()# 这里我们知道百度贴吧的编码是utf-8，所以手动设置的。爬去其他的页面时建议使用：# r.endcodding = r.apparent_endcondingr.encoding = 'utf-8'return r.textexcept:return " ERROR "def get_content(url):'''分析贴吧的网页文件，整理信息，保存在列表变量中'''# 初始化一个列表来保存所有的帖子信息：comments = []# 首先，我们把需要爬取信息的网页下载到本地html = get_html(url)# 我们来做一锅汤soup = BeautifulSoup(html, 'lxml')# 按照之前的分析，我们找到所有具有‘ j_thread_list clearfix’属性的li标签。返回一个列表类型。liTags = soup.find_all('li', attrs={'class': ' j_thread_list clearfix'})# 通过循环找到每个帖子里的我们需要的信息：for li in liTags:# 初始化一个字典来存储文章信息comment = {}# 这里使用一个try except 防止爬虫找不到信息从而停止运行try:# 开始筛选信息，并保存到字典中comment['title'] = li.find('a', attrs={'class': 'j_th_tit '}).text.strip()comment['link'] = "http://tieba.baidu.com/" + \li.find('a', attrs={'class': 'j_th_tit '})['href']comment['name'] = li.find('span', attrs={'class': 'tb_icon_author '}).text.strip()comment['time'] = li.find('span', attrs={'class': 'pull-right is_show_create_time'}).text.strip()comment['replyNum'] = li.find('span', attrs={'class': 'threadlist_rep_num center_text'}).text.strip()comments.append(comment)except:print('出了点小问题')return commentsdef Out2File(dict):'''将爬取到的文件写入到本地保存到当前目录的 TTBT.txt文件中。'''with open('TTBT.txt', 'a+') as f:for comment in dict:f.write('标题： {} \t 链接：{} \t 发帖人：{} \t 发帖时间：{} \t 回复数量： {} \n'.format(comment['title'], comment['link'], comment['name'], comment['time'], comment['replyNum']))print('当前页面爬取完成')def main(base_url, deep):url_list = []# 将所有需要爬去的url存入列表for i in range(0, deep):url_list.append(base_url + '&pn=' + str(50 * i))print('所有的网页已经下载到本地！ 开始筛选信息。。。。')#循环写入所有的数据for url in url_list:content = get_content(url)Out2File(content)print('所有的信息都已经保存完毕！')base_url = 'https://tieba.baidu.com/f?kw=%E8%A5%BF%E9%83%A8%E4%B8%96%E7%95%8C&ie=utf-8'
# 设置需要爬取的页码数量
deep = 3if __name__ == '__main__':main(base_url, deep)

代码里有详细的注释和思路，看不懂的话多看几遍
下面是爬完的结果：

好了今天的小例子到这里就结束了。

爬虫实践：获取百度贴吧内容相关推荐

从零开始写Python爬虫 --- 1.5 爬虫实践：获取百度贴吧内容
从零开始写Python爬虫 --- 1.5 爬虫实践: 获取百度贴吧内容 Ehco 5 个月前经过前期大量的学习与准备,我们重要要开始写第一个真正意义上的爬虫了.本次我们要爬取的网站是:百度贴吧,一 ...
python爬虫获取百度贴吧内容
python爬虫获取百度贴吧内容 python爬虫获取百度贴吧内容 *声明:本文仅供学习交流使用,请勿用于商业用途,违者后果自负.* python爬虫获取百度贴吧内容博主是一个比较懒的人,不会按时更 ...
Python 爬虫 - 获取百度关键字搜索内容
Python 爬虫获取百度关键字搜索内容 https://www.cnblogs.com/w0000/p/bd_search_page.html Github headers内的参数,仅有UA时,返 ...
HtmlAgilityPack 爬虫批量获取百度音乐下载地址一
2014年8月19日15:26:16 说明: 有些网友发私信或在资源下留言问现在为什么无法抓取百度音乐排行榜了,是不是源代码有问题或代码不全面. 首先感谢你的关注,其次想说这个小工具仅仅是通过抓取百 ...
[Python爬虫] Selenium获取百度百科旅游景点的InfoBox消息盒
前面我讲述过如何通过BeautifulSoup获取维基百科的消息盒,同样可以通过Spider获取网站内容,最近学习了Selenium+Phantomjs后,准备利用它们获取百度百科的旅游景点消息盒(I ...
Python爬虫实践：获取百度贴吧内容
最近开始整理python的资料,博主建立了一个qq群,希望给大家提供一个交流的平台 78486745 . 我们要爬取的网站是:百度贴吧,一个非常适合新人练手的地方,那么让我们开始吧. 本次要爬的贴吧是 ...
[Prac] 简单的爬虫实践 - 获取黄金现货价格
(源自<实用数据分析>(原书第2版),网站更新后原文代码不能用了所以自己写了个小爬虫) 1.网页分析目标网站:https://www.gold.org/ 开发人员工具(F12)用自带的元 ...
python爬虫知乎用户_python爬虫如何获取知乎问答内容？
有疑问和困惑的时候,除了去书本翻阅资料,还可以在知乎上发起提问,和来自不同地方的小伙伴一起进行讨论.小编觉得这种学习的方法不仅能够自己理解知识,而且别人也会在回答中有所提升,是个一举两得的好办法.最近 ...
python爬虫实践_百度图片
原文:https://blog.csdn.net/heart__gx/article/details/80818344 前期准备: requests安装可以直接在命令提示符中输入pip命令直接安装 ...
python 爬虫——爬取百度文库VIP内容
转载自:爬取百度文库代码实现 import requests import re import json import ossession = requests.session()def fetch ...

爬虫实践：获取百度贴吧内容

爬虫实践：获取百度贴吧内容相关推荐

最新文章

热门文章

爬虫实践： 获取百度贴吧内容

爬虫实践： 获取百度贴吧内容相关推荐

最新文章

热门文章

爬虫实践：获取百度贴吧内容

爬虫实践：获取百度贴吧内容相关推荐