python爬百度贴吧_从零开始写Python爬虫 --- 1.5 爬虫实践：获取百度贴吧内容

经过前期大量的学习与准备，我们重要要开始写第一个真正意义上的爬虫了。本次我们要爬取的网站是：百度贴吧，一个非常适合新人练手的地方，那么让我们开始吧。

本次要爬的贴吧是<< 生活大爆炸吧 >>，生活大爆炸是我一直很喜欢的一部美剧，平时有空也会去看看吧友们都在聊些什么。所以这次选取这个吧来作为实验材料。贴吧地址 :

http://tieba.baidu.com/f?kw=%E7%94%9F%E6%B4%BB%E5%A4%A7%E7%88%86%E7%82%B8&ie=utf-8

Python版本 : 3.6

浏览器版本： Chrome

目标分析：

由于是第一个实验性质爬虫，我们要做的不多，我们需要做的就是：从网上爬下特定页码的网页

对于爬下的页面内容进行简单的筛选分析

找到每一篇帖子的标题、发帖人、日期、楼层、以及跳转链接

将结果保存到文本。

前期准备：

看到贴吧的url地址是不是觉得很乱？有那一大串认不得的字符？

其实这些都是中文字符，

%E7%94%9F%E6%B4%BB%E5%A4%A7%E7%88%86%E7%82%B8

在编码之后就是：生活大爆炸。

链接的末尾处：&ie=utf-8 表示该连接采用的是utf-8编码。

windows的默认编码是GBK，在处理这个连接的时候，需要我们在Python里手动设置一下，才能够成功使用。

Python3相对于Python2对于编码的支持有了很大的提升，默认全局采用utf-8编码，所以建议还在学Python2的小伙伴赶紧投入Python3的怀抱，真的省了老大的功夫了。

接着我们翻到贴吧的第二页：

url:

`url: http://tieba.baidu.com/f?kw=%E7%94%9F%E6%B4%BB%E5%A4%A7%E7%88%86%E7%82%B8&ie=utf-8&pn=50`

注意到没有，连接的末尾处多了一个参数&pn=50,

这里我们很容易就能猜到，这个参数的与页码的联系：&pn=0 ：首页

&pn=50：第二页

&pn=100：第三页

&pn=50*n 第n页

50 表示每一页都有50篇帖子。

这下我们就能通过简单的url修改，达到翻页的效果了。

chrome开发人员工具的使用：

要写爬虫，我们一定要会使用开发工具，说起来这个工具是给前段开发人员用的，但是我们可以通过它快速定位我们要爬取的信息，并找到相对应的规律。按cmd+opt+I 打开chrome工具，（win可以看按F12或者手动在chrome工具栏里打开）

使用模拟点击工具快速定位到一个单独帖子的位置。(左上角的鼠标箭头图标)

我们仔细的观察一下，发现每个帖子的内容都包裹在一个li标签内：

这样我们只要快速找出所有的符合规则的标签，

在进一步分析里面的内容，最后筛选出数据就可以了。

开始写代码吧？

我们先写出抓取页面内人的函数：

这是前面介绍过的爬取框架，以后我们会经常用到。

import requests

from bs4 import BeautifulSoup

# 首先我们写好抓取网页的函数

def get_html(url):

try:

r = requests.get(url,timeout=30)

r.raise_for_status()

#这里我们知道百度贴吧的编码是utf-8，所以手动设置的。爬去其他的页面时建议使用：

# r.endcodding = r.apparent_endconding

r.encoding='utf-8'

return r.text

except:

return " ERROR "

接着我们摘取其中的详细信息：我们来分一下每一个li标签内部的结构：

一个大的li标签内包裹着很多个 div标签

而我们要的信息就在这一个个div标签之内：

# 标题&帖子链接：

又重温一遍第九季这个侧脸给多少分

#发帖人：

Li欣远

#回复数量：

#发帖日期：

2016-10

分析完之后，我们就能很容易的通过soup.find()方法得到我们想要的结果

具体代码的实现：

'''抓取百度贴吧---生活大爆炸吧的基本内容爬虫线路： requests - bs4Python版本： 3.6OS： mac os 12.12.4'''

import requests

import time

from bs4 import BeautifulSoup

# 首先我们写好抓取网页的函数

def get_html(url):

try:

r = requests.get(url, timeout=30)

r.raise_for_status()

# 这里我们知道百度贴吧的编码是utf-8，所以手动设置的。爬去其他的页面时建议使用：

# r.endcodding = r.apparent_endconding

r.encoding = 'utf-8'

return r.text

except:

return " ERROR "

def get_content(url):

'''分析贴吧的网页文件，整理信息，保存在列表变量中'''

# 初始化一个列表来保存所有的帖子信息：

comments = []

# 首先，我们把需要爬取信息的网页下载到本地

html = get_html(url)

# 我们来做一锅汤

soup = BeautifulSoup(html, 'lxml')

# 按照之前的分析，我们找到所有具有‘ j_thread_list clearfix’属性的li标签。返回一个列表类型。

liTags = soup.find_all('li', attrs={'class': ' j_thread_list clearfix'})

# 通过循环找到每个帖子里的我们需要的信息：

for li in liTags:

# 初始化一个字典来存储文章信息

comment = {}

# 这里使用一个try except 防止爬虫找不到信息从而停止运行

try:

# 开始筛选信息，并保存到字典中

comment['title'] = li.find(

'a', attrs={'class': 'j_th_tit '}).text.strip()

comment['link'] = "http://tieba.baidu.com/" + \

li.find('a', attrs={'class': 'j_th_tit '})['href']

comment['name'] = li.find(

'span', attrs={'class': 'tb_icon_author '}).text.strip()

comment['time'] = li.find(

'span', attrs={'class': 'pull-right is_show_create_time'}).text.strip()

comment['replyNum'] = li.find(

'span', attrs={'class': 'threadlist_rep_num center_text'}).text.strip()

comments.append(comment)

except:

print('出了点小问题')

return comments

def Out2File(dict):

'''将爬取到的文件写入到本地保存到当前目录的 TTBT.txt文件中。'''

with open('TTBT.txt', 'a+') as f:

for comment in dict:

f.write('标题： {}\t链接：{}\t发帖人：{}\t发帖时间：{}\t回复数量： {}\n'.format(

comment['title'], comment['link'], comment['name'], comment['time'], comment['replyNum']))

print('当前页面爬取完成')

def main(base_url, deep):

url_list = []

# 将所有需要爬去的url存入列表

for i in range(0, deep):

url_list.append(base_url + '&pn=' + str(50 * i))

print('所有的网页已经下载到本地！开始筛选信息。。。。')

#循环写入所有的数据

for url in url_list:

content = get_content(url)

Out2File(content)

print('所有的信息都已经保存完毕！')

base_url = 'http://tieba.baidu.com/f?kw=%E7%94%9F%E6%B4%BB%E5%A4%A7%E7%88%86%E7%82%B8&ie=utf-8'

# 设置需要爬取的页码数量

deep = 3

if __name__ == '__main__':

main(base_url, deep)

代码里有详细的注释和思路，看不懂的话多看几遍

下面是爬完的结果：

好了今天的小例子到这里就结束了。

我的代码也托管到Github上了，

要是出现了一些莫名其妙的问题，

可以直接去上面看看源文件。

python爬百度贴吧_从零开始写Python爬虫 --- 1.5 爬虫实践：获取百度贴吧内容相关推荐

python爬虫代理的使用_从零开始写Python爬虫 --- 2.4 爬虫实践：代理的爬取和验证...
爬网站的时候,由于各种原因,ip被锁了,这个时候我们就需要通过代理来突破封锁.网上有很多代理网站,付费和免费的都有,这次我们就来写一个scrapy爬虫,爬一些免费的代理下来用. 目标分析: 本次爬取了 ...
python 小说爬虫_从零开始写Python爬虫 --- 1.7 爬虫实践：排行榜小说批量下载
从零开始写Python爬虫 --- 1.7 爬虫实践: 排行榜小说批量下载Ehco 5 个月前本来只是准备做一个爬起点小说名字的爬虫,后来想了一下,为啥不顺便把小说的内容也爬下来呢?于是我就写了这个 ...
python爬斗鱼直播_从零开始写Python爬虫 --- 爬虫应用：利用斗鱼Api抓取弹幕
七月末的南京简直开启了「微波炉」模式,白天要学车的我,晚上自然选择宅在家看直播,看着狗贼叔叔满屏幕的弹幕,我就想着能不能把弹幕爬下来呢?说干就干结果的展示: 这里只抓到弹幕内容和发送用户并输出在终 ...
node爬取app数据_从零开始写一个node爬虫（上）—— 数据采集篇
爬虫相信大家都知道,这里我们从一个空的文件夹开始,也来写一写我们自己的爬虫程序吧. github入口下一篇--数据分析篇入口爬虫毕竟涉及到数据的爬取,所以其实有一个道德的约束,那就是Robots协 ...
python爬微博数据中心_怎样用python爬新浪微博大V所有数据？
最近为了做事件分析写了一些微博的爬虫,两个大V总共爬了超70W的微博数据. 官方提供的api有爬取数量上限2000,想爬取的数据大了就不够用了... 果断撸起袖子自己动手!先简单说一下我的思路: 一. ...
python爬大学生就业数据_小猪的Python学习之旅 —— 16.再尝Python数据分析：采集拉勾网数据分析Android就业行情...
一句话概括本文: 爬取拉钩Android职位相关数据,利用numpy,pandas和matplotlib对招人公司情况和招聘要求进行数据分析. 引言: 在写完上一篇<浅尝Python数据分析: ...
python实现素数筛选法_从零开始学Python系列-第6讲：循环结构
应用场景我们在写程序的时候,一定会遇到需要重复执行某条或某些指令的场景.例如用程序控制机器人踢足球,如果机器人持球而且还没有进入射门范围,那么我们就要一直发出让机器人向球门方向移动的指令.在这个场景 ...
python爬取网页停止_如何使用Python抓取雪球网页？
我想使用beautifulsoup或者其他的python包抓取雪球网页上面的一些组合,因为雪球网的组合持仓变动的时候,雪球网不会给提示,比如说,我想抓取这个http://xueqiu.com/P/ ...
python爬取微信好友_如何用 Python 爬取自己的微信朋友
原标题:如何用 Python 爬取自己的微信朋友作者 Alfred 本文转载自网络,如涉及侵权请及时联系我们微信作为一款拥有将近9亿用户的超级APP,已经成为很多人生活中不可或缺的一部分,聊天.分 ...
python爬取去哪里_详解Python 爬取13个旅游城市，告诉你五一大家最爱去哪玩？
今年五一放了四天假,很多人不再只是选择周边游,因为时间充裕,选择了稍微远一点的景区,甚至出国游.各个景点成了人山人海,拥挤的人群,甚至去卫生间都要排队半天,那一刻我突然有点理解灭霸的行为了. 今天通过 ...

python爬百度贴吧_从零开始写Python爬虫 --- 1.5 爬虫实践：获取百度贴吧内容

python爬百度贴吧_从零开始写Python爬虫 --- 1.5 爬虫实践：获取百度贴吧内容相关推荐

最新文章

热门文章

python爬百度贴吧_从零开始写Python爬虫 --- 1.5 爬虫实践： 获取百度贴吧内容

python爬百度贴吧_从零开始写Python爬虫 --- 1.5 爬虫实践： 获取百度贴吧内容相关推荐

最新文章

热门文章

python爬百度贴吧_从零开始写Python爬虫 --- 1.5 爬虫实践：获取百度贴吧内容

python爬百度贴吧_从零开始写Python爬虫 --- 1.5 爬虫实践：获取百度贴吧内容相关推荐