不知道这里有没有喜欢刷it之家的小伙伴，我反正每天早上醒来第一件事就是打开it之家，看看有没有新鲜的段子 逃~

其实这次是要来抓取it之家的热门评论，因为数量较多(上万)，所以我们这次采用MongoDB来存数数据

关键词：

这次爬虫不像原本的小脚本啦，

对速度和质量都有比较高的要求，

所以会涉及到一些我原本没有介绍的知识：Ajax

多进程

MongoDB

生成器...

先来看一下成果

数据库展示：

这是MongoDB的GUI软件(RoBo 3T)的截图

可以看到 在 ithome这个数据库里我们

抓到了 21745条object 即21745条热门评论

点开一条记录是这样显示的：

既抓取的内容为：

发帖人、评论内容、手机厂商、手机型号、位置、时间

爬虫运行的时候是这样的：

思路分析

首先看一下项目目录：

.

├── __pycache__

│ ├── config.cpython-36.pyc

│ └── pipeline.cpython-36.pyc

├── apple.json # 导出的数据结果

├── config.py # 数据库的配置信息

├── datahandleer.py # 数据后期处理的文件

├── pipeline.py # 数据处理

└── spider.py # 爬虫主文件

如和获取热评呢

一开始肯定是直接尝试用requests访问新闻的链接，

并用解析工具解析出热评的位置，在抓取就好

可是我尝试后发现，requests抓去下来的源文件

并没有评论的内容

仔细一想，那一般是通过ajax来动态加载内容的用到ajax的情形一般是这样的：你访问一个网页，不用刷新跳转，只要点一个按钮，或者鼠标往下滚，新的信息就会自动出来，例如Facebook的timeline

猜到了大概方向之后，

我们 切换到开发者工具的 Network

并勾选Preserve log

最后切换到 XHR这个标签页

这个时候我们在刷新页面，就能捕捉到网页的各种请求了。

热评是在一个名为(getajaxdata.aspx)的连接里出来的

通过这个名字，大家也能看出来这是一个ajax请求吧？

我们再来看一下这个请求的headers

newsID:323076 type:hotcomment

再仔细的分析一下，发现这个newsid 就明文写在新闻的url之中

我们重新整理一下思路热评是通过ajax请求获取的

该POST请求需要两个参数：newsid 、type

那是不是意味着，我们不需要访问新闻的页面，

直接向it之家ajax服务器发送符合要求的请求就可以获取到数据呢？

我直接告诉你们，是可以的！

那么，只剩下一个问题了：

newsid如何获取呢？

这个其实更简单了，我们只要点开随便一个新闻分类

我这里用苹果作为演示分类

打开这个页面，发现所有的新闻链接都包裹在li 标签之中，

我们只需要找到并用办法解析出最后的newsid就可以了。

等等，最下面那个红色按钮是不是感到很眼熟？

是不是又是通过Ajax请求来获取下一页的新闻？

当然是的！(这里我就不截图演示了，大家可以自己去尝试一下分析)

爬虫流程

当所有的思路都通顺之后，

我们的热评爬虫是这样运行的：spider不停的访问某一新闻分类下的page页面，并获取newsid

将newisd 交给hotcomment爬虫来爬取热评数据

将数据交给pipeline里的函数，

最后将数据存入数据库

代码展示：

由于前面的思路已经详细的讲过了

代码里也有比较详细的注释，

我就不一一说明了

获取newsid的部分

def parse_news_id(categoryid, page_start):

'''找到当前分类下首页的文章的idretrun newsid '''

data = {

'categoryid': categoryid,

'type': 'pccategorypage',

'page': '1',

}

# 循环获取newsid 最早可到2014年12月

# 默认每次取10页

for page in range(page_start, page_start + 11):

data['page'] = str(page)

try:

r = requests.post(

'http://it.ithome.com/ithome/getajaxdata.aspx', data=data)

soup = BeautifulSoup(r.text, 'lxml')

news_list = soup.find_all('a', class_='list_thumbnail')

# 找到当前页的所有新闻链接之后，用生成器返回newsid

for news in news_list:

yield news['href'].split('/')[-1].replace('.htm', '')

except:

return None

这里我稍微说一下，

这里用到了关键字 yeild

这样，就将我们的parse_news_id()函数变成了一个生成器函数用起来是这样的：每当抓到一个newsid，就返回给parse_hot_comment使用，当热评抓完了之后，调回头来据需抓取下一个newsid。这样动态的抓取，既节省了内存，又能提高效率，Scrapy框架也是这么设计的哟

获取热评的部分

def parse_hot_comment(newsid):

'''找到it之家新闻的热评return :info_list '''

info_list = []

data = {

'newsID': newsid,

'type': 'hotcomment'

}

try:

r = requests.post(

'https://dyn.ithome.com/ithome/getajaxdata.aspx', data=data)

r.raise_for_status()

r.encoding = r.apparent_encoding

soup = BeautifulSoup(r.text, 'lxml')

comment_list = soup.find_all('li', class_='entry')

for comment in comment_list:

# 评论内容

content = comment.find('p').text

# 用户名

name = comment.find('strong', class_='nick').get_text()

# 其他信息

info = comment.find('div', class_='info rmp').find_all('span')

# 判断用户是否填写了手机尾巴

# 对信息做出咸蛋的处理

# 抓取到 手机厂商、型号、位置、时间

# 方便最后做数据分析

if len(info) > 1:

phone_com = info[0].text.split(' ')[0]

phone_model = info[0].text.split(' ')[1]

loc = info[1].text.replace('IT之家', '').replace(

'网友', ' ').replace('\xa0', '').split(' ')[0]

time = info[1].text.replace('IT之家', '').replace(

'网友', ' ').replace('\xa0', '').split(' ')[2]

else:

phone_com = '暂无'

phone_model = '暂无'

loc = info[0].text.replace('IT之家', '').replace(

'网友', ' ').replace('\xa0', '').split(' ')[0]

time = info[0].text.replace('IT之家', '').replace(

'网友', ' ').replace('\xa0', '').split(' ')[2]

info_list.append(

{'name': name, 'content': content, 'phone_com': phone_com, 'phone_model': phone_model, 'loc': loc, 'time': time, })

return info_list

except:

return None

数据存储的部分

# config.py

# 数据库url

MONGO_URL = 'localhost'

# 数据库名

MONGO_DB = 'ithome'

# 数据库表

MONGO_TABLE = 'hotcomment_it'

# pipeline.py

from pymongo import MongoClient

from config import *

client = MongoClient(MONGO_URL, connect=True)

db = client[MONGO_DB]

# 将记录写入数据库

def save_to_mongo(result):

if db[MONGO_TABLE].insert(result):

print('存储成功', result)

return True

return False

有可以优化的地方么？

有！速度!

# 写了一个检测函数运行时间的装饰器

def clock(func):

def clocked(*args):

t0 = time.perf_counter()

result = func(*args) # 装饰被装饰的函数

timepassed = time.perf_counter() - t0

name = func.__name__

arg_str = ', '.join(repr(arg) for arg in args)

print('[{:.8f}s]{}({}) ->{}'.format(timepassed, name, arg_str, result))

return clocked

@clock

def main(page_start):

# 新闻分类的id

ID = '31'

# 建立苹果新闻分类对象

apple = parse_news_id(ID, page_start)

# 利用迭代器抓取热评

for newsid in apple:

hot_comment_dic = parse_hot_comment(newsid)

if hot_comment_dic:

for comment in hot_comment_dic:

save_to_mongo(comment)

else:

print('没有抓取到热评，一般是文章太过久远')

'''开启多进程之前 ，抓取一页新闻的所有热评所话费的时间[8.45930967s] main() -> None抓取10页：[112.86940903s] main(61) -> None'''

利用进程池开启多进程

if __name__ == '__main__':

# 单进程模式

# main(1)

# 开启多进程模式

from multiprocessing import Pool

pool = Pool()

# 进程池，每个进程抓取10页新闻的热评

groups = ([x for x in range(111, 191,10)])

pool.map(main, groups)

pool.close()

pool.join()

'''开启后：不能使用装饰器测时间了AttributeError: Can't pickle local object 'clock..clocked'改为第三方秒表计时：爬取1~40页:time：1:56.54可以看到 速度快了三倍！'''

由于整体的代码太长了，

就不再贴上来了，有需要全部代码的，

可以去我的github(放在文末了)上看

最后总结一下

这次一共抓取了2W+条数据

但如果仅仅是有这些数据，

而不去分析，整理，那么数据就没有任何意义。

我们很多人是通过学爬虫入门Python的。

但爬虫重要的并不是爬虫本身，而是爬出来的数据。

那么我们是不是应该想想，

有什么办法能够将数据整理并展示出来呢？

熟悉我的小伙伴都知道，

我现在主要在发展的方向是Python Web

对于数据分析 我是有所逃避的

因为在我的潜意识里，我就是个文科生，

拼 算法、思路、最优解、对数据的敏感程度

我是肯定拼不过那些理科工科生的

帮助我入门的@路人甲就是做数据分析的

大家都喊他数据帝

现在在他的建议下，我不在逃避这方面的弱点，

开始经常刷leetcode上的算法题，

虽然过程很难熬，有的时候半个小时都没有思路。

但毕竟会是有用的对吧？

咳咳，其实说了这么多，

一是想告诉大家，不要为了写爬虫而写爬虫

二是，我其实已经将这数据做出了一点点分析，回头我整理好会发出来

题目大概叫 帮你上热评

大家要多来点赞哦

逃 ~