使用php蓝天采集器抓取今日头条ajax的文章内容

今日头条的数据都是ajax加载显示的，按照正常的url是抓取不到数据的，需要分析出加载出址，我们以 https://www.toutiao.com/search/?keyword=%E6%96%B0%E9%97%BB 为例来采集列表的文章

用谷歌浏览器打开链接，右键点击“审查”在控制台切换至network并点击XHR，这样就可以过滤图片、文件等等不必要的请求只看页面内容的请求

由于页面是ajax加载的，所以将页面拉至最底部，会自动加载出更多文章，这时候控制台抓取到的链接就是我们真正需要的列表页链接：

https://www.toutiao.com/search_content/?offset=20&format=json&keyword=%E6%96%B0%E9%97%BB&autoload=true&count=20&cur_tab=1&from=search_tab

在蓝天采集中创建一个任务

创建完毕点击“采集设置”，在“起始页网址”中填入上面抓取到的链接

接下来匹配内容页网址，头条的文章网址格式是https://www.toutiao.com/group/数字/

点击“内容页网址”编写“匹配内容网址”规则：

(?<content1>http://toutiao.com/group/\d+/)

这是个正则规则，意思就是把匹配的网址装进捕获组content1中，然后在下面填写[内容1] 即对应上面的content1 就可获取到内容页链接

可以点击测试查看是否成功抓取到了链接

抓取成功就可以开始获取内容了

点击“获取内容”在字段列表右边可以添加默认的字段，如标题、正文等都可以智能识别，如需精准还可以自行编辑字段，支持正则、xpath、json等匹配内容

我们需要抓取文章的标题和正文，由于是ajax显示的所以要写规则匹配出内容，分析篇源码：https://www.toutiao.com/a6358823350874145025/ ，找到文章位置

标题规则：articleInfo\s:\s{\stitle:\s'[内容1]',

正文规则：content\s:\s'[内容1]',\s*groupId

规则必须保证唯一性，不然会匹配到其他内容上去，将规则添加到字段中，获取方式选规则匹配：

规则编写完后点击保存，点击“测试”看看效果如何

规则无误，抓取正常，抓取到的数据还可以发布到cms系统、直接数据库入库、保存为excel文件等，点击底部导航条的“发布设置”即可，好了今日头条的采集到这里就结束了，大家不妨动手试试！

转载于:https://blog.51cto.com/10051155/2113774

使用php蓝天采集器抓取今日头条ajax的文章内容相关推荐

用php蓝天采集器抓取今日头条ajax的文章内容
今日头条的数据都是ajax加载显示的,按照正常的url是抓取不到数据的,需要分析出加载出址,我们以 https://www.toutiao.com/searc... 为例来采集列表的文章用谷歌浏览器 ...
php文章自动采集器,使用php蓝天采集器抓取今日头条ajax的文章内容
今日头条的数据都是ajax加载显示的,按照正常的url是抓取不到数据的,需要分析出加载出址,我们以 https://www.toutiao.com/search/?keyword=%E6%96%B0% ...
php采集今日头条出现问题,使用php蓝天采集抓取今日头条ajax的文章内容
今日头条的数据都是ajax加载显示的,按照正常的url是抓取不到数据的,需要分析出加载出址,我们以 https://www.toutiao.com/search/?keyword=%E6%96%B0% ...
求助：为什么用八爪鱼采集器抓取特定时间段的微博会出现漏抓情况？
八爪鱼采集器抓取微博内容出现抓取不完整的问题在原微博网址设置了特定的时间段,导入八爪鱼采集器后也显示了相应时间段内容.例如按一小时抓取,但采集完成后导出的数据发现,一般只抓取了半个小时就停止了. 微 ...
（廿五）Python爬虫：抓取今日头条图片
此次完成抓取今日头条动漫图片,并将图片保存在本地.最后结果如下: 分析打开今日头条首页搜索"动漫",查看源代码我们会发现只包含少量的HTML,所以可以判断页面是AJAX加载的.打 ...
用python爬取今日头条上的图片_Python爬虫：抓取今日头条图集
今天我们来爬取今日头条图集,老司机以街拍为例. 运行平台: Windows Python版本: Python3.6 IDE: Sublime Text 其他工具: Chrome浏览器 1.网页分析从 ...
用后羿采集器抓取文件并批量更改文件名
引言最近接触到了一款图形化爬虫,试用了一下还挺好用的,能省不少事,然而笔者在爬一个图片网站上发现这个软件要自己设置下载文件的文件名的功能居然是付费的!而且价格过于高昂所以笔者决定自己动手来给图片文件 ...
分析Ajax抓取今日头条街拍美图
声明:此篇文章主要是观看静觅教学视频后做的笔记,原教程地址https://cuiqingcai.com/ 实现流程介绍 1.抓取索引页内容:利用requests请求目标站点,得到索引网页HTML代码, ...
Python爬虫实战02：分析Ajax请求并抓取今日头条街拍
1 目标网站分析首先我们打开今日头条网站,搜索街拍,点击图集,这里每就是我们要爬取的目录,我们称为索引页.1 点开一个标题,进去,称为详情页.2这里面的图是我们所要爬取的.比如这里可以点击图片,共 ...

使用php蓝天采集器抓取今日头条ajax的文章内容

使用php蓝天采集器抓取今日头条ajax的文章内容相关推荐

最新文章

热门文章