抓取知网摘要、搜狗微信文章、搜狗新闻的爬虫

个人项目，代码已上传至我的github。
只支持python3.
需要说明的是，本文中介绍的都是小规模数据的爬虫（数据量<1G），大规模爬取需要会更复杂，本文不涉及这一块。另外，代码细节就不过多说了，只将一个大概思路以及趟过的坑。

搜狗微信文章抓取

目标：在搜狗微信模块下搜索关键词的文章，抓取链接保存文章标题，来源，时间，内容的内容
采取的策略：selenium模拟搜索，登陆扫码采用手动扫描的模式，登陆后通过不同的关键词进行搜索，翻页等操作。
遇到的坑：
1.SogouWechat这个库只能抓到10个items（自己加入cookies也只能抓10个好像，反正我没成功的抓多个）
2.登陆只想到手动扫描这一块，没有其他更好的方法
3.搜索出来的文章链接时临时性的，要及时request并保存
4.在模拟翻页操作的时候，建议模拟一下页面滚动
5.网速不好的情况，要有sleep，要不然chrome会报错

搜狗新闻抓取

目标：在搜狗新闻搜索中搜索关键，将所有新闻的标题，时间，内容保存下来
采取的策略：

request.get关键词，因为搜狗新闻就不涉及到cookies的问题，直接请求
2.ip隧道代理请求（阿布云代理）
3.news的具体页面，如果request获取不到文本，用selenium抓

遇到的坑：参照以上第三点。

知网摘要信息抓取

目标：指定文献来源或者单位，抓所有的文献的摘要，作者，时间等等
采取的策略：
1.selenium模拟登陆，得到搜索页面
2.ajax抓包，构造请求发送到服务器
3.自动打码（云打码，效果还可以）
4.ip隧道代理
5.翻页用request构造
遇到的坑：
1.必须要登陆才能看到所有文献
2.打码失败的话one more time
3.数据量有点多，及时保存数据，我没有用数据库，我直接写到文件了

抓取知网摘要、搜狗微信文章、搜狗新闻的爬虫相关推荐

Zotero 抓取知网文献失败解决办法梳理（针对问题：更新Translator无效，更新茉莉花插件无效，卸载Zotero无效，使用学校VPN访问知网）
Zotero 抓取知网文献失败解决办法梳理(针对问题:更新Translator无效,更新茉莉花插件无效,卸载Zotero无效,使用学校VPN访问知网) 问题背景解决方案一解决方案二解决方案三说 ...
爬取知网博硕士文献及中国专利存到mysql数据库中的代码及其注意事项
今天因为需要做了一个爬取知网博硕士论文及中国专利的爬虫,在制作的过程中遇到了不少坑,在网上查资料时都是很老的资源,在现在知网的反爬虫下不起作用,所以我来写这篇文章来供大家参考.(这篇文章主要介绍通过改 ...
python抓取文献关键信息,python爬虫——使用selenium爬取知网文献相关信息
python爬虫--使用selenium爬取知网文献相关信息写在前面: 本文章限于交流讨论,请不要使用文章的代码去攻击别人的服务器如侵权联系作者删除文中的错误已经修改过来了,谢谢各位爬友指出错误 ...
使用Scrapy、PhantomJS和Selenium爬取知网文献摘要
使用Scrapy.PhantomJS和Selenium爬取知网文献摘要.以下例子用于爬取"医药卫生科技"类文献摘要. 1.使用Scrapy创建项目 scrapy startproj ...
Python3爬取知网文章
分析首先,我们看一下入口的网站,在输入关键词搜索之前和之后它的网址并没有什么变化,所以我们不能通过直接请求它来得到文章. 搜索前搜索后所以,我们应该换一种思路.打开开发者工具后,我们可以看到如下 ...
爬取搜狗微信文章笔记1
爬取搜狗微信文章笔记1 错误1 ```pythonprint('https://weixin.sogou.com'+index) TypeError: can only concatenate str ...
批量抓取凤凰网文章类
# -*- coding: utf-8 -*- import urllib2,re file = open('fenghuang.txt', 'w')""" 批量抓取凤凰 ...
python爬虫知网实例-python爬取知网
广告关闭腾讯云双11爆品提前享,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高满返5000元! https:github.comgnemougdistribute_crawler ...
java+selenium爬取知网数据
使用selenium工具爬取知网相关数据,思路:根据几个关键词搜索出相关的内容,然后爬取列表中所有论文的访问链接. 注意:直接爬取的链接是不能用的,需要自己拼接一下.具体看代码.新手,代码写的有点乱. ...
python爬虫爬取知网
python爬虫爬取知网话不多说,直接上代码! import requests import re import time import xlrd from xlrd import open_wor ...

抓取知网摘要、搜狗微信文章、搜狗新闻的爬虫

搜狗微信文章抓取

搜狗新闻抓取

知网摘要信息抓取

抓取知网摘要、搜狗微信文章、搜狗新闻的爬虫相关推荐

最新文章

热门文章