批量抓取微信朋友圈 Java_微信朋友圈转疯了（golang写小爬虫抓取朋友圈文章）...

很多人在朋友圈里转发一些文章，标题都是什么转疯啦之类，虽然大多都也是广告啦，我觉得还蛮无聊的，但是的确是有一些文章是非常值得收藏的，比如老婆经常就会收藏一些养生和美容的文章在微信里看。

今天就突发奇想，不如利用搜索引擎把朋友圈的文章分门别类的(当然是老婆感兴趣的类型了)抓取出来，然后把图片也Down下来，生成一个网站给朋友们看岂不是不错? 说做就做，于是就有了这个网站：朋友圈转疯了 (http://www.meijia0.com) 域名不太好，凑合着用呗。(之前其实是准备用来做美甲图片站的，后来搁置了。因为老婆在家真的是没有时间去经营这种东西)。

既然说做就做，先利其器嘛，把落灰的GO再捡起来，顺便学习了一下七牛云存储的API(不得不说真的是很受用)，写了一个spider(gocrawl/goquery)。

之前有写一个笑话抓取的小东西改了一下。增加了增量抓取(使用redis作cache)，mongodb作为存储，前端嘛，万能的jquery+bootstrap，评论系统使用了多说。服务器放在阿里去，现在真是好时候，做什么东西都是齐全的。

根据关键词漫爬，24小时不停更新朋友圈文章，还有什么可以追求的呢？也许下次可以做一下中文分词和全文检索吧。

一整天，完事。其间在下载图片和加水印，以及上传至七牛这块浪费了太多时间。不管怎么说，上线了。来瞧瞧吧！

以下是代码片断：

golang给图片加水印

golang 生成缩略图

golang上传文件至七牛

今天看了一篇许志伟同学的报道，甚是佩服。

有疑问加站长微信联系(非本文作者)

批量抓取微信朋友圈 Java_微信朋友圈转疯了（golang写小爬虫抓取朋友圈文章）...相关推荐

python搞笑动态图_python小爬虫抓取搞笑图片
大部分小程序都是基于py2.7的,我于是便想直接出一个py3.4最新版本的教程.大致看一下第一篇了解一下的一些概念性的东西以及bs4第三方库的使用.请参考文末. 我们的第一个小程序的相关要求: 目标: ...
写个爬虫爬取p站画师的画作
写个爬虫爬取一个p站画师的画作一.爬虫所用的库是什么? 二.爬虫中出现的问题? 1.python爬虫使用的库的下载 2.编程中出现的问题和解决 2.编程未解决的问题三.使用步骤 1.函数 2.读入 ...
小爬虫爬取小猫咪图片并存入本地文件夹
小爬虫爬取小猫咪图片并存入本地文件夹本人是安徽工业大学电气与信息工程学院研一学生,最近还不能开学真的是很糟心哦,由于自己比较笨吧,起步较晚还要忙着学习机器学习还有计算机视觉,但是总学这个感觉很闷也没 ...
python微博评论爬虫_详解用python写网络爬虫-爬取新浪微博评论基于Python的新浪微博爬虫研究...
怎样爬取新浪微博的评论信息针对八爪鱼在微博的应用上,除了用户信息之外还包括话题内容方面的采集,目前绝大多数企业均在微博设有官方微博,八爪鱼可以协助企业快速及时的抓取与企业产品相关联的话题信息,规则市 ...
python爬取微博恶评_详解用python写网络爬虫-爬取新浪微博评论
新浪微博需要登录才能爬取,这里使用m.weibo.cn这个移动端网站即可实现简化操作,用这个访问可以直接得到的微博id. 分析新浪微博的评论获取方式得知,其采用动态加载.所以使用json模块解析jso ...
用python写网络爬虫-爬取新浪微博评论
新浪微博需要登录才能爬取,这里使用m.weibo.cn这个移动端网站即可实现简化操作,用这个访问可以直接得到的微博id. 分析新浪微博的评论获取方式得知,其采用动态加载.所以使用json模块解析jso ...
微信分享到朋友圈java_微信开发(三)微信分享朋友朋友圈
这里基于微信的都是需要用到参考以下文档获取access_token(有效期7200秒,开发者必须在自己的服务全局缓存access_token):../15/54ce45d8d30b6bf6758f68 ...
微信机器人红包java_微信机器人_奇迹蛋_java实现
[实例简介] 参考了别人的一些微信开发方法,自己实现了一个简单的微信机器人,部署在百度云上,能够点歌,查询天气,调教对话.可关注微信公众号:奇迹蛋. 实现说明:http://blog.csdn.net ...
微信企业号回调 java_微信公众平台企业号回调模式的URL验证——Java
最近在做微信企业号的相关应用,原因是以前没有接触过微信方面的东西,因此在开启回调模式的时候感觉无从下手,找不到门路,在网上找了教程,最后也是没有结果. 逼不得已,只能硬着头皮就着官方的文档一步步的往下 ...

批量抓取微信朋友圈 Java_微信朋友圈转疯了（golang写小爬虫抓取朋友圈文章）...

批量抓取微信朋友圈 Java_微信朋友圈转疯了（golang写小爬虫抓取朋友圈文章）...相关推荐

最新文章

热门文章