烂泥:火车头采集器使用GAE代理

本文首发于：烂泥行天下，由LureDress提供友情赞助

呵呵,本来这几天要采集一个网站的数据的.但是,你懂的呢,兄弟们.此网站设置了限制国内IP的访问.

那怎么办呢?

***,是咱想到的第一个办法.***的方式,也就哪几种.不懂的兄弟们,可以到百度或谷歌上边搜一下.要么是***，要么是HTTP代理，要么是SSH。

而目前自己的网络环境是，***端口被封，SSH没有免费的账号，只能想其他的办法了。

第一个是HTTP代理，使用这种办法可以在网络上找到一些代理地址，但是你会发现者代理，那个速度慢的啊，真的让人很纠结呢。

另外一个就是通过第三方进行中转。这个我首先想到的是谷歌的GAE。而GAE现在自己也一直在使用中，经常去国外转转的兄弟们，你懂的呢。同时火车头采集也是支持HTTP代理的，只要稍微设置一下，就应该可以了。

PS：GAE的申请及设置，去百度上看看吧……

具体看如下的截图：

这样设置完以后，就可以采集了。

嘿嘿……

烂泥:火车头采集器使用GAE代理相关推荐

(仿)火车头采集器源码开源
菜鸟作品,不喜勿喷前两年自己花了很久想仿制一款火车头采集器然后也付出了很多努力,最终未能修成正果代码一直在电脑中吃灰,本着无私奉献的精神免费开源,给有需要的人参考和完善软件功能大部分都已实现 ...
火车头采集器百度知道聚合采集插件说明文档！
大家好,我是淘小白~今天来整理一下百度知道聚合采集插件的的说明文档! 1.应用软件火车头采集器 2.插件类型 Python插件 3.插件逻辑说明 1.百度知道搜索关键词提取前2页的百度知道url, ...
火车头如何才能设置发布的时候,如果是有html代码就直接的转换掉,互联网上笑话抽取及排重---火车头采集器的使用和MD5算法的应用...
10011311341 吕涛.10011311356 李红目的:通过熟悉使用火车头采集器,在网络上采取3万条笑话并进行排重,以此来熟悉web文本挖掘的一些知识. 过程:本次学习,主要分成两个部分.第 ...
《火车头采集器采集网页数据》火车头配置规则采集信息文章数据。
此为火车头采集器的页面 *左边建立分组,建议结构都和所需要采集的数据结构一致,不然数据多了起来,很容易混乱. 1, 创建任务起始网址是指你需要抓取的网址,例如:http://www.day.gov. ...
全自动苹果CMS火车头采集器，苹果CMS火车头发布插件
苹果CMS火车头采集器,苹果CMS影视建站系统有着丰富和强大的可定制性,做为CMS系统使用,更方便的管理和扩展您的网站.很多站长问我如何苹果CMS火车头采集指定网站或者全网文章关键词泛采集.批量伪原创 ...
火车头采集器页面图片等信息采集
火车头采集器页面图片等信息采集有些采集的页面中有图片或者其他内容如链接的word文档等等,如果采集下来,并保持链接呢. 火车头采集器中给了较好的操作. 在内容采集中,选择内容下载,如果仅仅是图片, ...
火车头采集器文章翻译插件(文章标题内容中英双语对照|自动插入相关图片)
火车头采集器文章翻译插件(文章标题内容中英双语对照|自动插入相关图片) 为了保护接口压力防止被封IP: 请把采集的间隔时间调整为10000~100000 火车头采集器文章翻译插件(文章标题内容中英双语 ...
使用火车头采集器笔记
官方手册: http://faq.locoy.com/q-741.html 项目需要,需要采集旅游攻略数据,这里以采集新闻简单记录下,原理一样,火车头采集器确实很牛逼注意事项采集工具还有phpQu ...
966SEO学习网：火车头采集器使用教程(入门+高级)
火车头采集器技术控使用手册(高级)+火车头采集器使用教程(入门),对应没有基础的童学也是无所谓的,因为有入门学会掌握:学会火车头采集器的使用,实操教您自定义一些格式规则来采集,然后保存到word或者e ...

烂泥:火车头采集器使用GAE代理

烂泥:火车头采集器使用GAE代理相关推荐

最新文章

热门文章