抓取google的相关搜索词

最好配合上一篇的代理ip程序一起运行，否则根据我的经验抓不了几词就被google屏蔽了。废话不说代码如下：

package com.emar.spider;import java.util.HashMap;
import java.util.HashSet;
import java.util.Map;
import java.util.Set;import org.dozer.DozerBeanMapper;
import org.dozer.Mapper;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;import com.emar.core.httpClient.HttpclientUtil;public class Spider {private static Set<String> keywords = new HashSet<String>();private String url = "http://www.google.com.hk/search";private int count = 0;/*** @param args* @throws InterruptedException*/public static void main(String[] args) throws InterruptedException {Spider s = new Spider();keywords.add("美女");Set<String> seeds = new HashSet<String>();for (String word : keywords) {seeds.add(word);}Set<String> result = s.getKRByseedWord(seeds, new HashSet<String>(),1000 * 60 * 1);System.out.println("本次抓却完毕---------------------------------");for (String word : result) {System.out.println(word);}}private Set<String> getKRByseedWord(Set<String> seeds, Set<String> result,int time) throws InterruptedException {if (keywords.size() >= 1000 || seeds.size() == 0) {return keywords;} else {for (String seed : seeds) {Map<String, String> params = new HashMap<String, String>();params.put("aq", "f");params.put("aqi", "");params.put("aql", "");params.put("btnG", "Google 搜索");params.put("client", "firefox-a");params.put("hl", "zh-CN");params.put("hs", "QDL");params.put("oq", "");params.put("q", seed);params.put("rls", "org.mozilla:zh-CN:official");params.put("safe", "strict");System.out.println("");System.out.println("++++++++++++++++++++++++++");System.out.println("第" + (++count) + "次抓取");String html = "";boolean flag = true;while (flag) {try {System.out.println("等待时长：" + time / 1000 + "秒");Thread.sleep(time);html = HttpclientUtil.getByProxy(url, params, "UTF-8");flag = false;} catch (Exception e) {// time = time + 10 * 1000;e.printStackTrace();}}System.out.println("");Document doc = Jsoup.parse(html);Elements links = doc.select(".brs_col a[href]");for (Element e : links) {keywords.add(e.text());result.add(e.text());}System.out.println("词库数量已经到达：" + keywords.size() + "个！");for (String k : keywords) {System.out.println(k);}}return getKRByseedWord(result, new HashSet<String>(), time);}}
}

以下是部分抓取结果：

     帮巫婆变美女世界美女.秀泡美女真人美女类小游戏美女模特谭静小美女照片我的美女大小姐起点美女大学双人电眼美女小游戏美女模特大赛脱衣小游古典美女nba明星照片美女类小游戏大全非主流美女壁纸非主流美女头像图片美女游戏网非主流美女闪图图片中国真人美女小游戏非主流美女闪动照片90后非主流美女明星照片非主流美女闪动大图片美女小游戏4399秀舞吧秀舞网络美女小鱼真人美女小游戏古典美女flash泡泡美女176220美女猜拳脱衣小游戏世界十大美女照片模特写真非主流空间留言代码折磨美女类小游戏电眼美女游戏政要美女保镖世界美女城市美女小游戏试玩美女导师爱上我找小说非主流美女163相册非主流美女发型电眼美女2小游戏非主流美女qq头像闪图巫婆变美女在线真人美女小游戏泡美女小游戏非主流美女相册电眼美女小游戏大全非主流空间闪图明星大美女搜索巫婆变美女美女博客网络美女排行qq空间非主流美女头像脱衣类小游戏玩美女类小游戏网络美女照小说我的同居女神电眼美女3小游戏极品家丁小说老婆爱上我非主流美女非主流帅哥照片非主流闪动图片美女明星大图十大美女明星最新非主流美女图片泡泡美女小游戏美女脱衣类小游戏我的美女大小姐全集美女游戏中国第一美女整美女类小游戏流氓老师搜索真人美女小游戏非主流美女生活照片中国女明星照片美女导师爱上我下载美女美女脱衣小游戏电眼美女小游戏美女小游戏韩国可爱美女小说我的美女大小姐下载非主流美女闪图照片打扮美女小游戏最新非主流美女闪图电眼美女小游戏下载我的美女大小姐全下载非主流图片大图秀舞访世界美女排行榜qq秀舞韩国网络美女小说我的美女大小姐非主流美女闪动头像美女导师爱上我小说08美女车展魔兽世界美女怎么泡美女韩国美女明星大图最美女明星非主流闪图古装美女照片4399美女类小游戏可爱美女qq表情非主流美女闪图模块我的美女大小姐chm美女脱衣麻将2美女导师爱上我找真人秀舞我的美女大小姐全文男明星照片美女导师爱上我手机网络美女排行榜老婆爱上我sodu我的美女老总非主流美女闪图古典美女圖我的同居女神下载美女明星的相册无财无貌怎么泡美女我的美女大小姐txt我的美女大小姐电子书无才无貌如何泡美女巫婆变美女中文版非主流美女大图美女秀舞美女小游戏网站帅哥明星照片我的美女大小姐全集txt下载古典美女相片网上泡美女非主流头像我的美女大小姐全文txt时尚非主流美女图片古典美女图非主流美女闪头像老婆爱上我最新更新世界美女排名非主流空间模块可爱美女头像美女小游戏网美女游戏下载美女导师爱上我网络美女照片秀舞网非主流美女闪动头象我的同居女神全本下载韩国女明星照片重庆美女模特我的老婆爱上我非主流美女闪动图片美女导师爱上你我的美女大小姐全集下载古代电眼美女小游戏美女脱衣游戏世界美女是谁美女导师爱上我最新非主流美女闪动qq头像巫婆变美女攻略美女导师爱上我最新章节美女小游戏试非主流美女闪动模块美女导师爱上我小说网美女照片我的美女大小姐全集txt老婆爱上我最新我的美女大小姐下载美女游戏大全古装美女小游戏北京车展第一美女模特电眼小美女小游戏美女车展我的美女大小姐txt下载巫婆变美女小游戏真人版美女游戏qq非主流美女闪图老婆爱上我我的美女大小姐作者美女明星大曝光qq空间非主流图片qq非主流美女闪头像折磨美女游戏美女导师爱上我吧搜索非主流美女图片人造美女游戏巫婆造美女小游戏美女照片欣赏我的同居女神最新秀舞网站非主流美女头像真人美女小游戏下载美女模特我的美女大小姐全文下载我的美女大小姐最新章节非主流美女相册地址非主流帅哥图片搜索电眼美女小游戏真人美女小游戏在线玩美女模特网所有美女类小游戏如何泡美女美女交友世界美女照片更多美女脱衣重庆美女模特回归自然美女导师爱上我79韩国男明星照片电眼美女1小游戏可爱美女照片世界美女榜pcpop泡泡美女美女模特秀美女大图非主流空间非主流美女闪动真人美女游戏qq空间非主流美女图片网络美女壁纸老巫婆变美女韩国明星照片美女导师爱上我的同居女神-txt下载电眼少美女小游戏老婆爱上我下载中国美女照片非主流美女闪图代码老婆爱上我最新章节非主流美女闪图头像明星八卦人造美女小游戏非主流空间日志我的同居女神最新章节可爱美女在线美女游戏巫婆变美女游戏4399小游戏非主流qq头像非主流图片集闪图我的美女大小姐最新邻家有女初长成美女时尚美女小游戏免费试玩非主流空间留言网络美女我的同居女神txt美女照片集古典美女头像找个美女做老婆最新非主流空间皮肤ps古典美女怎样泡美女最新非主流美女照片非主流可爱美女照片非主流美女图片集闪图我的美女大小姐最新下载3d真人美女小游戏世界美女排行非主流美女照片集泡泡美女我的超级情人qq非主流美女图片我的美女大小姐最新章非主流美女闪动大图单机美女脱衣麻将非主流空间代码非主流美女图片代码美女类小游戏非主流美女照片制作非主流图片闪图非主流图片非主流美女照片qq非主流图片世界美女大赛搜索美女小游戏qq空间非主流美女闪图重庆美女照片我的同居女神在线美女小游戏试玩2008网络美女我的美女导师爱上我qq非主流美女照片非主流可爱美女qq头像折麽美女小游戏秀舞娱乐会所古典美女照片非主流空间图片新疆美女模特混血美女明星照片集非主流图片库非主流美女闪动横幅非主流美女图片老婆爱上我520非主流图片制作非主流美女qq头像在线美女脱衣麻将真人美女小游戏网古典美女模块我的美女大小姐非主流空间皮肤代码

抓取google的相关搜索词相关推荐

python 抓取google play 各搜索词排名
背景: 做app推广的时候需要看各搜索词搜到的各app的排名需要的结果: 在https://play.google.com/apps 中搜索某关键词,如browser 抓取页面返回的所有app,并 ...
php爬取百度相关关键词,PHP实现抓取百度搜索结果页面【相关搜索词】并存储到txt文件示例...
本文实例讲述了PHP实现抓取百度搜索结果页面[相关搜索词]并存储到txt文件.分享给大家供大家参考,具体如下: 一.百度搜索关键词[脚本之家] [脚本之家]搜索链接 https://www.baidu ...
python request url 转义_Python多线程抓取Google搜索链接网页
1)urllib2+BeautifulSoup抓取Goolge搜索链接近期,参与的项目需要对Google搜索结果进行处理,之前学习了Python处理网页相关的工具.实际应用中,使用了urllib2和 ...
python抓取google搜索结果
1. 搜索引擎的选取选择一个好的搜索引擎意味着你能够得到更准确的搜索结果.我用过的搜索引擎有四种:Google.Bing.Baidu.Yahoo!. 作为程序员,我首选Google.但当我看见我最爱 ...
如何用Python快速抓取Google搜索？
「免费学习 60+ 节公开课:投票页面,点击讲师头像」作者 | linksc 译者 | 弯月,编辑 | 郭芮来源 | CSDN(ID:CSDNnews) 自从2011年 Google Web Se ...
如何用 Python 快速抓取 Google 搜索？
本文是通过 requests 和 Beautiful Soup 抓取 Google 搜索的快速指南. 作者 | linksc 译者 | 弯月,责编 | 郭芮出品 | CSDN(ID:CSDNnews ...
用rvest包来抓取Google学术搜索数据
2019独角兽企业重金招聘Python工程师标准>>> 在这篇文章,主要展示的是如何抓取Google学术网页.示例展示的是用rvest包来抓取作者博士指导老师的个人学术数据.我们可以 ...
使用PHP的curl爬取百度搜索页相关搜索词
使用PHP获取百度搜索的第一个相关搜索词详细代码如下 $key_word = urlencode('王者荣耀');//需要对关键词进行url解析,否者部分带字符的标题会返回空 $url = 'htt ...
Python与seo工具脚本，360/搜狗相关搜索词采集源码参考
搜索引擎相关搜索词应该是不少seoer在寻找和选择使用的关键词拓展类别,除开热门的百度相关搜索词采集,当然还有360搜索引擎以及搜狗搜索引擎,当然知道方法以后,应用python来实现,基本都是大同小异 ...

抓取google的相关搜索词

抓取google的相关搜索词相关推荐

最新文章

热门文章