webmagic学习之路-2：采集安居客经纪人列表

相比较 1  稍微成熟了一点，会用的东西多了。
正则用的不好，很多东西不会，大神轻喷！

package com.action;
import java.util.ArrayList;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;import javax.management.JMException;
import javax.swing.plaf.synth.SynthSpinnerUI;import org.bson.Document;import com.model.AgentListModel;
import com.model.Model_AnjukeList;
import com.mongodb.BasicDBObject;
import com.util.Constants;
import com.util.GetDate;
import com.util.MysqlUtils;
import com.util.MD5With32;
import com.util.MongoDBUtil;import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.ResultItems;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.monitor.SpiderMonitor;
import us.codecraft.webmagic.pipeline.ConsolePipeline;
import us.codecraft.webmagic.processor.PageProcessor;
import us.codecraft.webmagic.selector.Html;
import us.codecraft.webmagic.selector.Selectable;public class GetAnjukeAgentList implements PageProcessor {static AgentListModel anjukeList;static List<String> list = new ArrayList<String>();static List<AgentListModel> list_insert = new ArrayList<AgentListModel>();static BasicDBObject  doc = null;private Site site = Site.me().setSleepTime(1000).setRetryTimes(3).setCharset("UTF-8").setUserAgent("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36");@Overridepublic Site getSite() {// TODO Auto-generated method stubreturn this.site;}@Overridepublic void process(Page page) {System.out.println("code："+page.getStatusCode());System.out.println(page.getUrl());if(!page.getUrl().regex("https://[a-z]+.anjuke.com/tycoon/[a-z]+-q-[a-z]+/").match()/*&&!page.getHtml().regex("https://[a-z]+.anjuke.com/tycoon/[a-z]+-q-[a-z]+/p[0-9]+/").match()*/){page.addTargetRequests(page.getHtml().xpath("//span[@class='elems-l']/a/@href").regex("https://[a-z]+.anjuke.com/tycoon/[a-z]+/").all());if(page.getUrl().regex("https://[a-z]+.anjuke.com/tycoon/[a-z]+/").match()){page.addTargetRequests(page.getHtml().xpath("//div[@class='sub-items']/a/@href").all());}}else{//3行可以移动到这里！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！//分割线--------------------List<Selectable> htmls = page.getHtml().xpath("//div[@class='jjr-info']").nodes();for(Selectable html: htmls){String name = html.xpath("//div/h3/a/text()").get();String staffNo = html.xpath("//div/h3/a/@href").get();String company = html.xpath("//p[@class='jjr-desc']/a[1]/text()").get();String company_url = html.xpath("//p[@class='jjr-desc']/a[1]/@href").get();String store = html.xpath("//p[@class='jjr-desc']/a[2]/text()").get();String store_url = html.xpath("//p[@class='jjr-desc']/a[2]/@href").get();anjukeList = new AgentListModel("", "", "", "", "anjuke", GetDate.getDay0(), page.getUrl()+"", name, staffNo, company, company_url, store, store_url);list_insert.add(anjukeList);}String city = page.getHtml().xpath("//div[@class='p_1180 p_crumbs']/a[2]/text()").get().replace("经纪人", "");String zone = page.getHtml().xpath("//div[@class='p_1180 p_crumbs']/a[3]/text()").get().replace("经纪人", "");String street = page.getHtml().xpath("//div[@class='p_1180 p_crumbs']/a[4]/text()").get().replace("经纪人", "");MysqlUtils.InsertAnjukeAgent(list_insert,city,zone,street);list_insert.clear();if(page.getHtml().regex("https://[a-z]+.anjuke.com/tycoon/[a-z]+-q-[a-z]+/p[0-9]+/").match()){//获取分页page.addTargetRequests(page.getHtml().xpath("//div[@class='page-content']/div/a/@href").all());}}}public static void main(String[] args) {List<String> list = new ArrayList<String>();list.add("https://chongqing.anjuke.com/tycoon/");for (int i = 0; i < list.size(); i++) {Spider.create(new GetAnjukeAgentList()).addUrl(list.get(i)).addPipeline(new ConsolePipeline()).thread(20).run();}}
}

这段代码有个很大的疑问，不知道有没有大神给解释一下。

String city = page.getHtml().xpath("//div[@class='p_1180 p_crumbs']/a[2]/text()").get().replace("经纪人", "");
String zone = page.getHtml().xpath("//div[@class='p_1180 p_crumbs']/a[3]/text()").get().replace("经纪人", "");
String street = page.getHtml().xpath("//div[@class='p_1180 p_crumbs']/a[4]/text()").get().replace("经纪人", "");

上面这3行，如果你把位置移动一下。

移动到分割线上面去。

这3个xpath会匹配不到内容，我研究了很长时间，没搞明白，也就没再研究下去了。

评论区留言告知下，谢谢！！

转载于:https://www.cnblogs.com/tnsay/p/10895325.html

webmagic学习之路-2：采集安居客经纪人列表相关推荐

webmagic学习之路-3：采集安居客经纪人详情页
这里希望安居客的同行的轻喷!!单纯的做测试,玩玩. 就这么糟践你们的服务器了!!!sorry! 这次学会了webmagic 设置处理的访问HTML返回代码,因为之前一直404的页面process根本都 ...
Python爬取安居客经纪人信息
Python爬取安居客经纪人信息 Python2.7.15 今天我们来爬取安居客经纪人的信息.这次我们不再使用正则,我们使用beautifulsoup.不了解的可以先看一下这个文档,便于理解.http ...
python 安居客爬虫_爬虫学习6：爬取安居客的VR房源信息
公司的VR产品在推广前夕,需要做一个较详细的市场分析报告,我们可以从下面几个步骤来深入探讨: 1.需要展望整个VR的市场规模有多大,从而论证我们需要面对的市场分量, 2.在这个大市场下面,我们面对的细 ...
安卓学习之路之如何显示一个listview列表视图
1.新建个安卓项目,点击res下的values目录,在该目录下创建一个名字为arrays.xml的Android xml文件,然后开始在里面写代码,代码如下: <?xml version=&qu ...
C 语言学习：班级同学的博客地址列表
这里整理出本班级同学的博客地址.请各位同学之间相互帮助,尽快将博客都建立起来. 编号学号姓名 Cnblogs昵称博客地址 Coding.net 地址 1 160809401 付胤付胤 http ...
Python爬虫实战（3）：安居客房产经纪人信息采集
1, 引言 Python开源网络爬虫项目启动之初,我们就把网络爬虫分成两类:即时爬虫和收割式网络爬虫.为了使用各种应用场景,该项目的整个网络爬虫产品线包含了四类产品,如下图所示: 本实战是上图中的&q ...
python爬虫抓取房产_Python爬虫实战（3）：安居客房产经纪人信息采集
1, 引言 Python开源网络爬虫项目启动之初,我们就把网络爬虫分成两类:即时爬虫和收割式网络爬虫.为了使用各种应用场景,该项目的整个网络爬虫产品线包含了四类产品,如下图所示: 本实战是上图中的&q ...
python爬虫代码房-Python爬虫实战（3）：安居客房产经纪人信息采集
1, 引言 Python开源网络爬虫项目启动之初,我们就把网络爬虫分成两类:即时爬虫和收割式网络爬虫.为了使用各种应用场景,该项目的整个网络爬虫产品线包含了四类产品,如下图所示: 本实战是上图中的&q ...
Docker学习之路05：五分钟用docker compose搭建一个自己的个人博客网站！
五分钟用docker compose搭建一个自己的个人博客网站! Docker学习路线传送门: Docker学习之路01:Docker的安装 Docker学习之路02:阿里云镜像加速器 Docker学 ...

webmagic学习之路-2：采集安居客经纪人列表

webmagic学习之路-2：采集安居客经纪人列表相关推荐

最新文章

热门文章