链家爬取深圳租房代码(java)

jsoup的jar包maven导入

<dependencies>
<!--        爬虫--><dependency><groupId>org.jsoup</groupId><artifactId>jsoup</artifactId><version>1.13.1</version></dependency>
</dependencies>

爬取的内容打印到控制台
你也可以输出到文件
在输出到文件方法中的注释就是输出到文件，你修改一下文件路径和文件的格式就可以了。

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;import java.io.*;
import java.util.HashMap;
import java.util.Map;/*** @author kliker* @version 1.0*/
//生成文档注释 javadoc -d F:\SSM\data -author -version Main.java
public class Main {private static Map<String,String> map = new HashMap<>();public static void main(String[] args) {for(int i = 1;i<101;i++) {String url = "https://sz.lianjia.com/zufang/pg"+i+"rt200600000002/#contentList";try {Document html = Jsoup.connect(url).get();Elements elements = html.getElementsByClass("twoline");for (Element element : elements) {String title = element.text();String content = element.getElementsByTag("a").attr("href");
//                    System.out.println(title + "\t" + "https://sz.lianjia.com" + content);String contents = getHtml(content);map.put(title,contents);}writeFile(map);} catch (IOException e) {e.printStackTrace();} catch (Exception e) {e.printStackTrace();}}}//获取房子详细信息public static String getHtml(String content){String url = "https://sz.lianjia.com"+content;String contents1 = null;String contents2 = null;try {Document html = Jsoup.connect(url).get();Elements elements1 = html.select("#info");
//            Elements elements2 = html.select("body > div.wrapper > div:nth-child(2) > div.content.clear.w1150 > div.content__detail > div.content__article.fl > ul");
//            Elements elementsImg = html.select("#gslide > div > p.gslide--list");
//            for(Element element : elementsImg){//                String attr = element.getElementsByTag("img").attr("src");
//                getImg(attr);
//            }contents1 = elements1.text();
//            contents2 = elements2.text();System.out.println(contents1);}catch(Exception e){e.printStackTrace();}return contents1;}//获取房子图片
//    public static void getImg(String urlImg){//        try {//            Document html = Jsoup.connect(urlImg).get();
//        }catch(Exception e){//            e.printStackTrace();
//        }
//    }//写入文件public static void writeFile(Map<String,String> map) {try {//            BufferedWriter bf = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(new File("data/shenzhenzufang.txt"))));
//            for(Map.Entry<String,String> entry:map.entrySet()) {//                bf.write(entry.getKey());
//                bf.newLine();
//                bf.write(entry.getValue());
//                bf.newLine();
//            }
//            bf.flush();
//            bf.close();PrintWriter pw = new PrintWriter(new OutputStreamWriter(System.out));for(Map.Entry<String,String> entry:map.entrySet()) {pw.println(entry.getKey());pw.println(entry.getValue());}}catch(Exception e){e.printStackTrace();}}
}

链家爬取深圳租房代码(java)相关推荐

深圳python爬虫培训南山科技园钽电容回收_记一次python 爬虫爬取深圳租房信息的过程及遇到的问题...
为了分析深圳市所有长租.短租公寓的信息,爬取了某租房公寓网站上深圳区域所有在租公寓信息,以下记录了爬取过程以及爬取过程中遇到的问题: 爬取代码: import requests from reques ...
python解决租房问题_记一次python 爬虫爬取深圳租房信息的过程及遇到的问题
为了分析深圳市所有长租.短租公寓的信息,爬取了某租房公寓网站上深圳区域所有在租公寓信息,以下记录了爬取过程以及爬取过程中遇到的问题: 爬取代码: import requests from reques ...
九十二、Python爬取深圳租房信息小案例
@Author:Runsen @Date:2020/6/19 人生最重要的不是所站的位置,而是内心所朝的方向.只要我在每篇博文中写得自己体会,修炼身心:在每天的不断重复学习中,耐住寂寞,练就真功,不畏 ...
爬取链家网站的北京租房信息
本来准备这个暑假好好复习,但学校安排暑期实践,既然学校安排这个,而且我自己也觉得需要提高一下自己的能力,所以静下心来做点事吧.我们要做到项目是分析北京地区的租房的信息分析. 我们需要做的是爬取链家网站 ...
爬取链家网站中的租房信息
爬取链家网站中的租房信息信息爬取代码信息爬取代码 import requests from lxml import etree import pandas as pdwith open('zufa ...
python 爬取自如租房的租房数据，使用图像识别获取价格信息
python 爬取自如租房的租房数据完整代码下载:https://github.com/tanjunchen/SpiderProject/tree/master/ziru #!/usr/bin/py ...
python爬虫爬取58网站数据_Python爬虫，爬取58租房数据字体反爬
Python爬虫,爬取58租房数据这俩天项目主管给了个爬虫任务,要爬取58同城上福州区域的租房房源信息.因为58的前端页面做了base64字体加密所以爬取比较费力,前前后后花了俩天才搞完. 项目演示 ...
Python爬取自如租房信息（价格）笔记——笨办法
爬取自如租房信息最近正在学习python爬虫,顺便又要租房子,于是就想爬去自如上的租房信息顺便来联系一下. ·掉进价格的大坑里在爬取过程中一切都听顺利的,可是到了最关键的房租部分就遇到了问题.居然 ...
python-爬虫，实现输入关键字，然后爬取关键字主页代码并存储到mysql数据库
python-爬虫,实现输入关键字,然后爬取关键字主页代码并存储到mysql数据库实现代码如下: 代码是可以实现的,有问题可以私聊我 import os import sys import base ...
进军Json，以战养战 -- 爬取搜狗图片代码分析
爬取搜狗图片代码分析代码代码功能代码代码解析总结代码代码功能从搜狗网页下载 n 张指定分类的图片并保存到指定的文件夹. 代码 # 导入相关的库 import requests impo ...

链家爬取深圳租房代码(java)

链家爬取深圳租房代码(java)相关推荐

最新文章

热门文章