Java爬虫入门程序

今天刚开始看爬虫内容，跟着网上做了个Demo
先贴配置信息吧
log4j.properties


log4j.rootLogger=DEBUG,A1
log4j.logger.cn.itcast = DEBUG
###org.apache.log4j.ConsoleAppender（控制台）
log4j.appender.A1=org.apache.1og4j.ConsoleAppender
###2.3 配置日志信息的输出格式（Layout）
log4j.appender.A1.layout=org.apache.log4j.PatternLayoutlog4j.appender.A1.layout.ConversionPattern=%-d{yyyy-MM-dd HH:mm:ss,SSS} [%t] [%c]-[%p] %m%n

pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><groupId>cn.itcast</groupId><artifactId>itcast-crawler-first</artifactId><version>1.0-SNAPSHOT</version><dependencies><!-- https://mvnrepository.com/artifact/org.apache.httpcomponents/httpclient --><dependency><groupId>org.apache.httpcomponents</groupId><artifactId>httpclient</artifactId><version>4.5.2</version></dependency><!-- https://mvnrepository.com/artifact/org.slf4j/slf4j-log4j12 --><dependency><groupId>org.slf4j</groupId><artifactId>slf4j-log4j12</artifactId><version>1.7.25</version><scope>test</scope></dependency></dependencies></project>

java

package cn.a.aa.test;import org.apache.http.HttpEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;public class Demo{public static  void main(String[] args) throws Exception {//1.打开浏览器。创建一个httpclient对象//HttpClient(用CloseableHttpClient发送get/post请求)
//        HttpClient httpClient = new HttpClient();CloseableHttpClient httpClient = HttpClients.createDefault();//2.输入网址,发起get请求，创建httpget对象HttpGet httpGet = new HttpGet("http://www.itcast.cn");//3.按回车，发起请求，返回响应,使用httpClient对象发送请求，相当于回车CloseableHttpResponse response = httpClient.execute(httpGet);//4.解析响应，获取数据//判断响应状态码是否是200，200就代表响应成功if (response.getStatusLine().getStatusCode()==200) {//得到响应体，比如请求网页的时候，返回的是网页的HTML代码HttpEntity httpEntity = response.getEntity();//对其进行解析，获得其里面的数据String content = EntityUtils.toString(httpEntity,"utf8");System.out.println(content);}}
}

Java爬虫入门程序相关推荐

网络爬虫（Web crawler）|| 爬虫入门程序
网络爬虫网络爬虫(Web crawler),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本爬虫入门程序环境准备 JDK1.8 IntelliJ IDEA IDEA自带的Maven 环境 ...
Java爬虫入门篇---Jsoup工具
Java爬虫入门篇---Jsoup工具前言准备工作获取文本数据获取页面中所有的图片前言 pythoy的scrapy框架是大名鼎鼎,Jsoup则为Java框架的爬虫准备工作 1.下载jsou ...
Java语言入门程序编写 - Hello world
Java语言入门程序编写 - Hello world 编写Java程序的前提一定要先搭建Java语言开发环境.可参考:Java语言开发环境搭建. 开发环境已经搭建完毕,可以开发我们第一个Java程序了 ...
java爬虫入门_Java 网络爬虫新手入门详解
这是 Java 网络爬虫系列文章的第一篇,如果你还不知道 Java 网络爬虫系列文章,请参看Java 网络爬虫基础知识入门解析.第一篇是关于 Java 网络爬虫入门内容,在该篇中我们以采集虎扑列表新闻 ...
java数据类型入门程序_「JAVA零基础入门系列」Day3 Java基本数据类型
前两篇已经将开发环境搭建完成,如果你已经按之前的教程按部就班的完成了部署,那么世界上最优秀的编程语言之一和世界上最优秀的IDE之一已经出现在你的电脑上(此处应有掌声),如果你还没入门,或者正在台阶上踱 ...
Java 爬虫入门(网易云音乐和知乎实例)
最近公司赶项目,过上了996的生活,周日还要陪老婆,实在没时间静下来写点东西,于是导致了swift编写2048的第三篇迟迟没有开工,在此说声抱歉,尽量抽时间在这周末补出来. 首先来介绍下爬虫的作用,爬 ...
java爬虫入门之访微企点首页源代码
本次爬虫实现采用java.net.URL及相关包实现,贴上代码: public class CodeGrab{public static void main(String[] args)throws ...
python3爬虫入门教程-python3爬虫入门程序
适用于有且只有一点Python3和网页基础的朋友,大牛&路人请绕道 (本文很多废话,第一次在网上长篇大论,所以激动的停不下来,如果有大佬路过,也希望不要直接绕道,烦请指点一二) 感谢博客园给了 ...
java爬虫入门--用jsoup爬取汽车之家的新闻
概述使用jsoup来进行网页数据爬取.jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址.HTML文本内容.它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuer ...
python3入门代码-python3爬虫入门程序
适用于有且只有一点Python3和网页基础的朋友,大牛&路人请绕道 (本文很多废话,第一次在网上长篇大论,所以激动的停不下来,如果有大佬路过,也希望不要直接绕道,烦请指点一二) 感谢博客园给了 ...

Java爬虫入门程序

Java爬虫入门程序相关推荐

最新文章

热门文章