[Java] 【分享】Java爬虫

Java爬虫合集

刚刚学习爬虫，把自己学习写的代码分享一下，都放在一个项目里面了，每个包里都是不同的爬虫小demo

爬取的内容：
                        嘀哩嘀哩网站图片的
                        游民星空图库壁纸
                        ACG壁纸
                        爬取QQ音乐
                        还有美女写真

                     界面就随便写下。。。。

在贴一点代码

// 解析网页public void ParseHtml(int sin,List<String> pagelinks,File dirs) throws IOException {// 遍历每个页码的链接for (String pagelink : pagelinks) {Document doc = Jsoup.connect(pagelink).header("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36").get();// 得到需要的条目的链接Elements itemlinks = doc.select("tr td h3 a[href^=htm]");// 遍历每个条目for (Element itemlink : itemlinks) {// 创建线程 重写run方法 进入每个条目的链接Thread t = new Thread() {@Overridepublic void run() {try {String hrefs = itemlink.absUrl("href");Document imgdoc = Jsoup.connect(hrefs).header("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36").get();// 根据网页情况获得h1标签Element h1;h1 = imgdoc.selectFirst("div h1");if (h1 == null)h1 = imgdoc.selectFirst("h1#subject_tpc");// 得到图片或小说或电影的标题String name = h1.text();// 得到图片Elements imgs = imgdoc.select("div.tpc_content img");// 得到下载链接Element links = imgdoc.selectFirst("div.tpc_content a[href^=http://www3.uptorrentfilespace]");// 得到小说正文Element body ;if (sin == 1) {// 用来保存图片链接ArrayList<String> arr = new ArrayList<String>();/** 判断进入不同的保存文件的方法 1.如果图片和链接都不为空，说明是电影* 2.如果1的条件不通过，判断图片是否为空，如果不为空，说明是图片* */if (imgs != null && links != null) {for (Element img : imgs) {String link = img.absUrl("src");arr.add(link);System.out.println("获得第" + i++ + "条链接-----" + link);}String text = links.text();download(name, arr, text,dirs);} else {for (Element img : imgs) {String link = img.absUrl("src");arr.add(link);System.out.println("获得第" + i++ + "条链接-----" + link);}download(name, arr,dirs);}}if (sin == 2) {body = imgdoc.selectFirst("div.tpc_content");// 去除小说中的<br>标签，并加上换行String text = body.toString().replaceAll("<br>", "\\n");// 开线程去保存小说new Thread() {public void run() {try {File dir = new File("D://download1//小说//" + name);if (!dir.exists())dir.mkdirs();BufferedOutputStream bos = new BufferedOutputStream(new FileOutputStream(new File(dir, "小说.txt")));bos.write(text.getBytes());bos.close();System.out.println("下载成功 ： " + dir);} catch (Exception e) {// TODO Auto-generated catch block//e.printStackTrace();}};}.start();}} catch (Exception e) {// TODO Auto-generated catch block//e.printStackTrace();}}};// 通过线程池动态控制 执行创建的线程service.execute(t);}}

其他的代码下载项目看吧
其实里面是有福利的但是要自己发掘

链接：https://pan.baidu.com/s/1zW1wRMyP2etiLvfnfASIgw 密码：8ent

捕获2.PNG (14.23 KB, 下载次数: 4)

[Java] 【分享】Java爬虫相关推荐

好程序员Java分享Java案例_英汉字典
在写代码的时候,当鼠标悬浮在某一个单词上面的时候,有道词典点有时会弹出一个消息气泡,在里面中给出关于这个单词相关的解释,下面给大家展示一个使用Java基础语言编写的英汉字典案例: 实现功能: ...
java 爬取豆瓣_谁说Java不能搞爬虫，哥带你一起爬取豆瓣电影Top250
我命由我不由天,我今天就自己来试试看,看看Java写个爬虫是有多费劲?看懂的朋友别忘记给我个哈,毕竟我是堵上了咱们Java程序员的在奋战!奥利给!我们先来分析一下这个网页,看看哪些数据比较有价值.我们 ...
Jsoup：用Java也可以爬虫，怎么使用Java进行爬虫，用Java爬取网页数据，使用Jsoup爬取数据，爬虫举例：京东搜索
Jsoup:用Java也可以爬虫,怎么使用Java进行爬虫,用Java爬取网页数据,使用Jsoup爬取数据,爬虫举例:京东搜索一.资源为什么接下来的代码中要使用el.getElementsByTa ...
hibernate savealiasentity 保存后id为空_好程序员Java教程分享Java面试题之Hibernate
好程序员Java教程分享Java面试题之Hibernate 1.简书一下Hibernated的开发流程第一步:加载Hibernate的配置文件,读取配置文件的参数, 第二步:创建SessionFac ...
java 使用webmagic 爬虫框架爬取博客园数据
java 使用webmagic 爬虫框架爬取博客园数据存入数据库学习记录 webmagic简介: WebMagic是一个简单灵活的Java爬虫框架.你可以快速开发出一个高效.易维护的爬虫. ht ...
java str2date,java date类与string类实例代码分享
Date类用来指定日期和时间,其构造函数及常用方法如下: publicDate() 从当前时间构造日期时间对象. publicStringtoString() 转换成字符串. publiclongge ...
好程序员Java分享SQL语言之索引
好程序员Java分享SQL语言之索引,前言:本章我们将学习MySQL中的索引,本文将从索引的作用.索引的分类.创建索引的语法.索引的使用策略以及索引的实现原理等方面带大家了解索引. 索引的作用索引的 ...
玩C一定用得到的19款Java开源Web爬虫
网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁.自动索引.模拟程序或者蠕 ...
零基础写Java知乎爬虫之进阶篇
转载自零基础写Java知乎爬虫之进阶篇前面几篇文章,我们都是简单的实现了java爬虫抓取内容的问题,那么如果遇到复杂情况,我们还能继续那么做吗?答案当然是否定的,之前的仅仅是入门篇,都是些基础知识 ...
java 保留html_好程序员Java培训分享Java包是什么？
好程序员Java培训分享Java包是什么?在Java中的包是一种封装一组类.子包和接口的机制,可用于组织一组相关的类和接口.从概念上讲,我们可以将包视为类似与计算机上的不同文件夹:可以将HTML页面保 ...

[Java] 【分享】Java爬虫

[Java] 【分享】Java爬虫相关推荐

最新文章

热门文章