一:下载图片

public static void main(String[] args) {try {//属性Properties p = System.getProperties() ;p.getProperty("proxy","true" ) ;//代理p.getProperty("http.proxyHost", "118.254.147.6") ;//代理ipp.getProperty("http.proxyPort","3128" ) ;//代理端口Map<String,String> map = new HashMap<String,String>() ;//模拟浏览器访问map.put("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8") ;map.put("Accept-Encoding", "gzip, deflate") ;map.put("Accept-Language", "zh-CN,zh;q=0.9") ;map.put("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3253.3 Safari/537.36") ;//根据地址,得到整个页面Document d = Jsoup.connect("http://www.ivsky.com/tupian/ziranfengguang").headers(map).get() ;//获取需要的元素Elements e = d.select(".ali li img") ;//遍历元素,获取需要的数据for (Element element : e) {//得到图片地址String path = element.attr("src") ;//创建URL对象URL url =  new URL(path) ;//打开链接HttpURLConnection h = (HttpURLConnection) url.openConnection() ;//设置请求方式为"GET"  h.setRequestMethod("GET");//超时响应时间为5秒  h.setConnectTimeout(5000);//通过输入流获取图片数据  InputStream in = h.getInputStream() ;//得到图片的二进制数据,以二进制封装得到数据,具有通用性byte[] b = getInputStream(in) ;//保存位置,图片名字File f = new File("f:\\小说下载\\图片.jpg") ;//创建输出流OutputStream out = new FileOutputStream(f) ;//写入数据
                out.write(b);//关闭输出流
                out.close();}} catch (IOException e) {e.printStackTrace();}}//得到图片的二进制数据public static byte[] getInputStream(InputStream in){//创建缓冲区byte[] b = new byte[1024] ;//创建输出流ByteArrayOutputStream out = new ByteArrayOutputStream() ;int n = 0 ;try {//循环读取数据while((n=in.read(b))!=-1){//写入数据到byte[]中out.write(b, 0, n);}} catch (IOException e) {e.printStackTrace();}finally{try {in.close();} catch (IOException e) {e.printStackTrace();}}return out.toByteArray() ;}

二:下载小说

Properties p = System.getProperties() ;p.getProperty("proxy","true" ) ;p.getProperty("http.proxyHost", "118.254.147.6") ;p.getProperty("http.proxyPort","3128" ) ;try {Map<String,String> map = new HashMap<String,String>() ;map.put("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8") ;map.put("Accept-Encoding", "gzip, deflate") ;map.put("Accept-Language", "zh-CN,zh;q=0.9") ;map.put("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3253.3 Safari/537.36") ;Document d = Jsoup.connect("http://www.23us.so/files/article/html/17/17157/index.html").headers(map).get();Elements e = d.select(".L") ;for (Element element : e) {String url = element.select("a").attr("href");Document document = Jsoup.connect(url).get() ;String content = document.select("#contents").text() ;String title = document.select("#a_main h1").text() ;//小说保存路径String path = "f:\\小说下载\\"+title+".txt" ;//创建文件File file = new File(path) ;if(!file.exists()){//文件不存在就创建
                    file.getParentFile().mkdirs();      }          file.createNewFile() ;//创建输出流OutputStream out = new FileOutputStream(file) ;//得到标题的二进制数据byte[] b = title.getBytes();//输出标题到文件中
                out.write(b);//得到内容的二进制byte[] by = content.getBytes() ;//输出内容到文件中
                out.write(by);}} catch (IOException e) {e.printStackTrace();}

转载于:https://www.cnblogs.com/-scl/p/8259540.html

jsoup之下载图片和小说相关推荐

  1. 安卓 - jsoup批量下载图片(以每日必应图片示例)

    一.前言: 使用jsoup爬取图片的动机是为了学(tu)习(mo)技(bu)术(gui),学会了就可以批量爬取你喜欢的图片啦(死肥宅想用这个功能干嘛,啊呸). 二.正文: 话不多说,进入正文. 1.获 ...

  2. Jsoup下载图片报错:UnsupportedMimeTypeException

    2019独角兽企业重金招聘Python工程师标准>>> 使用Jsoup下载图片时,报错:不支持MimeType异常. Response request = Jsoup.connect ...

  3. 利用jsoup 如何从网页中下载图片

    来自:http://www.open-open.com/bbs/view/1320576549952 如何从网页中下载图片 如果做为爬虫很有必要从网页中下载图片到本地,那么我们利用jsoup来进行该操 ...

  4. java爬虫(jsoup)实现搜狗图片一键下载

    java爬虫(jsoup)实现搜狗图片一键下载 import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.no ...

  5. 解析html,批量下载图片(java实现)

    import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org. ...

  6. Android 通过okhttp + jsoup 爬虫爬取网页小说

    Android 通过okhttp + jsoup 爬虫爬取网页小说 效果图 1.准备工作 测试地址:http://www.tlxs.net 第三方依赖: implementation 'com.squ ...

  7. python爬虫入门:搜索和批量下载图片

    目录 python爬虫批量下载图片 前言 一.具体流程 1.使用必应搜索图片 2.实现方法 导入模块 具体代码 二.效果演示 python爬虫批量下载图片 前言 本篇文章以在必应下载硬币图片为例,实现 ...

  8. 如何从网页中下载图片

    如果做为爬虫很有必要从网页中下载图片到本地,那么我们利用jsoup来进行该操作,jsoup 是一个很不错的html解析器. 网页中下载图片需要这么两步操作 1.获取绝对路径 很多网页中用的是相对路径, ...

  9. 下载搜狐小说-软件介绍

    我看了棉花糖的小说之后,觉得一页一页的翻简直是在浪费大家的生命!!! 为了大家好,我花了好几个晚上做了下图的这个软件,专门下载搜狐文化广场之小说天地的小说,按照图片,大家就知道怎么用这个软件了,希望有 ...

最新文章

  1. CentOS7 yum 源的配置与使用
  2. 干货丨区块链如何改变人工智能(AI)?
  3. 跨域(CORS)请求问题[No 'Access-Control-Allow-Origin' header is present on the requested resource]常见解决方案
  4. LeetCode-Populating Next Right Pointers in Each Node-填充结点的右指针-二叉树递归
  5. 用友 提示“尚有已全部暂估报销的单据未进行处理,不能进行12月的期末处理!”...
  6. Tcp_wrapper
  7. 如何简单快速调试高大上的谷歌浏览器
  8. mysql 创建表check如何使用_MySQL怎么使用check约束
  9. 静态网站优化技巧总结
  10. php 如何设置后台,phpcms怎么重新设置后台网址
  11. python比较长度_Python:XLRD;比较列长度
  12. 力扣题目——1249. 移除无效的括号
  13. 牛腩新闻发布--.NET控件FreeTextBox使用方法
  14. 奇迹mu服务器最新,【奇迹MU网单服务端】2020新版S6EP3带终极爆炫版带七彩宝石傻瓜式一键安装客户端带GM管理工具...
  15. 不是愚人节玩笑 Conficker猎获英议会IT系统
  16. //18. 定义一个基类BaseClass,从它派生出类DerivedClass,BaseClass有成员函数fn1()、fn2(),fn1()是虚函数,DerivedClass也有成员函数fn1()
  17. RL(Chapter 4): Gambler’s Problem
  18. 基调定了,反对资本的无序扩张
  19. Tensorflow2-卷积神经网络实现图片分类
  20. 【网络原理】一个数据包从发送到接收在网络中经历了那些过程(详细分析)

热门文章

  1. 树莓派4b与Manjaro,安装、配置、修复WiFi频段5G和Country Code
  2. 种植木耳环境难把控?环境监测装备助力种植木耳!
  3. 最好的想法对于万圣节服装
  4. DROP DATABASE
  5. Brief History of Machine Learning
  6. ubuntu qq2012
  7. java 中stopwatch_StopWatch使用介绍
  8. layui 鼠标移动到单元格显示tips(layer.tips)
  9. 北大“最丑”数学老师爆红 ,火爆全网,不愧是90后天才 !
  10. 用python海龟画图_Python中使用小海龟画图