JsoupSample

项目地址:7449/JsoupSample 

简介:JsoupSample,使用 Jsoup 抓网页,项目抓取了小说,图片,影视几个网站的信息

jsoup-rx-mvp-

jsoupSample

使用Jsoup抓取一些网站的数据,抓取数据的网站已经列在下面,如果有侵权嫌疑,请及时联系我删除相关数据

Tips

有的网络错误有可能是该网址地址变动导致的,需要查看 Log 输出来确定正确的错误原因。
抓取规则一般不会出问题,除非网站改动 Html 命名方式

android SDK 内存泄露

如图所示,这个 Bug 是 Android 输入法的 Bug,输入法内存泄漏了.....

详情见:

InputMethodManager 内存泄露现象及解决
Android InputMethodManager 导致的内存泄露及解决方案

  • fiction

    浏览小说

    81 中文网
    笔趣阁
    零点看书
    飘天文学

 

  • movie

    抓取一些电影

    dytt8
    dy2018
    xiaopian
    飘花

  • image

    抓取一些图片,收藏功能

    豆瓣美女
    妹子图
    MM
    MEIZITU
    7kk

 

  • magnetic

    磁力链接抓取

    BT 蚂蚁
    BT 樱桃
    尼玛搜
    BT 蜘蛛
    屌丝搜
    磁力链

整个框架围绕着commonLibrary这个modules展开。

里面包含了jsoup开发的常用控件以及MVP的 Base 类。

框架介绍:

  • base

    包含了基本的BaseActivity BaseFragment 之类的基类

  • util

    网络加载,html 加载,图片,UI 类的方法

  • widget

    包括了 自适应高度的ImageView,可检测滑动底部的RecyclerView 等等 一些控件

非常感谢以下开源框架:

jsoup

获取 Html 内容

android

android

glide

加载图片

rxJsoupNetWork

Jsup 加载网络框架

klog

打印 Log

flexbox

flexbox-layout

TouchImageView

可双击或者触摸放大缩小的 ImageView

GreenDao

数据库操作

jiecaoVideo

视频播放

RxJava RxAndroid

JsoupSample,使用 Jsoup 抓网页,项目抓取了小说,图片,影视几个网站的信息相关推荐

  1. 新手爬取51job,智联,boss网站职位信息总结和代码(小杜总结)

    爬取要求: (1) 使用合适的数据保存手段保存爬取数据 (2) 记每条数据的爬取时间 (3) 实现数据的增量爬取 (4) 实现同时基于关键字和页面 URL 的去重元数据说明: 一 统一注意事项或建议 ...

  2. Android登录客户端,验证码的获取,网页数据抓取与解析,HttpWatch基本使用

    大家好,我是M1ko.在互联网时代的今天,如果一个App不接入互联网,那么这个App一定不会有长时间的生命周期,因此Android网络编程是每一个Android开发者必备的技能,博主是在校大学生,自学 ...

  3. 网页数据抓取,关键在于抓取的准确性和应对海量数据时的快速反应

    无论是互联网科技.大数据.还是云计算,关键都在于技术优势,技术的成本和门槛都很高,不是两三个人零成本就可以打造一个产品. 我们以网页数据抓取来说,一门基于web结构或基于浏览器可视化的数据获取技术,关 ...

  4. java抓取网页标题内容_[Java教程]java 网页页面抓取标题和正文

    [Java教程]java 网页页面抓取标题和正文 0 2014-07-10 09:01:30 import java.io.BufferedReader;import java.io.IOExcept ...

  5. 爬虫.之登陆及动态网页的抓取

    分布式爬虫 Xpath 正则表达式 动态网页 Headless的浏览器:phantomJS 浏览器的驱动:Selenium 1.Xpath 基本语法: 表达式:nodename(节点名) 选取此节点的 ...

  6. 网页数据抓取-网页实时数据抓取软件

    网页数据抓取,随着社会的发展,互联网的普及,不管是企业还是个人都意识到数据的重要性.今天给大家分享一款免费的网页数据抓取软件.只要点点鼠标就能轻松采集你想要的内容不管是导出还是自动发布都支持!详细参考 ...

  7. 1.3 网页数据抓取

    1.3 网页数据抓取 李沐 B站:https://space.bilibili.com/1567748478/channel/collectiondetail?sid=28144 课程主页:https ...

  8. 如何用python抓取文献_浅谈Python爬虫技术的网页数据抓取与分析

    浅谈 Python 爬虫技术的网页数据抓取与分析 吴永聪 [期刊名称] <计算机时代> [年 ( 卷 ), 期] 2019(000)008 [摘要] 近年来 , 随着互联网的发展 , 如何 ...

  9. 李沐【实用机器学习】1.3网页数据抓取

    提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言 一.数据抓取工具 二.实例解析 总结 前言 网页数据抓取目标:在一个网站里面感兴趣的数据抓取出来 数据特点:噪点较多, ...

  10. 网页数据抓取之当当网

    所谓"网页数据抓取",也称为网页数据采集,Web数据采集等等,就是从我们平时通过浏览器查看的web网页上来提取需要的数据信息,然后以结构化的方式存储到CSV.JSON.XML.AC ...

最新文章

  1. 5 分钟入门 Google 最强NLP模型:BERT
  2. suse linux ssh connerc failed
  3. 简述DNS进行域名正向解析的过程。
  4. IDA反编译失败总结
  5. STM32串口在首次发送字符的时候,首字符丢失解决办法
  6. git 服务器搭建,在自己服务器上搭建私有仓库
  7. 关于RTP和SRT之间的互操作性,你需要了解什么?
  8. html:(10):添加空格和hr
  9. 【SpringCloud从0到6】 第二节:注册中心 - eureka
  10. POM思想__多个页面时进行的处理
  11. poj 2892 Tunnel Warfare (Splay Tree instead of Segment Tree)
  12. 英超俱乐部面临网络威胁,球队一起训练防御网络攻击
  13. python 获取项目根目录
  14. js实现两张图片合成一张图片(canvas绘图,图片合成)
  15. Starbound正式版的Mod制作(三)简…
  16. PD3.0 PPS限流
  17. AI医学诊断基础-CT扫描、核磁共振成像(MRI)、拍X光、拍胸片、做B超/彩超等常规检查的介绍、原理、医学影像示例(持续跟新和答疑。。。)
  18. WindowsPhone8常见问题及使用技巧
  19. 逻辑运算符和逻辑表达式(逻辑或、逻辑与、逻辑非)
  20. jquery.nicescroll.js 美化滚动条

热门文章

  1. 《漫画算法2》2021全新进阶版来袭!
  2. Linux编程:获取时间戳
  3. 理解GAN网络基本原理
  4. Java后端技术知识点汇总(思维导图)
  5. Javc处理图片各种效果的类库Java Image Filters
  6. Kubernetes实践:使用k8s部署微服务应用
  7. Java华容道小程序设计
  8. 示坡线高程判断_地理示坡线
  9. Mysql基础增删改查语句
  10. T-SQL 基础简介