MinerConfig.java 爬取配置类

MinerConfig.java 爬取配置类

package com.iteye.injavawetrust.miner;import java.util.List;/*** 爬取配置类* @author InJavaWeTrust**/
public class MinerConfig {/*** URL包含关键字*/public List<String> keys;/*** 存储方式 */public StoreType storeType;/*** 爬取页面最大深度*/public int maxDepth;/*** 下载页面线程数*/public int minerHtmlThreadNum;/*** 分析页面线程数*/public int miseringThreadNum;/*** 存储线程数*/public int minserStoreThreadNum;public List<String> getKeys() {return keys;}public void setKeys(List<String> keys) {this.keys = keys;}public StoreType getStoreType() {return storeType;}public void setStoreType(StoreType storeType) {this.storeType = storeType;}public int getMaxDepth() {return maxDepth;}public void setMaxDepth(int maxDepth) {this.maxDepth = maxDepth;}public int getMinerHtmlThreadNum() {return minerHtmlThreadNum;}public void setMinerHtmlThreadNum(int minerHtmlThreadNum) {this.minerHtmlThreadNum = minerHtmlThreadNum;}public int getMiseringThreadNum() {return miseringThreadNum;}public void setMiseringThreadNum(int miseringThreadNum) {this.miseringThreadNum = miseringThreadNum;}public int getMinserStoreThreadNum() {return minserStoreThreadNum;}public void setMinserStoreThreadNum(int minserStoreThreadNum) {this.minserStoreThreadNum = minserStoreThreadNum;}}

返回列表

转载于:https://www.cnblogs.com/muyuge/p/6152088.html

MinerConfig.java 爬取配置类相关推荐

java爬取论坛信息_Java爬取校内论坛新帖
Java爬取校内论坛新帖为了保持消息灵通,博主没事会上上校内论坛看看新帖,作为爬虫爱好者,博主萌生了写个爬虫自动下载的想法. 嗯,这次就选Java. 第三方库准备 Jsoup Jsoup是一款比较好 ...
JAVA爬取淘宝、京东、天猫以及苏宁商品详细数据（一）
JAVA爬取某东.某宝以及某宁商品详细数据(一) 写在最前反爬策略问题解决请求头配置无代理模式代理模式某东 JDHTML解析 JD商品解析天猫 TMHTML解析苏宁 SNHTML解析写 ...
Jsoup：用Java也可以爬虫，怎么使用Java进行爬虫，用Java爬取网页数据，使用Jsoup爬取数据，爬虫举例：京东搜索
Jsoup:用Java也可以爬虫,怎么使用Java进行爬虫,用Java爬取网页数据,使用Jsoup爬取数据,爬虫举例:京东搜索一.资源为什么接下来的代码中要使用el.getElementsByTa ...
java爬取网页内容简单例子（2）——附jsoup的select用法详解
[背景] 在上一篇博文 java爬取网页内容简单例子(1)--使用正则表达式里面,介绍了如何使用正则表达式去解析网页的内容,虽然该正则表达式比较通用,但繁琐,代码量多,现实中想要想出一条简单的正则 ...
Java爬取并下载酷狗音乐
本文方法及代码仅供学习,仅供学习. 案例: 下载酷狗TOP500歌曲,代码用到的代码库包含:Jsoup.HttpClient.fastJson等. 正文: 1.分析是否可以获取到TOP500歌单打开 ...
Java 爬取微信公众号文章（文字 + 图片）
https://blog.csdn.net/sunnyzyq/article/details/103837521 Maven依赖:  <depen ...
Java爬取并下载酷狗TOP500歌曲
下文方法及代码仅供学习使用,不做他用.示例用到了一些库,包括:jsoup.HttpClient.net.sf.json大家可以自行去下载jar包. 1.分析是否能获得TOP500歌单首先,打开酷狗首 ...
java 爬取评论,Java基于WebMagic爬取某豆瓣电影评论的实现
目的搭建爬虫平台,爬取某豆瓣电影的评论信息. 准备 webmagic是一个开源的Java垂直爬虫框架,目标是简化爬虫的开发流程,让开发者专注于逻辑功能的开发.webmagic的核心非常简单,但是覆盖 ...
利用Java爬取基金网站的基金数据，快速筛选优质热门基金
爬取数据源为天天基金网的页面基金数据利用java爬取基金数据并简单筛选后的效果图创建java maven项目,推荐用spring boot maven需要引入的jar包依赖 <!--lomb ...

MinerConfig.java 爬取配置类

MinerConfig.java 爬取配置类相关推荐

最新文章

热门文章