在爬虫开发中，常用的语言是python，但是也可以使用java来进行 开发，这样就可以利用java强大的库，下面就来介绍一下常用的java爬虫框架。

Crawler4j

官网：https://github.com/yasserg/crawler4j
开发顺序：

1. 定制Controller层，用于控制爬虫的行为
2. 使用main()直接开始程序即可

下面上代码：

// 此类用于控制爬虫爬取网页的图片，并且将图片存储在本地
public class ImageCrawler extends WebCrawler {// 用于过滤，使用正则表达式匹配private static final Pattern filters = Pattern.compile(".*(\\.(css|js|mid|mp2|mp3|mp4|wav|avi|mov|mpeg|ram|m4v|pdf" +"|rm|smil|wmv|swf|wma|zip|rar|gz))$");// 用于确定需要爬取的资源类型（这边是爬取图片）private static final Pattern imgPatterns = Pattern.compile(".*(\\.(bmp|gif|jpe?g|png|tiff?))$");// 存储图片的文件夹private static File storageFolder;// 爬虫会爬取的域，可以是一个普通的URLprivate static String[] crawlDomains;// 初始化Controllerpublic static void configure(String[] domain, String storageFolderName) {crawlDomains = domain;storageFolder = new File(storageFolderName);if (!storageFolder.exists()) {storageFolder.mkdirs();}}@Override// 确定需不需要下载url所指定的资源public boolean shouldVisit(Page referringPage, WebURL url) {String href = url.getURL().toLowerCase();// 和过滤器相匹配，不下载 if (filters.matcher(href).matches()) {return false;}// 是图片，下载if (imgPatterns.matcher(href).matches()) {return true;}// 如果是网页，进行url匹配，看是不是在需要下载的域内部for (String domain : crawlDomains) {// 在需要下载的域内if (href.startsWith(domain)) {return true;}}return false;}// shouldVisit为true，则会调用此函数@Overridepublic void visit(Page page) {String url = page.getWebURL().getURL();// 如果是图片，并且图片大小在10kb以内，就不访问if (!imgPatterns.matcher(url).matches() ||!((page.getParseData() instanceof BinaryParseData) ||(page.getContentData().length < (10 * 1024)))) {return;}// get a unique name for storing this image// 获取图片的格式String extension = url.substring(url.lastIndexOf('.'));// 获取图片的名称，此处是随机值String hashedName = UUID.randomUUID() + extension;// 存储图片String filename = storageFolder.getAbsolutePath() + "/" + hashedName;try {// 写入文件系统，并且输出到磁盘Files.write(page.getContentData(), new File(filename));logger.info("Stored: {}", url);} catch (IOException iox) {logger.error("Failed to write file: " + filename, iox);}}
}

下面是启动爬虫所用：

public class ImageCrawlController {private static final Logger logger = LoggerFactory.getLogger(ImageCrawlController.class);public static void main(String[] args) throws Exception {// 爬虫参数控制，需要传入3个参数// 存储路径，这个是存储爬虫的运行时数据的// 并行线程数量// 图片存储路径if (args.length < 3) {logger.info("Needed parameters: ");logger.info("\t rootFolder (it will contain intermediate crawl data)");logger.info("\t numberOfCralwers (number of concurrent threads)");logger.info("\t storageFolder (a folder for storing downloaded images)");return;}String rootFolder = args[0];int numberOfCrawlers = Integer.parseInt(args[1]);String storageFolder = args[2];CrawlConfig config = new CrawlConfig();// 设置运行数据存储路径config.setCrawlStorageFolder(rootFolder);// 下载二进制数据（图片是二进制的数据）config.setIncludeBinaryContentInCrawling(true);// 需要爬的网站String[] crawlDomains = {"http://uci.edu/"};// PageFetcher是用于下载数据的 PageFetcher pageFetcher = new PageFetcher(config);// 用于控制是否遵守robots协议RobotstxtConfig robotstxtConfig = new RobotstxtConfig();RobotstxtServer robotstxtServer = new RobotstxtServer(robotstxtConfig, pageFetcher);CrawlController controller = new CrawlController(config, pageFetcher, robotstxtServer);// 添加爬虫最初爬取的网页for (String domain : crawlDomains) {controller.addSeed(domain);}ImageCrawler.configure(crawlDomains, storageFolder);// 启动爬虫，使用并行controller.start(ImageCrawler.class, numberOfCrawlers);}
}

#Tip：本文所用代码是Crawler4j官方代码，只是稍作注解而已