java爬虫小说网项目_java爬虫之下载txt小说
最近迷上了天蚕土豆写的《大主宰》这本玄幻小说,无奈找不到下载链接。于是就萌生了自己爬取小说章节的想法,代码其实很简单,主要在于分析网页结构、正则匹配以及文件保存.
1. 分析网页结构
爬取小说主要需要爬取章节、正文,以及能保证爬取到所有的章节。以《大主宰》为例,其网页结构如下:
可以看到小说正文包含在一个id为content的div里,这极大的帮助了我们的爬取.章节名称保存在一个名为readtitle的js变量中.下一页的url位于a标签的href属性中
2. 正则匹配
通过分析网页结构,可以得到如下正则表达式:
章节名: readtitle = "(.+?)"
正文:
下一章:→
如果当前章节是最新章节,那么其下一章的url是以 / 开头的,我们可以根据这个判断章节是否是最新章节.
3. 运行结果
以爬取《大主宰》为例,截至至6月30号,其最新章节为第一千两百五十四章 最后的赢家,爬取其小说内容,保存为txt文件,测试结果如下:
4. 附录
你可以通过jslinxiaoli@foxmail.com联系我.
欢迎在github或者知乎上关注我 _.
也可以访问个人网站: https://jslixiaolin.github.io
源代码如下:
package com.lxl.txt;
import java.io.*;
import java.net.URL;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/**
* 爬取小说txt文件
*
* @author lixiaolin
* @createDate 2016-06-28 19:38
*/
public class NovelGet {
public static void main(String[] args) {
String baseUrl = "http://www.00ksw.com/html/1/1343/";
String nextUrl = "597361.html";
String destFilePath = "D:\\test.txt";
System.out.println("开始爬取数据...");
long startTime = System.currentTimeMillis();
getNovel(baseUrl, nextUrl, destFilePath);
long endTime = System.currentTimeMillis();
System.out.println("用时 " + (endTime - startTime) / 1000 + "秒...");
}
public static void getNovel(String baseUrl, String nextUrl, String destFilePath) {
try {
File destFile = new File(destFilePath);
// 目标文件存在则删除
if (!destFile.exists()) {
destFile.delete();
}
destFile.createNewFile();
FileWriter fw = new FileWriter(destFile);
String realUrl, resultContent;
StringBuffer sb = new StringBuffer();
BufferedReader br = null;
// 正文正则匹配表达式
Pattern contentPat = Pattern.compile("
");
// 标题正则表达式
Pattern titlePat = Pattern.compile("readtitle = \"(.+?)\"");
// 下一章正则表达式
Pattern nextPat = Pattern.compile("→ ");
Matcher matcher;
// 下一张的url以 / 开头则是最新章节
while (!nextUrl.startsWith("/")) {
realUrl = baseUrl + nextUrl;
// 获取目标url的response
br = new BufferedReader(new InputStreamReader(new URL(realUrl).openStream()));
String line;
while ((line = br.readLine()) != null) {
sb.append(line);
}
// 替换空格和换行符
resultContent = sb.toString().replaceAll(" ", "").replaceAll("
", "*****");
// 换行
fw.write("\r\n\r\n");
// 匹配标题
matcher = titlePat.matcher(resultContent);
if (matcher.find()) {
fw.write(matcher.group(1));
}
fw.write("\r\n");
// 匹配正文
matcher = contentPat.matcher(resultContent);
if (matcher.find()) {
fw.write(matcher.group(1));
}
// 匹配下一页url
matcher = nextPat.matcher(resultContent);
if (matcher.find()) {
nextUrl = matcher.group(1);
}
// 清空
sb.delete(0, sb.length());
}
if (br != null) {
br.close();
}
fw.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
java爬虫小说网项目_java爬虫之下载txt小说相关推荐
- java爬虫之下载txt小说
最近迷上了天蚕土豆写的<大主宰>这本玄幻小说,无奈找不到下载链接.于是就萌生了自己爬取小说章节的想法,代码其实很简单,主要在于分析网页结构.正则匹配以及文件保存. 1. 分析网页结构 爬取 ...
- python 小说cms系统_「博文小说网」Python爬虫爬取小说网站 - seo实验室
博文小说网 #!/usr/bin/env Python # -*- coding: utf-8 -*- # @Author : Woolei # @File : book136_singleproce ...
- python爬虫实例网易云-Python3爬虫实例之网易云音乐爬虫
本篇文章给大家带来的内容是Python3爬虫实例之网易云音乐爬虫.有一定的参考价值,有需要的朋友可以参考一下,希望对你们有所帮助. 此次的目标是爬取网易云音乐上指定歌曲所有评论并生成词云 具体步骤: ...
- java电商和企业项目_java电商和企业项目
这里比较的都是国外的开源项目,备选项目有: Smilehouse Workspace.Pulse.Shopizer.ofbiz.bigfish.broadleaf1.Smilehouse Worksp ...
- python爬虫慕课网利用xpath_python爬虫实践——零基础快速入门(二)爬取豆瓣电影...
爬虫又称为网页蜘蛛,是一种程序或脚本. 但重点在于,它能够按照一定的规则,自动获取网页信息. 爬虫的基本原理--通用框架 1.挑选种子URL: 2.讲这些URL放入带抓取的URL列队: 3.取出带抓取 ...
- java程序设计教程与项目_Java程序设计教程与项目实训
书名:Java程序设计教程与项目实训 作者:温秀梅.司亚超 出版社:清华大学出版社 出版日期:2017/8/1 字数: 页数: 版次: ISBN:9787#302473701 定价:49.5 目录 章 ...
- 基于Kotlin(可转Java)开发的网易云音乐爬虫项目
简介 基于kotlin环境开发,但转Java是可以的,只是多写点代码而已.直奔主题,我是朝着云音乐的评论去的,在接口没有暗改前这个还是可以使用的,具体代码参见:CloudMusic 先说一下使用方法, ...
- python爬虫知网实例-python爬虫实例项目大全
WechatSogou [1]- 微信公众号爬虫.基于搜狗微信搜索的微信公众号爬虫接口,可以扩展成基于搜狗搜索的爬虫,返回结果是列表,每一项均是公众号具体信息字典. DouBanSpider [2]- ...
- java爬虫框架哪个好_java爬虫框架的使用
原标题:java爬虫框架的使用 随着互联网的发展,编程程序语言也开始被越来越多的人所掌握,但是自始至终,java语言一直是被使用范围最广的编程语言.今天,武汉中软国际主要给大家讲解的是java语言中的 ...
最新文章
- ASIC设计-终极指南
- [学习笔记]矩阵乘法及其优化dp
- 利用C#语言实现小闹钟
- mysql 5.7 json函数_Mysql5.7中对于JSON函数设置的案例详细说明
- JSONObject.fromObject--JSON与对象的转换
- Python网络数据采集
- File stdin , line 1
- Fastreport.Net用户手册:报表对象
- udp接受_UDP协议-看这篇就够了
- 【转】ORACLE_SID、INSTANCE_NAME、DB_NAME
- 黄聪:Delphi 日期格式问题 - is not a valid date
- OllyDbg 使用注意事项 (十)
- Ubuntu安装kaldi
- c语言实现猜数字游戏
- iOS 15 TableView刷新组头适配问题
- 百度无线音乐盒刷打印服务器,百度无线音乐盒固件
- Win10杀毒软件大PK:Defender垫底 卡巴/小红伞第一
- 十分钟开发物联网:智能气象站(4G版)
- 计算机浏览器无法上网怎么办,电脑浏览器上不了网,其他上网正常,怎么解决...
- todo项目实现及总结
热门文章
- matlab学习计划11.4
- ohmyzsh用在mysql_oh-my-zsh git 命令缩写 以及macbook使用感受
- 行业思考 | 互联网对传统行业的降维打击
- 无线连接服务器678,上网显示,“错误678,远程服务器~”是什么意思,怎么处理?...
- 关机、睡眠和休眠有啥区别
- Dive_into_Deep_Learning
- ACK((Acknowledge character)应答机制(kafka)
- Microsoft Toolkit(win8.1激活工具)v2.5.2 绿色版
- 用友 你侮辱了谁? --转自
- 高通WLAN框架学习(17)-- NIO和PNO