Java实现 历史上的今天
2024-04-12 15:11:05
一、controller层
package com.hd.history.controller;
import com.hd.history.dto.HistoryDto;
import com.hd.history.entity.History;
import com.hd.history.service.HistoryService;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.scheduling.annotation.Scheduled;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestBody;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;import java.io.IOException;
import java.util.ArrayList;
import java.util.List;@RestController
@RequestMapping("/findHistoryday")
public class HistoryController {@Autowiredprivate HistoryService historyService;@Scheduled(cron = "0 0 7 1 * ? ")//定时每个月1号7点执行一次public void getHistoryMonthDay() throws IOException {Integer[] dayNumber = {31, 29, 31, 30, 31, 30, 31, 31, 30, 31, 30, 31};//循环每一天for (int i = 1; i <= 12; i++) {for (int j = 1; j <= dayNumber[i - 1]; j++) {getgetHistoday(i, j);}}}public void getgetHistoday(Integer month, Integer day) throws IOException {//爬虫目标源网页的url路径要求不够10的0补齐String monthDay = "";String monthNumber = String.valueOf(month);String dayNumber = String.valueOf(day);if (month < 10) {monthNumber = "0" + month;}if (day < 10) {dayNumber = "0" + day;}monthDay = monthNumber + dayNumber;Document document = Jsoup.connect("http://hao.360.com/histoday/" + monthDay + ".html").get();Element body = document.body();Elements lie12 = body.getElementsByClass("tih-item");List<History> historyList = new ArrayList<>();//这方面我们主要需要三个数据 标题图片和具体内容for (Element element : lie12) {//导入标题Elements titleData = element.select("dt");String title = titleData.text();//导入图片Elements imageData = element.getElementsByClass("item-img");String image = imageData.attr("src");String imageNumber = imageData.attr("data-src");String imageUrl = "";if (null!=imageNumber&&imageNumber!=""){imageUrl = "http:" + imageNumber;}else if (null != image && image != "") {imageUrl = "http:" + image;}//具体内容Elements contentData = element.getElementsByClass("desc");String content = contentData.text();History history = new History();history.setTitle(title);history.setImg(imageUrl);history.setContent(content);historyList.add(history);}String finalMonthDay = monthDay;historyList.forEach(history -> history.setHistoryDate(finalMonthDay));historyService.insertHistory(historyList);}//查找接口@PostMapping("/getHistoryDay")public List<History> getHistoryList(@RequestBody HistoryDto historyDto) {return historyService.getHistoday(historyDto);}
}
二、service层
package com.hd.history.service.impl;
import com.baomidou.mybatisplus.core.conditions.query.QueryWrapper;
import com.hd.history.dto.HistoryDto;
import com.hd.history.entity.History;
import com.hd.history.mapper.HistoryMapper;
import com.hd.history.service.HistoryService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;import java.util.List;
@Service
public class HistoryServiceImpl implements HistoryService {@Autowiredprivate HistoryMapper historyMapper;@Overridepublic List<History> getHistoday(HistoryDto historyDto) {QueryWrapper<History> queryWrapper = new QueryWrapper<>();queryWrapper.lambda().eq(History::getHistoryDate, historyDto.getHistoryDate());List<History> histories = historyMapper.selectList(queryWrapper);return histories;}
//采取的是先删除在插入，因为不好考虑唯一索引，而且整体删除也用不了多少时间@Overridepublic void insertHistory(List<History> historyList) {findHistory(historyList.get(0).getHistoryDate());for (History history : historyList) {historyMapper.insert(history);}}public void findHistory(String historyDate) {QueryWrapper<History> queryWrapper = new QueryWrapper<>();queryWrapper.lambda().eq(History::getHistoryDate, historyDate);List<History> histories = historyMapper.selectList(queryWrapper);if (histories.size() > 0) {historyMapper.delete(queryWrapper);}}
}
三、entity层
package com.hd.history.entity;
import com.baomidou.mybatisplus.annotation.IdType;
import com.baomidou.mybatisplus.annotation.TableId;
import com.baomidou.mybatisplus.annotation.TableName;
import lombok.Data;
import java.io.Serializable;
@Data
@TableName("hd_history")
public class History implements Serializable {private static final long serialVersionUID = 1L;@TableId(value = "id", type = IdType.AUTO)private Long id;private String historyDate;private String title;private String img;private String content;
}
四、pom文件
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><groupId>com.hd.history</groupId><artifactId>maven-history</artifactId><version>1.0-SNAPSHOT</version><name>maven_history</name><description>Demo project for Spring Boot</description><parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId><version>2.2.1.RELEASE</version></parent><properties><java.version>1.8</java.version><cloud.version>Hoxton.RELEASE</cloud.version><cloud.alibaba.version>0.2.2.RELEASE</cloud.alibaba.version><gmall.version>1.0</gmall.version><mybatis-plus.version>3.0.5</mybatis-plus.version><mysql.version>5.1.46</mysql.version><swagger.version>2.7.0</swagger.version><fastdfs.version>1.27.0.0</fastdfs.version><lombok.version>1.18.10</lombok.version></properties><dependencies><dependency><groupId>org.springframework.cloud</groupId><artifactId>spring-cloud-dependencies</artifactId><version>Hoxton.RELEASE</version><type>pom</type><scope>import</scope></dependency><dependency><groupId>org.springframework.cloud</groupId><artifactId>spring-cloud-alibaba-dependencies</artifactId><version>0.2.2.RELEASE</version><type>pom</type><scope>import</scope></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-test</artifactId><scope>test</scope></dependency><!--mybatis-plus 持久层--><dependency><groupId>com.baomidou</groupId><artifactId>mybatis-plus-boot-starter</artifactId><version>3.0.5</version></dependency><dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>5.1.46</version></dependency><!-- jsoup HTML parser library @ http://jsoup.org/ --><dependency><groupId>org.jsoup</groupId><artifactId>jsoup</artifactId><version>1.11.2</version></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-tomcat</artifactId></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId></dependency></dependencies><build><plugins><plugin><groupId>org.springframework.boot</groupId><artifactId>spring-boot-maven-plugin</artifactId></plugin></plugins></build></project>
五、application.properties
# 服务端口
server.port=8088
# 服务名
spring.application.name=maven-history# 环境设置：dev、test、prod
spring.profiles.active=dev# mysql数据库连接
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.url=jdbc:mysql://localhost:3306/media?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=Asia/Shanghai&rewriteBatchedStatements=true&useServerPrepStmts=true&allowMultiQueries=truespring.datasource.username=root
spring.datasource.password=root
#mybatis日志
mybatis-plus.configuration.log-impl=org.apache.ibatis.logging.stdout.StdOutImpl
六、表结构
DROP TABLE IF EXISTS `hd_history`;
CREATE TABLE `hd_history` (`id` int(11) NOT NULL AUTO_INCREMENT,`history_date` varchar(32) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL DEFAULT '' COMMENT '当前日期',`title` varchar(128) CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL DEFAULT '' COMMENT '标题',`img` varchar(200) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '图像',`content` text CHARACTER SET utf8mb4 COLLATE utf8mb4_bin NOT NULL COMMENT '内容',PRIMARY KEY (`id`) USING BTREE
)
七、爬取的网页HTML
<dl class="tih-item open"> <dt><em>1</em>. 1981年-我国正式实行学位制度</dt> <dd> <img class="item-img" src="//p7.qhmsg.com/t01fd70f46cc423a8d7.jpg"> <div class="clearfix"> <div class="desc">1981年1月1日，我国正式实行学位制度。我国从50年代开始，就试图建立学位制，因受极“左”思潮的影响和“文革”的干扰，一直未能实行。1976年，教育部和国务院科技干部局联合组织的学位小组，拟订了《中华人民共和国学位条例（草案）》，经审议修改，1980年2月15日由人大常委会第十三次会议讨论通过。学位制规定，我国设学士、硕士、博士3级学位。这些当时还看不出分量的名称后来却极大地规范了人才选拔制度。 </div> <div class="right-btn-container"> <a href="http://baike.so.com/doc/6222143.html" target="_blank" class="read-btn">阅读全文</a> </div> </div> </dd> </dl> <dl class="tih-item"> <dt><em>2</em>. 1814年-太平天国农民起义领袖洪秀全诞辰</dt> <dd> <img class="item-img" data-src="//p8.qhmsg.com/t014369be2b3746e6d2.jpg" src="//hao3.qhimg.com/t0194aea54158184820.gif"> <div class="clearfix"> <div class="desc">洪秀全（1814年1月1日－1864年6月1日），原名洪仁坤，小名火秀，客家人，是太平天国以宗教名义发动民变的领袖。清嘉庆十八年十二月初十生于广东花县（今广州市花都区）福源水村，后来移居到官禄布村。道光年间屡应科举不中，遂吸取早期基督教义中的平等思想，创立拜上帝会，撰《原道救世歌》以布教，主张建立远古“天下为公”盛世。道光三十年十二月初十（1851年1月11日）洪秀全发动金田起义，建国号太平天国，自称天王。1853年以南京作为首都，改名天京，1864年在天京病逝，太平天国在他死后不久灭亡。 </div> <div class="right-btn-container"> <a href="http://baike.so.com/doc/4371050.html" target="_blank" class="read-btn">阅读全文</a> </div> </div> </dd> </dl>
总结
爬虫Jsoup这方面的知识以前从未接触过，通过实现（历史上的今天）学到了很多，解决问题的话需要静下心来，一个一个的去探索发掘。
Java实现 历史上的今天相关推荐
- 历史上最简单的一道Java面试题，但无人能通过
作者:方志宏 来源:zhuanlan.zhihu.com/p/57859872 这可能是历史上最简单的一道java面试题了. 题目很简单,完成代码,判断一个整数是否是奇数: public boolea ...
- 【历史上的今天】8 月 13 日：Oracle 起诉 Google，Java 版权案正式开启！
透过「历史上的今天」,从过去看未来,从现在亦可以改变未来.历史中的 8 月 13 日,都有哪些互联网事件发生呢? 1973 年 8 月 13 日 ICCP(Institute for Certific ...
- 【历史上的今天】5 月 23 日：Java 正式发布；晶体管的共同发明者出生
整理 | 王启隆 透过「历史上的今天」,从过去看未来,从现在亦可以改变未来. 今天是 2022 年 5 月 23 日,在 2007 年的今天,盛大宣布出售所持有新浪公司股票,累计获利 7650 万美元 ...
- 【历史上的今天】12 月 24 日：姚期智出生；微软在 Java 反垄断案中败诉；GIF 图像格式获得专利保护
整理 | 王启隆 透过「历史上的今天」,从过去看未来,从现在亦可以改变未来. 今天是 2021 年 12 月 24 日,在 115 年前的今天,美国电子和无线电技术专家雷吉纳德·费森登(Reginal ...
- Java爬虫实践之获取历史上的今天
概述 我们可以在一些网站上看到一些文字,显示了历史上的今天发生了什么事情.例如CSDN的登录页面: 而我们今天的目标是百度搜索上显示的历史上的今天,如下: (注:图片无法显示) 通过历史上的今天访问查 ...
- Java 之父诞生 | 历史上的今天
整理 | 王启隆 透过「历史上的今天」,从过去看未来,从现在亦可以改变未来. 今天是 2023 年 5 月 19 日,在 1999 年的今天,分布式计算项目 SETI@home 正式向公众发布.SET ...
- Java 战国大富翁,中国历史上二十大富豪 个个富可敌国
原标题:中国历史上二十大富豪 个个富可敌国 中国历史上二十大富豪 个个富可敌国 陶朱公:春秋末期人,即助越王勾践一战灭吴的大智者范蠡,堪称历史上弃政从商的鼻祖和开创个人致富记录的典范.<史记&g ...
- 蓝月亮做java好吗,“蓝月亮”蓝吗？历史上真正的蓝月亮，你真就不敢看
就在2020年10月31日的今晚,一轮较为罕见的"蓝月亮"即将在夜空中闪亮登场.那么,"蓝月亮"是说月亮会变成蓝色的吗?又为什么说它少见?更令人好奇的是,民间有 ...
- java 钢架 抽管_自行车发展历史上的重大发明系列：抽管技术，目前已达到十二抽管...
原标题:自行车发展历史上的重大发明系列:抽管技术,目前已达到十二抽管 大家好,欢迎大家收看新一期的单车基械匠,我是赵工. 之前我们已经有几期视频解说过,碳纤维车架的制造过程,钛合金车架的制造过程,轮组 ...
最新文章
- 动力电池检测电压c语言编程,动力电池PACK EOL测试系统
- 学习 FPGA之前的基础知识
- Ashikhmin-Shirley, cook- torrance, ward -duer 对比
- jenkins部署java项目（五）
- Android中的长度单位详解
- java高并发（二十一）高并发场景下缓存常见问题
- Scala：Function1、Function2
- 介绍一下 information_schema 库
- django入门项目图书管理
- 对于java引用的总结
- 关于M1芯片版Mac安装Photoshop后储存psd时出现程序错误提示的解决方法
- qstring 字符串查找_怎样用QT查找字符串并标记要查找的内容
- linux系统实训总结报告,《linux操作系统实训》总结报告 - 图文
- 转：“有活吗？我们什么都干！”稻盛和夫这样带企业穿越萧条
- 详解Maven多模块Spring Boot项目从创建到打包
- 为什么要设置HashMap的初始化容量
- Win10系统QQ无法登录，00001错误解决办法
- 维基解密爆料CIA监控技术 科技公司如何接招
- 百度android 升级,百度浏览器去广告版下载-百度浏览器v6.4.21安卓去广告去升级版-ucbug软件站...
- pycharm里强制升级pip版本