web展示爬去知乎、微博文章和图片

之前使用python3抓取的一些知乎、微博的文章和图片数据想立体化展示出来

web展示爬去知乎、微博文章和图片、论坛主要是展示爬去的数据

使用技术:

Springboot

Mybatis

MySQL8.0.15、MongoDB

Maven

Echarts

主要功能有
1、登录和注册
2、（分类）浏览话题
3、发表话题
4、上传照片
5、评论
6、站内信通知
7、用户积分排行榜
8、评论照片/文章
9、爬去数据可视化统计

主要功能实现
1、登录注册：使用SpringSecurity4框架，即使用已经包装好的接口来实现，简单易用。
2、上传照片：照片是存储在第三方服务器，即七牛云。
3、站内信通知：通过异步队列来实现的站内信通知，其中选择Redis来作为队列。
4、排行榜：排行榜是通过Redis的有序集合来实现的，可以实现快速排序。
5、爬去数据统计可视化：数据统计可视化使用百度的echarts。<br>

整合爬去和展示数据待续。。。

web展示爬去知乎、微博文章和图片相关推荐

Python爬虫爬取Twitter视频、文章、图片
Python爬虫爬取Twitter视频.文章.图片 Twitter的Python爬虫 https://github.com/bisguzar/twitter-scraper 2.2k星标 (2020. ...
tp5爬去微信公众号文章信息
<?php /*** Created by PhpStorm.* User: Administrator* Date: 2019-05-29* Time: 下午 13:58*/ namespac ...
python搜索关键词的公众号文章标题和路径_按关键字搜索并爬去微信公众号文章...
#!/usr/bin/python3 # -*- coding:utf-8 -*- import re import json import time import requests from bs4 ...
Python爬去知乎上问题下所有图片
from zhihu_oauth import ZhihuClient from zhihu_oauth.exception import NeedCaptchaExceptionclient = Z ...
python爬虫知识点总结（二十四）Scrapy爬去知乎用户信息
待更新转载于:https://www.cnblogs.com/cthon/p/9424562.html
按关键字搜索并爬去微信公众号文章
#!/usr/bin/python3 # -*- coding:utf-8 -*-import re import json import time import requests from bs4 ...
Python爬取知乎回复中的图片（跳过登录）
主要思路: 利用Chrome的selenium登录url,使用鼠标滚动,明确显示回复内容中的图片显示出来.抓取图片地址. import requests from lxml import etree ...
python公众号推荐知乎_爬取公众号及知乎专栏文章的标题链接的方法汇总
记一次最近的工作内容(奇怪的任务增加了)因为Python是去年接触并且没有过爬虫的实际学习操作,所以在出现"要收集文章标题链接"的任务是还是有点难以下手的.虽然有了解过爬虫可以方便 ...
python爬取某人所有微博_Python爬取博客的所有文章并存为带目录的word文档(实例67)
看上博客上一个作者的文章,想一次性下载到一个word文件中,并且可以设置好目录,通过word的"导航窗格"快速定位单篇文章.一劳永逸,从此再也不用去博客上一篇一篇地翻阅了.整理一下 ...

web展示爬去知乎、微博文章和图片

web展示爬去知乎、微博文章和图片相关推荐

最新文章

热门文章