源代码：https://gitee.com/my-zstu/myzstu/blob/develop/myzstu-spyder/src/main/java/club/zstuca/myzstu/spyder/misc/WeiboTopSpyder.java

解决方案

package club.zstuca.myzstu.spyder.misc;import club.zstuca.myzstu.spyder.misc.entity.WeiboTopItem;
import club.zstuca.myzstu.utils.http.HttpUtil;
import org.apache.http.HttpResponse;
import org.apache.http.util.EntityUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;import java.util.ArrayList;
import java.util.List;public class WeiboTopSpyder {public String url = "https://s.weibo.com/top/summary";public List<WeiboTopItem> run(){try {HttpResponse response = HttpUtil.doGet(url);String content = EntityUtils.toString(response.getEntity());if (content == null || content.isEmpty()) {return null;}Document document = Jsoup.parse(content);Elements elements = document.select("#pl_top_realtimehot").select("tbody").select("tr");List<WeiboTopItem> list  = new ArrayList<>();elements.forEach(item->{WeiboTopItem topItem = new WeiboTopItem();Element element = item.select("td").get(1).select("a").first();if (element == null) {return;}topItem.setName(element.text());topItem.setUrl("https://s.weibo.com" + element.attr("href"));list.add(topItem);});return list;}catch (Exception e){e.printStackTrace();}return null;}
}

JAVA——微博热搜爬虫相关推荐

定时获取微博热搜爬虫连接MySQL（项目）
前言这个项目的第三篇博客,增加了定时爬取和日志写入,解决了一些稳定性的问题. 代码设计 # -*- encoding: utf-8 -*- # --------------------------- ...
练手：微博热搜小爬虫
写在前面: 此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 微博热搜爬虫小工具太闲了写格爬虫练练手写了一个比较简单的 ...
微博热搜榜爬虫2.0
微博热搜榜爬虫2.0 6月份出了一个微博热搜爬虫,在我电脑上设置了自动化12点爬取,结果到了9月份,执行不了. 一直没时间弄,今天来更新一下: 解决了两个问题, 1 >之前的话请求头比较单一,只 ...
python 爬虫热搜_Python网络爬虫之爬取微博热搜
微博热搜的爬取较为简单,我只是用了lxml和requests两个库 1.分析网页的源代码:右键--查看网页源代码. 从网页代码中可以获取到信息 (1)热搜的名字都在的子节点里 (2)热搜的排名都在 ...
python 爬关键词,Python爬虫实战：爬取微博热搜关键词
一.爬取微博热搜关键词需要的第三方库 1.requests 2.BeautifulSoup 美味汤 3.worldcloud 词云 4.jieba 中文分词 5.matplotlib 绘图二.爬取微 ...
python爬取微博热搜并存入表格_python爬虫进阶之爬取微博热搜存入Mysql
在编程中,我们如果想要把数据转入数据库中,首先会选择 MySQL数据库.因为MySQL数据库体积小.速度快.总体拥有成本低.开放源代码,其有着广泛的应用,例如我们使用python爬虫微博热搜,就可以使 ...
Python爬虫爬取微博热搜保存为 Markdown 文件
微博热搜榜python爬虫,仅供学习交流源码及注释: # -*- coding=UTF-8 -*- #!usr/bin/env pythonimport os import time import ...
从零到一学爬虫-爬取微博热搜示例
爬取微博热搜榜-简单示例使用爬虫模拟浏览器向微博热搜的服务器发送请求,得到响应,然后将响应的信息进行打印. 当我们直接打开浏览器,输入https://s.weibo.com/top/summary, ...
Python网络爬虫之爬取微博热搜
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资 ...

JAVA——微博热搜爬虫

解决方案

JAVA——微博热搜爬虫相关推荐

最新文章

热门文章