Python简单操作爬取微博热搜榜(表格.xls模式存储)
爬取热搜榜需要重点注意的是:
- 这里的代码是先划区分类——把标题,链接和点击数划分在一个大的集合里,存储的时候再分开。
- 注意提取数据的方式soup.select。
requests用于将链接转化成html语言,BeautifulSoup则用于查找需要的内容。
通过采用soup.select()方法,可以得到所需的内容。
其中关键点在于,对于所需内容的精准定位,通过()内的语句来实现:
# -*- coding = utf-8 -*-
# @Time : 2021/2/22 20:04
# @Author : Vinci
# @File : 爬取热搜.py
# @Software: PyCharmfrom bs4 import BeautifulSoup #网页解析,获取数据
import sys
import xlwt #进行excel操作
import re #正则表达式,进行文字匹配
import urllib #制定url,获取网页数据
import urllib.request
import urllib.error
import sqlite3
import requests
import datetimedef main():savepath = ".\\热搜榜.xls"baseurl = "https://s.weibo.com/top/summary/"r = requests.get(baseurl)soup = BeautifulSoup(r.text, 'lxml')findtitile = soup.select('#pl_top_realtimehot > table > tbody > tr > td.td-02 > a')findlink = soup.select('#pl_top_realtimehot > table > tbody > tr > td.td-02 > span')news = []for i in range(len(findtitile) - 1):new = {}new['title'] = findtitile[i + 1].get_text()new['url'] = "https://s.weibo.com" + findtitile[i]['href']new['hotness'] = findlink[i].get_text()news.append(new)#print(news)#today = datetime.date.today()book = xlwt.Workbook(encoding="utf-8", style_compression=0) # 创建workbook对象sheet = book.add_sheet('热搜榜', cell_overwrite_ok=True) # 创建工作表col = ("热搜内容", "热搜链接", "点击次")for i in range(0, 3):sheet.write(0, i, col[i])i = 1for j in news:#print("第%d条" % i)sheet.write(i,0, j['title'])sheet.write(i,1,j['url'])sheet.write(i,2,j['hotness'])i=i+1book.save('热搜榜.xls')if __name__ =="__main__": #当程序执行时
#调用函数main()print("爬取完毕")
ps:
1.该代码为静态爬取
2.本文引用链接:https://blog.csdn.net/geerniya/article/details/77842421
Python简单操作爬取微博热搜榜(表格.xls模式存储)相关推荐
- c#使用正则表达式获取TR中的多个TD_使用python+BeautifulSoup爬取微博热搜榜
本文将介绍基于Python使用BeautifulSoup爬取微博热搜榜的实现过程 1.首先导入需要使用的库 from bs4 import BeautifulSoup from urllib.requ ...
- python爬取微博热搜榜
python爬取微博热搜榜 最近应我大学室友得需求,做了一个简单的爬虫案例,先给大家看一下程序运行效果 接下来就是贴出代码了,在这里我会做一些简单说明,对如刚入门的同学可能会有所帮助,这里使用的是py ...
- Python爬取微博热搜榜,将数据存入数据库
一直想学习用Python来进行数据的爬取,也一直想知道Python连接数据库的操作,今天刚好看到的这篇文章满足了这两个条件,我试着爬了下微博,并成功将数据添加到数据库中,颇为欢喜.作者写的很简单,有些 ...
- 爬虫—爬取微博热搜榜
1. 引言 利用scrapy框架爬取微博热搜榜网站前50条热搜. 爬取信息:热搜排名.热搜新闻名.热搜新闻热搜量. 数据存储:存储为.csv文件. 2.爬取流程 新建scrapy爬虫项目: 在终端输入 ...
- python爬取微博热搜榜教程,python爬取微博热搜并存入表格
微博热搜的爬取较为简单,我只是用了lxml和requests两个库 url= https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&am ...
- python不间断爬取微博热搜并存储
Q:想要记录实时的微博热搜分析某一类事件的热度怎么办? A: 采用python爬虫24小时不间断爬取微博热搜并存储到本地. 代码如下: # -*- coding: utf-8 -*- "&q ...
- python,selenium爬取微博热搜存入Mysql
python爬取微博热搜存入Mysql 最终的效果 使用的库 目标分析 一:得到数据 二:链接数据库 总代码 最终的效果 废话不多少,直接上图 这里可以清楚的看到,数据库里包含了日期,内容,和网站li ...
- 爬虫实例:正则表达式爬取微博热搜榜
最近在学习python的爬虫知识,分享一个爬取微博热搜的实例,代码很简单. 用到了requests,re,xlwt库 直接看图: #1导入模块 import requests import re im ...
- Python 超简单爬取微博热搜榜数据
微博的热搜榜对于研究大众的流量有非常大的价值.今天的教程就来说说如何爬取微博的热搜榜. 热搜榜的链接是: https://s.weibo.com/top/summary/ 用浏览器浏览,发现在不登录的 ...
最新文章
- R-CenterNet:用CenterNet对旋转目标进行检测
- 计算机丢失mfc120u.dll,mfc120u.dll丢失怎么修好
- wcf返回json android,WCF返回JSON的详细配置
- “大龄”码农的“中年危机”:35岁之后,该如何应对?
- Java 类加载全过程
- Intel VT学习笔记(五)—— 调试技巧
- python跟易语言的爬虫_新人Python,第一只爬虫,,我就只会re.findall,你咬我?
- 语言舒尔特方格程序_有效提升孩子注意力的方法,舒尔特方格训练法,简单有效...
- SpringBoot项目新手——问题疑惑及解决笔记
- Git合并特定commits 到另一个分支
- 将 varchar 值转换为数据类型为 int 的列时发生语法错误
- 外圣内王适用于互联网行业吗?
- win10 注册表无法删除项
- 亲试:darknet_yolov3批量测试图片并保存在自定义文件夹下与图片视频相互转换
- 淘宝买到假货之后,真的无能为力?电商是有潜力的,因为能保证真货
- 统计双色球各个数字的中奖概率
- Mock.mock()生成模拟数据
- 使用flex 布局让子元素 左右间距相等
- 传统行业如何“玩”大数据?
- 试用开源标注平台 Label Studio
热门文章
- 【数据结构】最小瓶颈路 加强版(Kruskal重构树RMQ求LCA)
- 中基鸿业投资理财好习惯
- PDF是如何在线分割的?
- sina 股票接口 2022.1.21 更新
- 2.2 法力池的创建和视觉特效———自制卡牌游戏之旅
- 学习排序 Learning to Rank:从 pointwise 和 pairwise 到 listwise,经典模型与优缺点
- 五大手机测试鸿蒙,厉害了!鸿蒙系统完成100万部手机测试,兼容多个国产品牌手机!...
- 快速查看电脑内存型号方法
- 黄子韬快手带货首秀GMV破2.3亿,真性情无套路直播效果拉满!
- yun之梦 酒仙wang 实战 带源码