一个简单的抓取百度热度数据并可视化的demo

我的B站账号~

番茄爱大米 ，可以关注下嗷~

可视化工具

https://github.com/Jannchie/Historical-ranking-data-visualization-based-on-d3.js

比如抓取2011-2020 100多位日本女星的百度热度数据

female_japanese_hot_rank.py


from get_index import BaiduIndex
import csv
# 可以 from get_extended import BaiduIndex 使用爬取媒体指数和咨询指数的爬虫，然后自己看一下初始化类时的参数if __name__ == "__main__":"""可以传入很多关键词"""# 查看城市和省份的对应代码print(BaiduIndex.city_code)print(BaiduIndex.province_code)import sysprint(sys.getdefaultencoding())# mainname_string = '''水原希子 池田依来沙 石原里美 伊丹爱莉 水崎绫女 樱庭奈奈美 真野惠里菜 松冈李那 Kiki Sukezan 深津绘里 木内舞留 rola 葵若菜 日笠阳子 星名利华 若村麻由美 入山法子 Vnna 日向奈奈美 清水爱 板野友美 今野杏南 冨手麻妙 冈本多绪 筱崎爱 星名美津纪 桥本环奈 费沁源 藤井美菜 长泽雅美 高桥纱妃 桥本爱 天海佑希 未来穗香 二阶堂富美 相泽侑我 菊地凛子 武田玲奈 白石麻衣 滨边美波 福岛莉拉 佐野雏子 武田梨奈 优希美青 上白石萌音 桐谷美玲 铃木梨央 菜菜绪 渡边直美 斋藤飞鸟 山本美月 新垣结衣 中条彩未 户田惠梨香 川荣李奈 竹富圣花 上户彩 葉月星美 小松菜奈 松冈茉优 有村架纯 伊藤梨沙子 井上朋子 谷花音 高山南 宫原华音 志尊淳 深田恭子 山本舞香 广濑铃 忽那汐里 松井爱莉 池胁千鹤 多部未华子 前田敦子 水野索诺娅 滨田心音 吉田羊 黑木瞳 田中真弓 安藤樱 米仓凉子 原凉子 藤本七海 美沙玲奈 山谷花纯 林原惠美 北川景子 饭丰万理江 吉高由里子 泽尻绘里香 满岛光 小山内花凛 黑木华 上原实矩 山崎纮菜 佐佐木希 早见朱莉 井上真央 富田美忧 樱井由纪 小池荣子 真飞圣 松本若菜 川上朱莉杏 冈村明美 野村麻纯 泉品子 木村文乃 山崎和佳奈 西村知美 河井青叶 内藤里沙 刚力彩芽 土屋太凤 悠木碧 田中日南乃 大谷育江 佐藤麻衣 杉咲花 新木优子 渡边麻友 木村绿子 尾野真千子 山口由里子 中野良子 宫泽理惠 铃木优华 志村玲那 木村叶月 竹内结子 门胁麦 小芝风花 松峰莉璃 片濑那奈 千田爱纱 高畑淳子 本田翼 真木阳子 高畑充希 三浦璃那 小栗有以 高梨临 余贵美子 江野沢爱美 米姆拉 铃木保奈美 横山惠 香椎由宇 小山茉美 平祐奈 比嘉爱未 仓科加奈 木村佳乃 绫濑遥 上白石萌歌 市川实日子 千眼美子 野波麻帆 吉永小百合 坂本真绫 柴崎幸 西野七濑 滨崎步 井上喜久子 阿部菜渚美 黑岛结菜 三石琴乃 山田望叶 优香 大原樱子 波瑠 大原惠 早见沙织 稻森泉 西内玛利亚 奥仲麻琴 水田山葵 石田百合子 小岛圣 佐佐木心音 杉原杏璃 岩佐真悠子 玉城Tina 岛崎遥香 miwa 橘梨纱 大岛优子 小嶋阳菜 花泽香菜 AKB48 柳友里菜 魏凉子 森尚子 莲佛美沙子 三瓶由布子 吉濑美智子 坛蜜 川口春奈 嘉数由美 樋口可南子 比留川游 黑木明纱 清水久留巳 桃井薰 成海璃子 菊池心 浅川梨奈 板谷由夏 筱原凉子 松隆子 相武纱季 石桥杏奈 藤谷文子 内田有纪 小林凉子 白石凉子 早见明里 永野芽郁 森宽和 堀北真希 中村杏 片山萌美 菊川怜 竹内顺子 大友花恋 木村光希 武井咲 藤本泉 原田夏希 松井玲奈 宫崎葵 福原爱 上野树里 千秋 石井薇子 水树奈奈 折笠富美子 樱井日奈子 石野真子 泽城美雪 矢岛晶子 石井杏奈 藏下穗波 阶户瑠李 能年玲奈 芦田爱菜 志田友美 志田未来 夏菜 麻生佑未 福原遥 松雪泰子 茅野爱衣 中川翔子 渡边菜生子 吉行和子 松川星 田中美佐子 田中丽奈 小林星兰 马渕英俚可 小林喜名子 菅野美穗 伊藤加奈惠 生田绘梨花 杉本有美 山本彩 伊藤夏帆 渡边真起子 松坂庆子 渡边佑太朗 丰崎爱生 小泉今日子 逢泽莉娜 坂本千夏 堀内敬子 平手友梨奈 篠田麻里子 松下奈绪 臼田麻美 畑野浩子 源利华 安达佑实 八千草薫 桑谷夏子 森川葵 檀丽 夏目三久 白石美帆 由加奈 吉冈里帆 中村千绘 峰村理惠 铃木京香 藤原纪香 广濑爱丽丝 坂井真纪 浅田真央'''keywords = name_string.split()baidu_index = BaiduIndex(keywords, '2011-01-01', '2020-03-16')with open('female_japan.csv', mode='w') as csv_file:fieldnames = ['name', 'type', 'value','date']writer = csv.DictWriter(csv_file, fieldnames=fieldnames,lineterminator='\n')writer.writeheader()for index in baidu_index.get_index():if index['type'] == 'all' and str(index['date']).endswith('2'):writer.writerow({'name': index['keyword'], 'value': index['index'],'date': index['date']})

config.py

COOKIES ='Cookie: BIDUPSID=3B724A614E661778DCC0031549E9B20A; PSTM=1577001150; BAIDUID=3B724A614E66177875BF3DBF0E82344F:FG=1; BD_UPN=12314353; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; sug=3; ORIGIN=0; bdime=0; BD_HOME=1; delPer=0; BD_CK_SAM=1; PSINO=1; COOKIE_SESSION=460_0_9_4_19_9_0_0_4_8_5_0_461_0_4_0_1585141900_0_1585141904%7C9%230_0_1584803198%7C1; BDUSS=plWk5uOWpZMnpnNUQybnZCaEZyZzJNd1F6WFd-VkNlQXBZVGFFSDJndzA4YUplRUFBQUFBJCQAAAAAAAAAAAEAAABaIIUzzqjSu0LJ8bGl4MMAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAADRke140ZHteYX; H_PS_PSSID=30973_1467_21105_30908_30824_31086; sugstore=0'PROVINCE_CODE = {'山东': '901', '贵州': '902', '江西': '903', '重庆': '904', '内蒙古': '905', '湖北': '906', '辽宁': '907', '湖南': '908', '福建': '909', '上海': '910', '北京': '911', '广西': '912', '广东': '913', '四川': '914', '云南': '915', '江苏': '916', '浙江': '917', '青海': '918', '宁夏': '919', '河北': '920', '黑龙江': '921', '吉林': '922', '天津': '923', '陕西': '924', '甘肃': '925', '新疆': '926', '河南': '927', '安徽': '928', '山西': '929', '海南': '930', '台湾': '931', '西藏': '932', '香港': '933', '澳门': '934'}CITY_CODE = {'广州': '95', '深圳': '94', '东莞': '133', '云浮': '195', '佛山': '196', '湛江': '197', '江门': '198', '惠州': '199', '珠海': '200', '韶关': '201', '阳江': '202', '茂名': '203', '潮州': '204', '揭阳': '205', '中山': '207', '清远': '208', '肇庆': '209', '河源': '210', '梅州': '211', '汕头': '212', '汕尾': '213', '郑州': '168', '南阳': '262', '新乡': '263', '开封': '264', '焦作': '265', '平顶山': '266', '许昌': '268', '安阳': '370', '驻马店': '371', '信阳': '373', '鹤壁': '374', '周口': '375', '商丘': '376', '洛阳': '378', '漯河': '379', '濮阳': '380', '三门峡': '381', '济源': '667', '成都': '97', '宜宾': '96', '绵阳': '98', '广元': '99', '遂宁': '100', '巴中': '101', '内江': '102', '泸州': '103', '南充': '104', '德阳': '106', '乐山': '107', '广安': '108', '资阳': '109', '自贡': '111', '攀枝花': '112', '达州': '113', '雅安': '114', '眉山': '291', '甘孜': '417', '阿坝': '457', '凉山': '479', '南京': '125', '苏州': '126', '无锡': '127', '连云港': '156', '淮安': '157', '扬州': '158', '泰州': '159', '盐城': '160', '徐州': '161', '常州': '162', '南通': '163', '镇江': '169', '宿迁': '172', '武汉': '28', '黄石': '30', '荆州': '31', '襄阳': '32', '黄冈': '33', '荆门': '34', '宜昌': '35', '十堰': '36', '随州': '37', '恩施': '38', '鄂州': '39', '咸宁': '40', '孝感': '41', '仙桃': '42', '天门': '73', '潜江': '74', '神农架': '687', '杭州': '138', '丽水': '134', '金华': '135', '温州': '149', '台州': '287', '衢州': '288', '宁波': '289', '绍兴': '303', '嘉兴': '304', '湖州': '305', '舟山': '306', '福州': '50', '莆田': '51', '三明': '52', '龙岩': '53', '厦门': '54', '泉州': '55', '漳州': '56', '宁德': '87', '南平': '253', '哈尔滨': '152', '大庆': '153', '伊春': '295', '大兴安岭': '297', '黑河': '300', '鹤岗': '301', '七台河': '302', '齐齐哈尔': '319', '佳木斯': '320', '牡丹江': '322', '鸡西': '323', '绥化': '324', '双鸭山': '359', '济南': '1', '滨州': '76', '青岛': '77', '烟台': '78', '临沂': '79', '潍坊': '80', '淄博': '81', '东营': '82', '聊城': '83', '菏泽': '84', '枣庄': '85', '德州': '86', '威海': '88', '济宁': '352', '泰安': '353', '莱芜': '356', '日照': '366', '西安': '165', '铜川': '271', '安康': '272', '宝鸡': '273', '商洛': '274', '渭南': '275', '汉中': '276', '咸阳': '277', '榆林': '278', '延安': '401', '石家庄': '141', '衡水': '143', '张家口': '144', '承德': '145', '秦皇岛': '146', '廊坊': '147', '沧州': '148', '保定': '259', '唐山': '261', '邯郸': '292', '邢台': '293', '沈阳': '150', '大连': '29', '盘锦': '151', '鞍山': '215', '朝阳': '216', '锦州': '217', '铁岭': '218', '丹东': '219', '本溪': '220', '营口': '221', '抚顺': '222', '阜新': '223', '辽阳': '224', '葫芦岛': '225', '长春': '154', '四平': '155', '辽源': '191', '松原': '194', '吉林': '270', '通化': '407', '白山': '408', '白城': '410', '延边': '525', '昆明': '117', '玉溪': '123', '楚雄': '124', '大理': '334', '昭通': '335', '红河': '337', '曲靖': '339', '丽江': '342', '临沧': '350', '文山': '437', '保山': '438', '普洱': '666', '西双版纳': '668', '德宏': '669', '怒江': '671', '迪庆': '672', '乌鲁木齐': '467', '石河子': '280', '吐鲁番': '310', '昌吉': '311', '哈密': '312', '阿克苏': '315', '克拉玛依': '317', '博尔塔拉': '318', '阿勒泰': '383', '喀什': '384', '和田': '386', '巴音郭楞': '499', '伊犁': '520', '塔城': '563', '克孜勒苏柯尔克孜': '653', '五家渠': '661', '阿拉尔': '692', '图木舒克': '693', '南宁': '90', '柳州': '89', '桂林': '91', '贺州': '92', '贵港': '93', '玉林': '118', '河池': '119', '北海': '128', '钦州': '129', '防城港': '130', '百色': '131', '梧州': '132', '来宾': '506', '崇左': '665', '太原': '231', '大同': '227', '长治': '228', '忻州': '229', '晋中': '230', '临汾': '232', '运城': '233', '晋城': '234', '朔州': '235', '阳泉': '236', '吕梁': '237', '长沙': '43', '岳阳': '44', '衡阳': '45', '株洲': '46', '湘潭': '47', '益阳': '48', '郴州': '49', '湘西': '65', '娄底': '66', '怀化': '67', '常德': '68', '张家界': '226', '永州': '269', '邵阳': '405', '南昌': '5', '九江': '6', '鹰潭': '7', '抚州': '8', '上饶': '9', '赣州': '10', '吉安': '115', '萍乡': '136', '景德镇': '137', '新余': '246', '宜春': '256', '合肥': '189', '铜陵': '173', '黄山': '174', '池州': '175', '宣城': '176', '巢湖': '177', '淮南': '178', '宿州': '179', '六安': '181', '滁州': '182', '淮北': '183', '阜阳': '184', '马鞍山': '185', '安庆': '186', '蚌埠': '187', '芜湖': '188', '亳州': '391', '呼和浩特': '20', '包头': '13', '鄂尔多斯': '14', '巴彦淖尔': '15', '乌海': '16', '阿拉善盟': '17', '锡林郭勒盟': '19', '赤峰': '21', '通辽': '22', '呼伦贝尔': '25', '乌兰察布': '331', '兴安盟': '333', '兰州': '166', '庆阳': '281', '定西': '282', '武威': '283', '酒泉': '284', '张掖': '285', '嘉峪关': '286', '平凉': '307', '天水': '308', '白银': '309', '金昌': '343', '陇南': '344', '临夏': '346', '甘南': '673', '海口': '239', '万宁': '241', '琼海': '242', '三亚': '243', '儋州': '244', '东方': '456', '五指山': '582', '文昌': '670', '陵水': '674', '澄迈': '675', '乐东': '679', '临高': '680', '定安': '681', '昌江': '683', '屯昌': '684', '保亭': '686', '白沙': '689', '琼中': '690', '贵阳': '2', '黔南': '3', '六盘水': '4', '遵义': '59', '黔东南': '61', '铜仁': '422', '安顺': '424', '毕节': '426', '黔西南': '588', '银川': '140', '吴忠': '395', '固原': '396', '石嘴山': '472', '中卫': '480', '西宁': '139', '海西': '608', '海东': '652', '玉树': '659', '海南': '676', '海北': '682', '黄南': '685', '果洛': '688', '拉萨': '466', '日喀则': '516', '那曲': '655', '林芝': '656', '山南': '677', '昌都': '678', '阿里': '691'}

一个简单的抓取百度热度数据并可视化的demo相关推荐

python类百度百科_Python抓取百度百科数据
抓取策略确定目标:确定抓取哪个网站的哪些页面的哪部分数据.本实例抓取百度百科python词条页面以及python相关词条页面的标题和简介. 分析目标:分析要抓取的url的格式,限定抓取范围.分析要抓 ...
一个简单的抓取中国城市空气质量的python包chinaAQI
中国地级市的空气质量查询包几日之前,帮助别人写了个程序来抓取国家环保部网站上全国各个地级市的空气质量. 当时觉得写完就得了,代码就一直放着没动,现在整理文件夹,又翻了出来,觉得当时写的结构不好,重新 ...
python抓取百度地图数据_Python 百度地图爬虫 - 搜索数据采集
class Hot_City_Coordinates(): """获取热门城市""" def __init__(self): self.he ...
php 获得ip地址区域及运营商抓取百度的数据
<?php$ip=$_SERVER["REMOTE_ADDR"];echo $ip;$url='https://sp0.baidu.com/8aQDcjqpAAV3otqbp ...
使用java的html解析器jsoup和jQuery实现一个自动重复抓取任意网站页面指定元素的web应用...
在线演示本地下载如果你曾经开发过内容聚合类网站的话,使用程序动态整合来自不同页面或者网站内容的功能肯定对于你来说非常熟悉.通常使用java的话,我们都会使用到一些HTML的解析,例如,httpp ...
python爬取百度搜索_Python-Scrapy抓取百度数据并分析
抓取智联招聘和百度搜索的数据并进行分析,使用visual studio编写代码mongodb和SQLServer存储数据.使用scrapy框架结合 selenium爬取百度搜索数据,并进行简要的数据的 ...
在“https://money.cnn.com/data/markets/nasdaq/”抓取纳斯达克成分股数据并将数据表存到一个Excel表格中。
在"https://money.cnn.com/data/markets/nasdaq/"抓取纳斯达克成分股数据并将数据表存到一个Excel表格中. import requests ...
python爬取百度贴吧中的所有邮箱_使用 Python 编写多线程爬虫抓取百度贴吧邮箱与手机号...
原标题:使用 Python 编写多线程爬虫抓取百度贴吧邮箱与手机号不知道大家过年都是怎么过的,反正栏主是在家睡了一天,醒来的时候登QQ发现有人找我要一份贴吧爬虫的源代码,想起之前练手的时候写过一个抓 ...
python语言翻译-教你用Python抓取百度翻译
最近一直在一个平台学习Python,所以分享下课程里面抓取百度翻译的操作.原理其实也很简单,就是将浏览器请求的操作我们用python进行模拟,从而获取到返回的数据,我们将返回的数据进行提取,从而得到我 ...
教你用Python抓取百度翻译
最近一直在一个平台学习Python,所以分享下课程里面抓取百度翻译的操作.原理其实也很简单,就是将浏览器请求的操作我们用python进行模拟,从而获取到返回的数据,我们将返回的数据进行提取,从而得到我 ...

一个简单的抓取百度热度数据并可视化的demo

我的B站账号~

可视化工具

比如抓取2011-2020 100多位日本女星的百度热度数据

female_japanese_hot_rank.py

config.py

一个简单的抓取百度热度数据并可视化的demo相关推荐

最新文章

热门文章