如何用Python下载百度指数的数据

大家好我是小小明，今天给大家演示如何使用python直接采集百度指数的数据。

百度指数(Baidu Index) 是以百度海量网民行为数据为基础的数据分析平台，它能够能够告诉用户：某个关键词在百度的搜索规模有多大，一段时间内的涨跌态势以及相关的新闻舆论变化，关注这些词的网民是什么样的，分布在哪里，同时还搜了哪些相关的词。

百分十先生分享过如何使用uiautomation采集百度指数：百度指数如何批量获取？

不过个人感觉这方法好像有点杀鸡用牛刀，对于网页使用selenium完全足以，当然对于专门针对selenium进行反爬检测的网页就需要特殊修改。

本文不演示如何使用UI自动化工具采集百度指数，为了采集更简单将直接读取并解析接口。

关于uiautomation，PC端的UI自动化可以查看教程：Windows桌面程序自动化控制之uiautomation模块全面讲解

打开百度指数发现查看指数必须要先登录，比如我们对比一个python和Java最近一周的指数：

当鼠标移动到每天的坐标上时会显示当天的数据，例如：

如果我们采用UI自动化的方式，至少得模拟移动到每天的坐标。

打开开发者工具，重新查询发现获取数据的接口：

实际的指数数据就存储在这个data字段中，但是以某种加密方式加密了。

然后注意第二个接口的某个参数与当前接口返回的数据某个值一致。

此时我全局搜索decrypt，找到了加密函数：

此时打上断点重新搜索，可以看到传入该函数的t参数与ptbk接口返回的值一致：

说明我们只需要将这段js翻译为python来解密加密数据即可。

下面我们总结一下指数数据获取的思路：

通过index接口获取uniqid和加密后的指数数据userIndexes
通过ptbk接口传入uniqid获取密钥key
通过解密函数根据密钥key解密userIndexes

下面我们分别用代码来实现，首先获取指数数据：

import requests
import jsonheaders = {"Connection": "keep-alive","Accept": "application/json, text/plain, */*","User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36","Sec-Fetch-Site": "same-origin","Sec-Fetch-Mode": "cors","Sec-Fetch-Dest": "empty","Referer": "https://index.baidu.com/v2/main/index.html","Accept-Language": "zh-CN,zh;q=0.9",'Cookie': cookie,
}words = '[[{"name":"python","wordType":1}],[{"name":"java","wordType":1}]]'
start = '2021-11-15'
end = '2021-11-21'
url = f'http://index.baidu.com/api/SearchApi/index?area=0&word={words}&area=0&startDate={start}&endDate={end}'
res = requests.get(url, headers=headers)
data = res.json()['data']
data

cookie需要在登录后复制粘贴获取，就是请求中的这段字符串（直接复制粘贴即可）：

结果：

{'userIndexes': [{'word': [{'name': 'python', 'wordType': 1}],'all': {'startDate': '2021-11-15','endDate': '2021-11-21','data': 'WQ3Q-nWQ.yGnWQ.y3nW3yQsnWW.Q-nysXV3ny.-VG'},'pc': {'startDate': '2021-11-15','endDate': '2021-11-21','data': 'y3yVXny3yWyny3GWWny3QyVnyQG33nXGsQn-..G'},'wise': {'startDate': '2021-11-15','endDate': '2021-11-21','data': 'XWVXnXQ-XnX3XWnX-WynX3X3n--XynsQyG'},'type': 'day'},{'word': [{'name': 'java', 'wordType': 1}],'all': {'startDate': '2021-11-15','endDate': '2021-11-21','data': '-XW.n-ssXnXG3GnXG..nXyyGnVQyWn.QQQ'},'pc': {'startDate': '2021-11-15','endDate': '2021-11-21','data': '.VVVn.3Xsn.XX3n.-VWn.sW3nQG-snWVWQ'},'wise': {'startDate': '2021-11-15','endDate': '2021-11-21','data': 'QW.XnQW-WnQG3VnQyXQnQQ-VnQWW.nWsyG'},'type': 'day'}],'generalRatio': [{'word': [{'name': 'python', 'wordType': 1}],'all': {'avg': 21565, 'yoy': -24, 'qoq': 7},'pc': {'avg': 12470, 'yoy': -32, 'qoq': 3},'wise': {'avg': 9095, 'yoy': -10, 'qoq': 12}},{'word': [{'name': 'java', 'wordType': 1}],'all': {'avg': 8079, 'yoy': -23, 'qoq': 11},'pc': {'avg': 4921, 'yoy': -33, 'qoq': 6},'wise': {'avg': 3157, 'yoy': '-', 'qoq': 18}}],'uniqid': '5f0a123915325e28d9f055409955c9ad'}

这些数据中，wise表示移动端，all表示pc端+移动端。userIndexes是指数详情数据，generalRatio是概览数据。

下面我们只关心各个关键字的整体表现。

下面我们获取uniqid并获取ptbk：

uniqid = data['uniqid']
res = requests.get(f'http://index.baidu.com/Interface/ptbk?uniqid={uniqid}', headers=headers)
ptbk = res.json()['data']
ptbk

'LV.7yF-s30WXGQn.65+1-874%2903,'

下面我将下面这段Js代码翻译为python：

decrypt: function(t, e) {if (t) {for (var n = t.split(""), i = e.split(""), a = {}, r = [], o = 0; o < n.length / 2; o++)a[n[o]] = n[n.length / 2 + o];for (var s = 0; s < e.length; s++)r.push(a[i[s]]);return r.join("")}
}

python代码：

def decrypt(ptbk, index_data):n = len(ptbk)//2a = dict(zip(ptbk[:n], ptbk[n:]))return "".join([a[s] for s in index_data])

然后我们遍历每个关键字解密出对应的指数数据：

for userIndexe in data['userIndexes']:name = userIndexe['word'][0]['name']index_data = userIndexe['all']['data']r = decrypt(ptbk, index_data)print(name, r)

python 23438,23510,23514,24137,22538,17964,15860
java 8925,8779,9040,9055,9110,6312,5333

检查实际网页中的数据发现确实一致：

那么我们就可以轻松获取任意指定关键字的指数数据。下面我将其整体封装一下，完整代码为：

基础版本代码

import requests
import json
from datetime import date, timedeltaheaders = {"Connection": "keep-alive","Accept": "application/json, text/plain, */*","User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36","Sec-Fetch-Site": "same-origin","Sec-Fetch-Mode": "cors","Sec-Fetch-Dest": "empty","Referer": "https://index.baidu.com/v2/main/index.html","Accept-Language": "zh-CN,zh;q=0.9",'Cookie': cookie,
}def decrypt(ptbk, index_data):n = len(ptbk)//2a = dict(zip(ptbk[:n], ptbk[n:]))return "".join([a[s] for s in index_data])def get_index_data(keys, start=None, end=None):words = [[{"name": key, "wordType": 1}] for key in keys]words = str(words).replace(" ", "").replace("'", "\"")today = date.today()if start is None:start = str(today-timedelta(days=8))if end is None:end = str(today-timedelta(days=2))url = f'http://index.baidu.com/api/SearchApi/index?area=0&word={words}&startDate={start}&endDate={end}'print(words, start, end)res = requests.get(url, headers=headers)data = res.json()['data']uniqid = data['uniqid']url = f'http://index.baidu.com/Interface/ptbk?uniqid={uniqid}'res = requests.get(url, headers=headers)ptbk = res.json()['data']result = {}result["startDate"] = startresult["endDate"] = endfor userIndexe in data['userIndexes']:name = userIndexe['word'][0]['name']tmp = {}index_all = userIndexe['all']['data']index_all_data = [int(e) for e in decrypt(ptbk, index_all).split(",")]tmp["all"] = index_all_dataindex_pc = userIndexe['pc']['data']index_pc_data = [int(e) for e in decrypt(ptbk, index_pc).split(",")]tmp["pc"] = index_pc_dataindex_wise = userIndexe['wise']['data']index_wise_data = [int(e)for e in decrypt(ptbk, index_wise).split(",")]tmp["wise"] = index_wise_dataresult[name] = tmpreturn result

测试一下：

get_index_data(["python", "java"])

{'startDate': '2021-11-15','endDate': '2021-11-21','python': {'all': [23438, 23510, 23514, 24137, 22538, 17964, 15860],'pc': [14169, 14121, 14022, 14316, 13044, 9073, 8550],'wise': [9269, 9389, 9492, 9821, 9494, 8891, 7310]},'java': {'all': [8925, 8779, 9040, 9055, 9110, 6312, 5333],'pc': [5666, 5497, 5994, 5862, 5724, 3087, 2623],'wise': [3259, 3282, 3046, 3193, 3386, 3225, 2710]}}

结果非常不错。

查看指定区域的百度指数

如果我们希望查看指定地区的指数就需要关心area参数，经过一番查找找到了各支持地址的地址码为：

location_code = {'济南': 1, '贵阳': 2, '黔南': 3, '六盘水': 4, '南昌': 5, '九江': 6, '鹰潭': 7,'抚州': 8, '上饶': 9, '赣州': 10, '重庆': 11, '包头': 13, '鄂尔多斯': 14, '巴彦淖尔': 15,'乌海': 16, '阿拉善盟': 17, '锡林郭勒盟': 19, '呼和浩特': 20, '赤峰': 21, '通辽': 22, '呼伦贝尔': 25,'武汉': 28, '大连': 29, '黄石': 30, '荆州': 31, '襄阳': 32, '黄冈': 33, '荆门': 34, '宜昌': 35, '十堰': 36,'随州': 37, '恩施': 38, '鄂州': 39, '咸宁': 40, '孝感': 41, '仙桃': 42, '长沙': 43, '岳阳': 44, '衡阳': 45,'株洲': 46, '湘潭': 47, '益阳': 48, '郴州': 49, '福州': 50, '莆田': 51, '三明': 52, '龙岩': 53, '厦门': 54,'泉州': 55, '漳州': 56, '上海': 57, '遵义': 59, '黔东南': 61, '湘西': 65, '娄底': 66, '怀化': 67, '常德': 68,'天门': 73, '潜江': 74, '滨州': 76, '青岛': 77, '烟台': 78, '临沂': 79, '潍坊': 80, '淄博': 81, '东营': 82,'聊城': 83, '菏泽': 84, '枣庄': 85, '德州': 86, '宁德': 87, '威海': 88, '柳州': 89, '南宁': 90, '桂林': 91,'贺州': 92, '贵港': 93, '深圳': 94, '广州': 95, '宜宾': 96, '成都': 97, '绵阳': 98, '广元': 99, '遂宁': 100,'巴中': 101, '内江': 102, '泸州': 103, '南充': 104, '德阳': 106, '乐山': 107, '广安': 108, '资阳': 109,'自贡': 111, '攀枝花': 112, '达州': 113, '雅安': 114, '吉安': 115, '昆明': 117, '玉林': 118, '河池': 119,'玉溪': 123, '楚雄': 124, '南京': 125, '苏州': 126, '无锡': 127, '北海': 128, '钦州': 129, '防城港': 130,'百色': 131, '梧州': 132, '东莞': 133, '丽水': 134, '金华': 135, '萍乡': 136, '景德镇': 137, '杭州': 138,'西宁': 139, '银川': 140, '石家庄': 141, '衡水': 143, '张家口': 144, '承德': 145, '秦皇岛': 146, '廊坊': 147,'沧州': 148, '温州': 149, '沈阳': 150, '盘锦': 151, '哈尔滨': 152, '大庆': 153, '长春': 154, '四平': 155,'连云港': 156, '淮安': 157, '扬州': 158, '泰州': 159, '盐城': 160, '徐州': 161, '常州': 162, '南通': 163,'天津': 164, '西安': 165, '兰州': 166, '郑州': 168, '镇江': 169, '宿迁': 172, '铜陵': 173, '黄山': 174,'池州': 175, '宣城': 176, '巢湖': 177, '淮南': 178, '宿州': 179, '六安': 181, '滁州': 182, '淮北': 183,'阜阳': 184, '马鞍山': 185, '安庆': 186, '蚌埠': 187, '芜湖': 188, '合肥': 189, '辽源': 191, '松原': 194,'云浮': 195, '佛山': 196, '湛江': 197, '江门': 198, '惠州': 199, '珠海': 200, '韶关': 201, '阳江': 202,'茂名': 203, '潮州': 204, '揭阳': 205, '中山': 207, '清远': 208, '肇庆': 209, '河源': 210, '梅州': 211,'汕头': 212, '汕尾': 213, '鞍山': 215, '朝阳': 216, '锦州': 217, '铁岭': 218, '丹东': 219, '本溪': 220,'营口': 221, '抚顺': 222, '阜新': 223, '辽阳': 224,    '葫芦岛': 225, '张家界': 226, '大同': 227, '长治': 228,'忻州': 229, '晋中': 230, '太原': 231, '临汾': 232, '运城': 233, '晋城': 234, '朔州': 235, '阳泉': 236,'吕梁': 237, '海口': 239, '万宁': 241, '琼海': 242, '三亚': 243, '儋州': 244, '新余': 246, '南平': 253,'宜春': 256, '保定': 259, '唐山': 261, '南阳': 262, '新乡': 263, '开封': 264, '焦作': 265, '平顶山': 266,'许昌': 268, '永州': 269, '吉林': 270, '铜川': 271, '安康': 272, '宝鸡': 273, '商洛': 274, '渭南': 275,'汉中': 276, '咸阳': 277, '榆林': 278, '石河子': 280, '庆阳': 281, '定西': 282, '武威': 283, '酒泉': 284,'张掖': 285, '嘉峪关': 286, '台州': 287, '衢州': 288, '宁波': 289, '眉山': 291, '邯郸': 292, '邢台': 293,'伊春': 295, '大兴安岭': 297, '黑河': 300, '鹤岗': 301, '七台河': 302, '绍兴': 303, '嘉兴': 304, '湖州': 305,'舟山': 306, '平凉': 307, '天水': 308, '白银': 309, '吐鲁番': 310, '昌吉': 311, '哈密': 312, '阿克苏': 315,'克拉玛依': 317, '博尔塔拉': 318, '齐齐哈尔': 319, '佳木斯': 320, '牡丹江': 322, '鸡西': 323, '绥化': 324,'乌兰察布': 331, '兴安盟': 333, '大理': 334, '昭通': 335, '红河': 337, '曲靖': 339, '丽江': 342, '金昌': 343,'陇南': 344, '临夏': 346, '临沧': 350, '济宁': 352, '泰安': 353, '莱芜': 356, '双鸭山': 359, '日照': 366, '安阳': 370,'驻马店': 371, '信阳': 373, '鹤壁': 374, '周口': 375, '商丘': 376, '洛阳': 378, '漯河': 379, '濮阳': 380, '三门峡': 381,'阿勒泰': 383, '喀什': 384, '和田': 386, '亳州': 391, '吴忠': 395, '固原': 396, '延安': 401, '邵阳': 405, '通化': 407,'白山': 408, '白城': 410, '甘孜': 417, '铜仁': 422, '安顺': 424, '毕节': 426, '文山': 437, '保山': 438, '东方': 456,'阿坝': 457, '拉萨': 466, '乌鲁木齐': 467, '石嘴山': 472, '凉山': 479, '中卫': 480, '巴音郭楞': 499, '来宾': 506,'北京': 514, '日喀则': 516, '伊犁': 520, '延边': 525, '塔城': 563, '五指山': 582, '黔西南': 588, '海西': 608,'海东': 652, '克孜勒苏柯尔克孜': 653, '天门仙桃': 654, '那曲': 655, '林芝': 656, 'None': 657, '防城': 658,'玉树': 659, '伊犁哈萨克': 660, '五家渠': 661, '思茅': 662, '香港': 663, '澳门': 664, '崇左': 665, '普洱': 666,'济源': 667, '西双版纳': 668, '德宏': 669, '文昌': 670, '怒江': 671, '迪庆': 672, '甘南': 673, '陵水黎族自治县': 674,'澄迈县': 675, '海南': 676, '山南': 677, '昌都': 678, '乐东黎族自治县': 679, '临高县': 680, '定安县': 681, '海北': 682,'昌江黎族自治县': 683, '屯昌县': 684, '黄南': 685, '保亭黎族苗族自治县': 686, '神农架': 687, '果洛': 688, '白沙黎族自治县': 689,'琼中黎族苗族自治县': 690, '阿里': 691, '阿拉尔': 692, '图木舒克': 693
}

那么前面的方法可以修改为：

import requests
import json
from datetime import date, timedeltaheaders = {"Connection": "keep-alive","Accept": "application/json, text/plain, */*","User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36","Sec-Fetch-Site": "same-origin","Sec-Fetch-Mode": "cors","Sec-Fetch-Dest": "empty","Referer": "https://index.baidu.com/v2/main/index.html","Accept-Language": "zh-CN,zh;q=0.9",'Cookie': cookie,
}def decrypt(ptbk, index_data):n = len(ptbk)//2a = dict(zip(ptbk[:n], ptbk[n:]))return "".join([a[s] for s in index_data])def get_index_data(keys, start=None, end=None, location=None):words = [[{"name": key, "wordType": 1}] for key in keys]words = str(words).replace(" ", "").replace("'", "\"")today = date.today()if start is None:start = str(today-timedelta(days=7))if end is None:end = str(today-timedelta(days=1))if location is None:area = 0else:area = location_code.get(location)url = f'http://index.baidu.com/api/SearchApi/index?area={area}&word={words}&startDate={start}&endDate={end}'res = requests.get(url, headers=headers)data = res.json()['data']uniqid = data['uniqid']url = f'http://index.baidu.com/Interface/ptbk?uniqid={uniqid}'res = requests.get(url, headers=headers)ptbk = res.json()['data']result = {}result["startDate"] = startresult["endDate"] = endfor userIndexe in data['userIndexes']:name = userIndexe['word'][0]['name']tmp = {}index_all = userIndexe['all']['data']index_all_data = [int(e) for e in decrypt(ptbk, index_all).split(",")]tmp["all"] = index_all_dataindex_pc = userIndexe['pc']['data']index_pc_data = [int(e) for e in decrypt(ptbk, index_pc).split(",")]tmp["pc"] = index_pc_dataindex_wise = userIndexe['wise']['data']index_wise_data = [int(e)for e in decrypt(ptbk, index_wise).split(",")]tmp["wise"] = index_wise_dataresult[name] = tmpreturn result

测试获取成都最近一周的数据：

get_index_data(["python", "java"], location="成都")

结果：

{'startDate': '2021-11-23','endDate': '2021-11-29','python': {'all': [1535, 1572, 1467, 1599, 1248, 1050, 1584],'pc': [878, 867, 865, 820, 585, 519, 865],'wise': [657, 705, 602, 779, 663, 531, 719]},'java': {'all': [695, 694, 694, 738, 527, 476, 808],'pc': [436, 447, 425, 383, 250, 213, 457],'wise': [259, 247, 269, 355, 277, 263, 351]}}

获取深圳10月份的指数数据：

get_index_data(["python", "java"], '2021-10-01', '2021-10-31', "深圳")

结果：

{'startDate': '2021-10-01', 'endDate': '2021-10-31', 'python': {'all': [863, 807, 697, 687, 768, 953, 1110, 1399, 1415, 1278, 1620, 1529, 1524, 1571, 1520, 1270, 1134, 1496, 1731, 1692, 1439, 1524, 1308, 1212, 1666, 1595, 1702, 1578, 1552, 1266, 1170], 'pc': [546, 512, 437, 430, 476, 620, 741, 981, 951, 831, 1049, 976, 979, 957, 967, 852, 740, 997, 976, 956, 932, 945, 849, 751, 1022, 995, 993, 975, 939, 848, 754], 'wise': [317, 295, 260, 257, 292, 333, 369, 418, 464, 447, 571, 553, 545, 614, 553, 418, 394, 499, 755, 736, 507, 579, 459, 461, 644, 600, 709, 603, 613, 418, 416]}, 'java': {'all': [374, 366, 326, 337, 347, 416, 518, 806, 694, 502, 747, 719, 786, 709, 725, 531, 446, 938, 1125, 1019, 910, 850, 501, 588, 939, 855, 839, 798, 712, 564, 437], 'pc': [193, 170, 161, 175, 173, 223, 309, 582, 495, 313, 523, 485, 555, 498, 504, 309, 257, 644, 656, 600, 591, 549, 316, 341, 665, 575, 571, 574, 498, 375, 251], 'wise': [181, 196, 165, 162, 174, 193, 209, 224, 199, 189, 224, 234, 231, 211, 221, 222, 189, 294, 469, 419, 319, 301, 185, 247, 274, 280, 268, 224, 214, 189, 186]}}