python爬取知乎live_Python爬虫 - 简单抓取百度指数

前言有点忙，没空写东西，这是之前写的，加了些配图而已

这次要爬的网站是百度指数

正文

一、分析

打开网站(百度指数)，呈现出来是这样的

如果搜索的话就需要登陆了，如果没有什么特别频繁的请求的话，直接登陆复制Cookie就完事了

这里以酷安为例搜索

这一栏是选择时间范围的，拖拽它能将范围选择更广

我将其拖拽至2011，调试窗口可以看到请求，是个GET请求，参数有四个，除了 area 其他的都很好理解

切换到 Preview 预览窗口，通过分析，个人认为比较可疑的几个Key有这些：uniqid、all、pc、wise、data

其中data可以看到应该是加密了的，all是表示全部数据，pc是指pc端，wise是移动端，这些可以在js文件里找到；首先先搞清楚这个像加密了的data是怎么解密的；我们现在知道这个数据是json格式，那么它处理肯定要从中取出这些data，所以，重新刷新一下网页，目的是为了让所有js都能加载出来，然后利用搜索功能从中找。搜索过程就不上图了，我是搜索 decrypt找到的；首先，我用decrypt找到了一个js文件，其中有一个名为decrypt的方法

这个js文件中有很多decrypt的搜索结果，在不知道多少行处找到了一个名为 fetchThrendIndexLive 的方法，这个方法名用我工地英语翻译为获取趋势指数

这里调用了名为decrypt的方法，是不是上面那个我不知道

这次我不打算用charles的替换js文件功能了，直接用浏览器的调试功能+console就行了

右键js的请求，Open in Sources panel

直接在这里下断点，然后刷新页面

在这停顿后可以看到两个参数的内容

想要知道这两个参数是什么很简单，回到Network看请求里的json；其中e参数是data，t参数不太清楚是什么。for循环里第一步是先将t字符串按单个字符分割，返回的列表保存在n变量里；

然后将e也按单字符分割，保存到i变量里

a是一个字典，r是一个列表

从右边的 Scope 中可以看到

以t的字符长度遍历，a中key为t遍历的字符，a中value为：从t中按索引取的值，其中索引为：t的字符长度除2后加上当前遍历的索引（a[n[o] = n[n.length/2 + o])

这里始终没有用到i，也就是我们能获取到的data，这个i在第二个循环中才被用到；

第二个循环是遍历e，结果保存在r列表里，这里的遍历很容易就看得懂。。我就不分析了，自己都头晕，直接用python抄一遍就行了；

最后是将r列表里的内容合并为一个字符串然后返回；

二、整理思路

解密

方法对应python代码为：

def decrypt(t,e):

n = list(t)

i = list(e)

a = {}

result = []

ln = int(len(n)/2)

start = n[ln:]

end = n[:ln]

for j,k in zip(start, end):

a.update({k: j})

for j in e:

result.append(a.get(j))

return ''.join(result)

完全照搬。。可能有写地方可以简化，但我懒得去处理了，最后返回的是这个玩意儿

python运行结果

到这可能都觉得已经解决了，可你不知道t这个参数是什么，怎么来的，这里我就不带各位分析了，你么可以自己尝试分析分析，我直接说结果，之前我就指出了几个可疑的东西，其中uniqid在获取t参数需要用到，这个t其实是叫ptbk，获取这个ptbk的url：http://index.baidu.com/Interface/ptbk?uniqid= 有一个参数uniqid，GET请求，返回json内容

获取uniqid和data的url：http://index.baidu.com/api/SearchApi/thumbnail?area=0&word= （如果要指定日期只需要在word后面追加&startDate=、&endDate=就行）

所以可以明确一下思路:1、通过url获取uniqid和data

2、通过uniqid获取ptbk

3、通过ptbk和data解密

解密后的东西就是我们要的数据

三、代码部分

完整代码：

import requests

import sys

import time

word_url = 'http://index.baidu.com/api/SearchApi/thumbnail?area=0&word={}'

COOKIES = ''

def decrypt(t,e):

n = list(t)

i = list(e)

a = {}

result = []

ln = int(len(n)/2)

start = n[ln:]

end = n[:ln]

for j,k in zip(start, end):

a.update({k: j})

for j in e:

result.append(a.get(j))

return ''.join(result)

def get_index_home(keyword):

headers = {

'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.90 Safari/537.36',

'Cookie': COOKIES

}

resp = requests.get(word_url.format(keyword), headers=headers)

j = resp.json()

uniqid = j.get('data').get('uniqid')

return get_ptbk(uniqid)

def get_ptbk(uniqid):

url = 'http://index.baidu.com/Interface/ptbk?uniqid={}'

ptbk_headers = {

'Accept': 'application/json, text/plain, */*',

'Accept-Encoding': 'gzip, deflate',

'Accept-Language': 'zh-CN,zh;q=0.9',

'Cache-Control': 'no-cache',

'Cookie': COOKIES,

'DNT': '1',

'Host': '百度指数',

'Pragma': 'no-cache',

'Proxy-Connection': 'keep-alive',

'Referer': '百度指数',

'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.90 Safari/537.36',

'X-Requested-With': 'XMLHttpRequest',

}

resp = requests.get(url.format(uniqid), headers=ptbk_headers)

if resp.status_code != 200:

print('获取uniqid失败')

sys.exit(1)

return resp.json().get('data')

def get_index_data(keyword, start='2011-01-03', end='2019-08-05'):

url = f'http://index.baidu.com/api/SearchApi/index?word={keyword}&area=0&startDate={start}&endDate={end}'

headers = {

'Accept': 'application/json, text/plain, */*',

'Accept-Encoding': 'gzip, deflate',

'Accept-Language': 'zh-CN,zh;q=0.9',

'Cache-Control': 'no-cache',

'Cookie': COOKIES,

'DNT': '1',

'Host': '百度指数',

'Pragma': 'no-cache',

'Proxy-Connection': 'keep-alive',

'Referer': '百度指数',

'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.90 Safari/537.36',

'X-Requested-With': 'XMLHttpRequest',

}

resp = requests.get(url, headers=headers)

if resp.status_code != 200:

print('获取指数失败')

sys.exit(1)

data = resp.json().get('data').get('userIndexes')[0]

uniqid = data.get('uniqid')

ptbk = get_index_home(uniqid)

while ptbk is None or ptbk == '':

ptbk = get_index_home(uniqid)

all_data = data.get('all').get('data')

result = decrypt(ptbk, all_data)

result = result.split(',')

print(result)

if __name__ == '__main__':

get_index_data('酷安')

输出:

END

转载请注明出处

python爬取知乎live_Python爬虫 - 简单抓取百度指数相关推荐

python爬虫怎么爬同一个网站的多页数据-如何用Python爬数据？（一）网页抓取
如何用Python爬数据?(一)网页抓取你期待已久的Python网络数据爬虫教程来了.本文为你演示如何从网页里找到感兴趣的链接和说明文字,抓取并存储到Excel. 需求我在公众号后台,经常可以收到 ...
python爬网站数据实例-如何用Python爬数据？（一）网页抓取
如何用Python爬数据?(一)网页抓取你期待已久的Python网络数据爬虫教程来了.本文为你演示如何从网页里找到感兴趣的链接和说明文字,抓取并存储到Excel. 需求我在公众号后台,经常可以收到 ...
vs用Python爬数据？（一）网页抓取
你期待已久的Python网络数据爬虫教程来了.本文为你演示如何从网页里找到感兴趣的链接和说明文字,抓取并存储到Excel. (由于微信公众号外部链接的限制,文中的部分链接可能无法正确打开.如有需要,请 ...
python爬虫爬取网页图片_Python爬虫实现抓取网页图片
在逛贴吧的时候看见贴吧里面漂亮的图片,或有漂亮妹纸的图片,是不是想保存下来? 但是有的网页的图片比较多,一个个保存下来比较麻烦. 最近在学Python,所以用Python来抓取网页内容还是比较方便的: ...
Python学习笔记(11) 如何用爬虫完整抓取搜狐新闻文章？
一.操作步骤今天教大家抓取搜狐的新闻文章,重点讲解怎么抓取到完整的正文内容,怎么批量抓取到更多新闻,方法是通用的,大家可以应用到其他新闻网站的抓取,总体操作步骤如下: 二.案例+操作步骤采集规则: ...
python爬取文本中的成语_python正则表达式抓取成语网站
#anthor jiqunpeng #time 20121124 import urllib import re def getHtml(url): #从URL中读取html内容 page = url ...
python爬取知乎live_python爬虫——xml数据爬取
回想去年写毕业论文时候需要数据,虽然数据量不大,但是手工录入,也是颇费眼神.现在自学了Python,就拿曾经的需求当做案例吧! 爬取目标:最近20年每个月的仔猪价格,生猪价格和猪肉价格爬取软件:py ...
python爬取知乎live_Python爬虫从入门到放弃（十九）之 Scrapy爬取所有知乎用户信息(下)...
classZhihuSpider(scrapy.Spider): name= "zhihu"allowed_domains= ["www.zhihu.com"] ...
【Java爬虫】我的第一个爬虫 -- 简单抓取网页源代码
代码直接运行即可 package cn.hanquan.file;import java.io.IOException; import java.io.InputStream; import jav ...

python爬取知乎live_Python爬虫 - 简单抓取百度指数

python爬取知乎live_Python爬虫 - 简单抓取百度指数相关推荐

最新文章

热门文章