简介

硕士研究生毕业， 工作2年，目前于央企工作，职务为数据采集，系统开发工作。
可提供：Python数据采集，爬虫，scrapy，系统开发flask，vue，Django，spring等服务,。
联系方式：1030617785@qq.com

概述

今日头条网站时效性较高，一段时间前（约2020-04）使用无头浏览器策略获取数据时，会出现当设置headerless模式时，无法正常获取数据（帖子说需要将无头浏览器进行伪装，写js脚本，或者使用pyppeteer代替selenium，本人尝试使用pyppeteer进行渲染，但是未成功），而设置为有头常规模式时则页面正常渲染。使用requests或者scrapy更是无法获取数据。在忙完一个项目后，今天（2020-06-01）再次挑战今日头条的，直接请求链接：
https://www.toutiao.com/api/pc/feed/?max_behot_time=1590898007&category=all&utm_source=toutiao&widen=1&tadrequire=true&as=A1450E7D7393D2D&cp=5ED3133D123D7E1&_signature=L2VowAAgEBC.muprqUsZ3C9kKdAAHG9KSNFNLqHquPY3.RQokUOoHyIF7rzKPuwuRXqwZWDAs0JSYnXxwRIwR7uA3CR5OmZRX7f7Que3MHOY7JvESpIxUHBuzQWR2uUtsSC，可以获取到json数据。验证了该链接的时效性，一天后任然有效。
防止该网站的再次变动，请求中的各个参数max_behot_time，as，cp，_signiture，还需要剖析来龙去脉。

1 max_behot_time参数

max_behot_time参数很简单，每个当前请求中都烦返回下一个的请求的max_behot_time参数值。

as，cp参数

预知该参数的生成过程，首先找到起位置。

找到对于的js文件，如下图所示

选中文件，右键，然后在source in panel 中打开

然后格式化显示，点击｛｝图标

在该文件中检索as：字符串，

2）位置确定后，阅读源代码，仅有o.defaoult是未知的，其他参数都是由参数t得到。接下来就是查找o.defaoult的由来，需要用到且通用的手段就是断点调试；

在对于的位置上打上断点，如下图所示，然后F5刷新；然后F11 或者点击进入断点函数，（不熟练的读者请多练习几次断点调试）

点击上图按钮或者F11后，结果如下图所示

接下来，就比较简单了，把function C函数全部扣出来，以及函数体中的引用函数，最后将o.defoult 替换为function C 就大功告成了。
全部代码如下：

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><title>今日头条</title><script type="text/javascript">function s(t, e) {var i = (65535 & t) + (65535 & e), n = (t >> 16) + (e >> 16) + (i >> 16);return n << 16 | 65535 & i}function o(t, e) {return t << e | t >>> 32 - e}function r(t, e, i, n, a, r) {return s(o(s(s(e, t), s(n, r)), a), i)}function l(t, e, i, n, a, s, o) {return r(e & i | ~e & n, t, e, a, s, o)}function u(t, e, i, n, a, s, o) {return r(e & n | i & ~n, t, e, a, s, o)}function c(t, e, i, n, a, s, o) {return r(e ^ i ^ n, t, e, a, s, o)}function d(t, e, i, n, a, s, o) {return r(i ^ (e | ~n), t, e, a, s, o)}function h(t, e) {t[e >> 5] |= 128 << e % 32,t[(e + 64 >>> 9 << 4) + 14] = e;var i, n, a, o, r, h = 1732584193, m = -271733879, _ = -1732584194, p = 271733878;for (i = 0; i < t.length; i += 16)n = h,a = m,o = _,r = p,h = l(h, m, _, p, t[i], 7, -680876936),p = l(p, h, m, _, t[i + 1], 12, -389564586),_ = l(_, p, h, m, t[i + 2], 17, 606105819),m = l(m, _, p, h, t[i + 3], 22, -1044525330),h = l(h, m, _, p, t[i + 4], 7, -176418897),p = l(p, h, m, _, t[i + 5], 12, 1200080426),_ = l(_, p, h, m, t[i + 6], 17, -1473231341),m = l(m, _, p, h, t[i + 7], 22, -45705983),h = l(h, m, _, p, t[i + 8], 7, 1770035416),p = l(p, h, m, _, t[i + 9], 12, -1958414417),_ = l(_, p, h, m, t[i + 10], 17, -42063),m = l(m, _, p, h, t[i + 11], 22, -1990404162),h = l(h, m, _, p, t[i + 12], 7, 1804603682),p = l(p, h, m, _, t[i + 13], 12, -40341101),_ = l(_, p, h, m, t[i + 14], 17, -1502002290),m = l(m, _, p, h, t[i + 15], 22, 1236535329),h = u(h, m, _, p, t[i + 1], 5, -165796510),p = u(p, h, m, _, t[i + 6], 9, -1069501632),_ = u(_, p, h, m, t[i + 11], 14, 643717713),m = u(m, _, p, h, t[i], 20, -373897302),h = u(h, m, _, p, t[i + 5], 5, -701558691),p = u(p, h, m, _, t[i + 10], 9, 38016083),_ = u(_, p, h, m, t[i + 15], 14, -660478335),m = u(m, _, p, h, t[i + 4], 20, -405537848),h = u(h, m, _, p, t[i + 9], 5, 568446438),p = u(p, h, m, _, t[i + 14], 9, -1019803690),_ = u(_, p, h, m, t[i + 3], 14, -187363961),m = u(m, _, p, h, t[i + 8], 20, 1163531501),h = u(h, m, _, p, t[i + 13], 5, -1444681467),p = u(p, h, m, _, t[i + 2], 9, -51403784),_ = u(_, p, h, m, t[i + 7], 14, 1735328473),m = u(m, _, p, h, t[i + 12], 20, -1926607734),h = c(h, m, _, p, t[i + 5], 4, -378558),p = c(p, h, m, _, t[i + 8], 11, -2022574463),_ = c(_, p, h, m, t[i + 11], 16, 1839030562),m = c(m, _, p, h, t[i + 14], 23, -35309556),h = c(h, m, _, p, t[i + 1], 4, -1530992060),p = c(p, h, m, _, t[i + 4], 11, 1272893353),_ = c(_, p, h, m, t[i + 7], 16, -155497632),m = c(m, _, p, h, t[i + 10], 23, -1094730640),h = c(h, m, _, p, t[i + 13], 4, 681279174),p = c(p, h, m, _, t[i], 11, -358537222),_ = c(_, p, h, m, t[i + 3], 16, -722521979),m = c(m, _, p, h, t[i + 6], 23, 76029189),h = c(h, m, _, p, t[i + 9], 4, -640364487),p = c(p, h, m, _, t[i + 12], 11, -421815835),_ = c(_, p, h, m, t[i + 15], 16, 530742520),m = c(m, _, p, h, t[i + 2], 23, -995338651),h = d(h, m, _, p, t[i], 6, -198630844),p = d(p, h, m, _, t[i + 7], 10, 1126891415),_ = d(_, p, h, m, t[i + 14], 15, -1416354905),m = d(m, _, p, h, t[i + 5], 21, -57434055),h = d(h, m, _, p, t[i + 12], 6, 1700485571),p = d(p, h, m, _, t[i + 3], 10, -1894986606),_ = d(_, p, h, m, t[i + 10], 15, -1051523),m = d(m, _, p, h, t[i + 1], 21, -2054922799),h = d(h, m, _, p, t[i + 8], 6, 1873313359),p = d(p, h, m, _, t[i + 15], 10, -30611744),_ = d(_, p, h, m, t[i + 6], 15, -1560198380),m = d(m, _, p, h, t[i + 13], 21, 1309151649),h = d(h, m, _, p, t[i + 4], 6, -145523070),p = d(p, h, m, _, t[i + 11], 10, -1120210379),_ = d(_, p, h, m, t[i + 2], 15, 718787259),m = d(m, _, p, h, t[i + 9], 21, -343485551),h = s(h, n),m = s(m, a),_ = s(_, o),p = s(p, r);return [h, m, _, p]}function m(t) {var e, i = "";for (e = 0; e < 32 * t.length; e += 8)i += String.fromCharCode(t[e >> 5] >>> e % 32 & 255);return i}function _(t) {var e, i = [];for (i[(t.length >> 2) - 1] = void 0,e = 0; e < i.length; e += 1)i[e] = 0;for (e = 0; e < 8 * t.length; e += 8)i[e >> 5] |= (255 & t.charCodeAt(e / 8)) << e % 32;return i}function p(t) {return m(h(_(t), 8 * t.length))}function f(t, e) {var i, n, a = _(t), s = [], o = [];for (s[15] = o[15] = void 0,a.length > 16 && (a = h(a, 8 * t.length)),i = 0; i < 16; i += 1)s[i] = 909522486 ^ a[i],o[i] = 1549556828 ^ a[i];return n = h(s.concat(_(e)), 512 + 8 * e.length),m(h(o.concat(n), 640))}function g(t) {var e, i, n = "0123456789abcdef", a = "";for (i = 0; i < t.length; i += 1)e = t.charCodeAt(i),a += n.charAt(e >>> 4 & 15) + n.charAt(15 & e);return a}function v(t) {return unescape(encodeURIComponent(t))}function w(t) {return p(v(t))}function y(t) {return g(w(t))}function b(t, e) {return f(v(t), v(e))}function x(t, e) {return g(b(t, e))}function C(t, e, i) {return e ? i ? b(e, t) : x(e, t) : i ? w(t) : y(t)}function getAsCp() {var t = Math.floor((new Date).getTime() / 1e3), e = t.toString(16).toUpperCase(), i = (0, C)(t).toString().toUpperCase();if (8 != e.length) {return {as: "479BB4B7254C150",cp: "7E0AC8874BB0985"};}for (var n = i.slice(0, 5), a = i.slice(-5), s = "", r = 0; r < 5; r++)s += n[r] + e[r];for (var l = "", u = 0; u < 5; u++)l += e[u + 3] + a[u];return {as: "A1" + s + e.slice(-3),cp: e.slice(0, 3) + l + "E1"}}var ss = getAsCp();console.log('aaaaaaaaaaaaaaaaaaaaaaaaaaaa', ss)</script>
</head>
<body></body>
</html>

3）总结：对于部分资料指出o.defoult 就是DM5的加密算法，然后直接用Python 模块生成，但是对于普通人来说，这是达不到，不能一眼就看出Function C就是MD5加密算法。使用本文的方法，提供的是一种方法，不仅限于今日头条，或者今日头条换了加密算法，也能应对。
4）对于_signiture的破解，涉及到acrawler.js的加密，等项目交付后，找个时间再发布。

解析今日头条as，cp，_signiture参数---as，cp相关推荐

python3 爬取今日头条文章（巧妙避开as,cp,_signature）
使用环境: python3 scrapy win10 爬取思路 (一)关于as.cp的生成与_signature的想法对于今日头条的爬虫,网上搜索出来的文章大多是基于崔庆才(通过搜索爬取美女街拍的方 ...
爬虫实战【6】Ajax内容解析-今日头条图集
Ajax技术 AJAX = Asynchronous JavaScript and XML(异步的 JavaScript 和 XML). Ajax并不是新的编程语言,而是一种使用现有标准的新方法,当然 ...
linux的cp的参数,Linux cp命令参数简介
cp (复制档案或目录) [root@linux ~]# cp [-adfilprsu] 来源档(source) 目的檔(destination) [root@linux ~]# cp [option ...
【JavaScript 逆向】今日头条 jsvmp，_signature 参数分析
前言现在一些网站对 JavaScript 代码采取了一定的保护措施,比如变量名混淆.执行逻辑混淆.反调试.核心逻辑加密等,有的还对数据接口进行了加密,这次案例是通过补环境过 jsvmp. 声明本文 ...
最新今日头条详情页加密参数 __ac_nonce和__ac_signature 解决方案
声明:给你face不要,还要过来说我抄袭~~ 渣渣踩坑:就算参数得到正常访问但是量一大就会抛出broke包,导致整个ip段无法访问,解决方案当然是加代理ip,但并不要使用短效自动切的代理,比如几秒切 ...
抖音解析后保存不了,新浪看点秒拍凤凰号修改md5,批量下载去重消重伪原创火山上热门时间,今日头条修改m...
抖音解析完了怎么下载,新浪看点秒拍凤凰号修改md5,批量下载去重消重去logo 抖音去水印解析网站,新浪看点秒拍凤凰号修改md5,热门推荐 workflow快手规则链接,头条西瓜企鹅秒拍修改md5,批 ...
2019年末逆向复习系列之今日头条WEB端_signature、as、cp参数逆向分析
郑重声明:本项目的所有代码和相关文章, 仅用于经验技术交流分享,禁止将相关技术应用到不正当途径,因为滥用技术产生的风险与本人无关. 这篇文章是公众号<云爬虫技术研究笔记>的<2019 ...
今日头条ajax技术内as ,cp，_cp_signature参数分析、破解及python爬取频道数据
[腾讯云]11.11 云上盛惠,云产品限时抢购,1核2G云服务器首年88元相信很多人在爬今日头条的时候就遇到了一个难题,就是找到了消息头后,有3个加密的参数(as ,cp,_cp_signature ...
今日头条加密参数的识别
今日头条有三个加密参数先找一个作者的主页,列如:https://www.toutiao.com/c/user/108888017311/#mid=1619989289127939 然后进去抓包找文章 ...

解析今日头条as，cp，_signiture参数---as，cp

解析今日头条as，cp，_signiture参数---as，cp

简介

概述

1 max_behot_time参数

as，cp参数

解析今日头条as，cp，_signiture参数---as，cp相关推荐

最新文章

热门文章