抖音弹幕解析过程 PB数据转json 解决乱码 所有语言通用思路
2024-05-12 23:09:08
最终效果:
数据抓包这块我就不讲了，方法太多了，有人直接抓包，有人用填表模块，等等。
以下数据为演示数据，提供了两种情况，一种是原始的二进制 Bin解析。
和base64编码数据。这两种情况都是一样的数据，只是按你自己的获取方式不同而不同。我这里演示只分析还原数据的过程。
因为自己遇到了很多坑，供大家参考。
事实上思路是所有语言通用，这里提供易语言的方法。虽然只有简单的几步，但是相信大家刚玩的人还是遇到了很多问题。以至于我在群里求别人都懒得回我一句。
大概流程，
1.将二进制转十六进制，
2.将十六进制的原始PB数据特征码取到关键的弹幕十六进制数据。
3.将弹幕十六进制数据GZIP解压
4.将解压后的PB数据转json.并将数据转UTF8
至此，数据就已经是明文无乱码了。
pb转json 参考模块：https://bbs.125.la/forum.php?mod=viewthread&tid=14715970&highlight=protobuf%2Bjson
.版本 2
.支持库 spec
.支持库 e2ee.子程序 抖音_弹幕解析
.参数 BASE664, 文本型, 可空
.局部变量 json, 类_json
.局部变量 val, 文本型
.局部变量 n, 整数型
.局部变量 i, 整数型
.局部变量 txt, 文本型
.局部变量 特征码, 文本型
.局部变量 len, 整数型
.局部变量 arr, 文本型, , "0"
.局部变量 msg, 文本型' 第一种，直接的原始二进制数据
data ＝ 字节集_十六进制到字节集 (“1F8B08000000000000FFEC59796C14D719F7EC2CEBF504CA326D958D2B5596F30F6DB5F67B738FA5B6D9B5D7273EB0EB53AA4673EDE5BD3C33DEF53AA48A6812273887E3A6E4A4AAA1406294608E70386EA8509BA6F450D45622690B89902F50140A029AAA2554DEB5B1316B0AEE026DBAFBC7ACDEBCD9EFF7DBEFFBBDEFFD761F36740FF6A556559245DDA8554392AAD5AABA2E7A55FC330CFBA139FD9C6DFBE6233B4EFCFE91DDB2BD7FF3A797DE3FBD71B70C10D79F51ECCB417F4C15B4482424A86143D5042322EA067EDF83A0A45B57B5870A26B76C1F1F7DEC4158A21B9A3FEC7D28FF0B58DEFD12E749BE0A06D0C2CDA8F51E7C25967B3F57EA66CBCB0B06D06164238A5D3159F79F7DEF85CB173E36DB7EF7FED927ADF9F8F49B23D347FA260EEF9BE81B1A3FDC3F7D70770152BD01EBF51946542F292E8E4258A444BA13FE70D42F17C99150B11857436A3104A00702901A39C49868885AB111D11D72D821C60C07009016A00C559EE74916720CC18B2294545A253C2A4F90BCEC6199A24054F57EDBA34542DFA40004340901C9ED455658FB119B6B14C9398A6098B5D08299AD3978CE4653CE5E13464096A2589E22B9F3A675B54D547C5DC0E9723A9D4E36D116754B344344421DA565CE4A58DD13599FF0F22D4067228EA69048B36D756D65BD5C99D321181DCD557AA5AFD5286FAEA0BCD11AAFB37A044507CCC856739A8C1C3357A490EA211572782A8374850E5C9E46498C36B2B4A37E7D554F57D01D8D7BBDACD71FEDAC8D875B1A9C42CC55D508B504D7450778550AB4B07A0454220D48DBC0BBA6C71114CF16E32E17C37E766D0332886417DCE7B9C6579B2CF609B6448FFE35863DB2548F7E64F3F65353D7F5E8639990CCA3692473CE847D62B24E6DFFEBF8AE0B1F5A6CA3DB3FFAC3EAFC2F4E3DF7EAE4E307290828922049C8D12457EDC7BCCB524C28A28B7ED91154BDA29C104896270512428A2620C1B14BC8C36C256CABD3AA639592808188164AF87DB21258241077E43B31262AE8EB8906A13DDC5CEAECE896384F5DD4D1E90EC608AEB7BEAC957491525703535F5ADE2688B0CEDDEE6CD6AA5CF535754E20B9E60492EEFBCF2B245151D1E3F476B3A2637D3B8CADF3791A7B3BA3417FC24DB7398852A3235C130AD64B95ADCD81F68A8ADE9EAED276D51BA21312D3D8B4CE5D57E95ED892B3B9BFB3B99FEDC0D9E5F4392AE9D58E891D649668B8CF31D82FF1251AEED0E61393E3D735DCA7F00C28E4DD35D72B64FF1A6CCF1AEBA1BE91B1979E1C33DB7EF0D13B5B57E7E74DEC1B191F7D9664F802A4BA17EBF94FB666BF037090141842552819CAA24A33140B14919125191232A9320C21D3445AA90C23BD58F30CF80C36E388A7F2B588823FE42D9E9D299E4984E0D5444515826A4C0D0A315A806C5134ECFD9E110DC61C112950E40F895ED56E2B280088EB2BF63585F74E3FB56D7AF889A9D79F981ADD09D9A9D19D13FDFD53BB7E3C8C3C8F60E2ADA06B62B833E8D70DC123867539D82D09A21213C3B2AA0892A878558149C304E4BA009637F9E4D8C41B07261E7B19CFBDBF3CF9B25B0AED57EF4EED7D62FCD0968997B7A6A8CD1896D13C5BFB28F27304AC7909F9EE6DCDD25644C05AE7E2F337113F2903212A266641881E61C69AF1E9105616AC04C85164C032DF09F0EF5BAC08FED98A0559B159EC48E1C40AEC92C96AC6CF9930F956E8DC4459D2519B07C950ED6F0C42DE3E101CDC6A80460B66CEC9F916DE31FB8E9D34594DF807A63BB01EE6213254DB1B416428E969525E746B1FC7E7B50E8E3E777EC71492DC0F572A895E9E09B0743C0AC0A2EDB0CCE7969D205C2735D4D4C73525947075B6B4CACE6E47953B2C75B6306551BABC42698FF3B16819A5782A7B4315EB5AD57AA32DD0E5ECA82D6B1B41D133E85DECAF67D0FFDAFE9AA476277A0CE05C5F5D829C254565F14A3C83BE7687A891B79EB7C56493766BDE4C5C35590DB54D5C0D5B55DDE4F604484FA04AE989720DE5BE964E275F595BA6B4389D2DEE584DCC4984DACAA4684B794CE29DF1DAAEF69E7A6F358855D7C90B7FB364ED4BD6BE64ED4BD6BE64ED4BD6BE64ED4BD6BEFC0FD817FBFEAF35208348F64F9DAC2BCABAA2AC2BCABAA2AC2BCABAA2AC2BFA7F7745578FBEB03E04BB77F674AC3112093519A2A1CF1D9E4918B5E4A46D68F0ED378E5F7B7A5670ECC0A9B78E02DC4C1324CC4F5E0B6D33D789575E9D1A3D32BD73E3F8D8F36BCFAE05575EDBF3A2A572786D03621F1AFC592A0CF69B55D87D0BC09A75556B52BBE6B8FC6415C6DC60DEB66DD3D39B2616D119FC6992CE6514FF14B5BEB57F60DF898B7F34E7E78D1FDE327E78CBE917F655BF892E3067E4CD7B335FC4D02391F0EC50205596003CE1A1151E521E9EE7159993695564A0C878284F7A73B60099B9C3C8896519D24C40E3659908BD17C9597CA63D8222C3E69CAD0FD80886A0090E701C64090ED0BC1DC1FF89E27F43AD4F1F1BB9F0AB8B7F47F2574E1E1C9A7AA57F7AD39E89B187ABF7A0587C3912B8D69ECB8AC83240E4589E13295684128490A544A07284C4C81C95BE0EF1E5282013C099F845B22C64BC340391D3961F4D951F029E87344943400396E581DD845F42F173A8F5ED8F472E5CB93864CEB79C7E7978F247BB325578157A7812A81E49A2295A861CAFD29222498A44293450E9DB57F8650167A4F0CB41BEB9C2FF9BC8372A3C4101C0733CCB922424699EB3A3F83D78AE75ECE1DF3E7ACA643727071F5E7AF1C0A3A87D457270F61FC72FFEC564B7E0ABF03CEBEBE7DFEBFBC5C5672CF6DCE4DCE5932F0E3E6BB25B5383E3E74E7E60B2E7D9FFB4961B7B26D7658160FC50DF37AACD34014163F2DA910B61113B7EA8CFBE6D537F6A1BC2E38603320C0B014F131C499182E66021032007780019080001484809CADC5D12501C43F024CF93B4D03D7797A3589AA27986A4094AF0CDDD654992E1588EE0690805D9A73804D9D7ED1034457690F6E9DC82E7DF99D9F8BEBE03F5870D550B8B4141D7E49268B7EED3552DA66A1BC26A8F21C8DD9A1ED14AEE12CF0D715D176628A5FE93F12B25C90FB104C7D124207816428A9D7F48F12B25044B913CCF521C47919063F8F9D960C49B8C40100CE06892E5598E603906C2D4331ED5907D42482F59F04DC905C1AF9DA152DC42BA57301251B544DB10D7145DE88CE9250BFC47A318EE9C351F0B12086992010CC312C212BE69E1B30032344D92CC03AB2B917F010000FFFF010000FFFFC4E512E7D82F0000”)' 第二种，浏览器等工具拦截的BASE64数据
txt ＝ 字节集_字节集到十六进制 (编码_BASE64解码 (“CNULEMuo2rj2683/NRi4RSAIKhUKDWNvbXByZXNzX3R5cGUSBGd6aXAqpwIKD2ltLWludGVybmFsX2V4dBKTAmludGVybmFsX3NyYzpwdXNoc2VydmVyfG5leHRfY3Vyc29yOnQtMTY2NzE5NjY5NDMxM19yLTcxNjA1NTUyNzY3MjkzNDA2OTFfZC0xX3UtMV9oLTFfY2hkLV9jaHUtX3JkYy0xfHdzc19wdXNoX3Jvb21faWQ6NzE2MDU0ODczMzAyMTE3ODYzMXx3c3NfcHVzaF9kaWQ6NzE1NzYwNzI3NzQ4MTQ0NDg5OHx3c3NfcHVzaF9sb2dfaWQ6Mzg5MDg4OTQ4NTk2MjM1MTY5MXx3c3NfZmV0Y2hfbXM6MTY2NzE5NjY5NDI5Mnx3c3NfcHVzaF9tczoxNjY3MTk2Njk0MzEzfHdzc19tc2dfdHlwZTpyKk4KCWltLWN1cnNvchJBdC0xNjY3MTk2Njk0MzEzX3ItNzE2MDU1NTI3NjcyOTM0MDY5MV9kLTFfdS0xX2gtMV9jaGQtX2NodS1fcmRjLTEqFwoGaW0tbm93Eg0xNjY3MTk2Njk0MzEzKhkKDmltLWxpdmVfY3Vyc29yEgdkLTFfdS0xMgJwYjoDbXNnQpMUH4sIAAAAAAAA/+yZa2wc1RXHM7vO7mYwsFqFsrgStZJvVGPfO3PnZakqu469tmNn7bW9fqhoOs/dtfeVndmHN1Ch8AipSRPSPCBNqOMQAmmBNILiupEQCUUIKDRIIFq1FFq/SlBpUx6t2qaV14mzNusQ2xvzZf3B0ujM3nPuPed3z//ewc+uxdd2qZIs6kaLGpHURIuq62JAdTy9Fj9qLWyzH9535t0zf/rtM7Jz277Jsccfe/cZGWDucxb8pnAopQqJWCwiqFFDTQhGTNQNxy1bQE1SVxN3VU4cOjo2ev8WWKMbiVA0cFfFDfia9RKn5f4qd5nXPW6xXecox63rudo6tr6+cpf5OLbbgu+02D7/aOjUyyb70V/9J1thvX381NDY6NOVGMCatuADQcOI6zXV1XGqSoklB0LReEiukmORajGtRtRqCEAGAjDzRIgp0RAT1UZMJ+QoIaYMAgBICxqEnEryGo0QBViJYkTEQAaSCCBGQgqo6ourgW9riVjkWwhAQFMQUNxxLIt3TnvPOSfSM6s1L4hQJFB90VI9vQxCICEqqhBWU2pYSNECCavi0cD3jHg4RcSkvqpQRAyoTntlJcDcX3fetO7mqR1Hpo5vn3xq++ToMRJOjh4bHxyc/MnQSazM9l173yj2EgZuOoDdcU0jGcYEvOvS+MxVjJ9bbCEuDlx0QmYEEggkKuShvLIcYKcxHLets+BltlWOVVtNq06a1pA0y/EUIPnzJralHaWb+1xul8vlaoYNnl4l1QJ8va1eXWUZt+Tz+nTg1gk/kUhv9qbILsZDq0Kw7YTZ/KH5K0zSrjJsuOxSvb5a5pmZhtcfCdS5dJ+WrtWyka4Mjbi6bGs63QMSQkDoDbXHU3CTQar9m5LMQKAbuRqzPl9Xun+Dt15qE3W6rgFrxbp3vWJ6ADM7SnCU4CjBkQeH8+NbW7HdWKkhlZgrMbdSzM2KQvyV6/FbLupGXywW6dTVRLu6+ZKwHLoeZ65gtx958Pu/OTtXXFY+9/bx8dPAccHs+JfZ9tIvP3nyHFZR5gn19zSdNuN3zsJGMoumLUQADlIyAFBgVA0xSOQ0EWiIIkWJ1lhKYZHC8ZBkFbkgb/iWZaC+bOeXpw7hint3eIo0+kls1Si2ag5tJ8zm42Wrhm+/jqEgC0iSomnGiTk+NzvOm22vfHBianjHfeYKy/iRX4yNHGw6acYzyy8CQUQcgzgZQAhIJPE0r1EkkgCJWFKWSFUtnIP0sgtgiY4zy0/+0jw7aosw8hWSbocshCTPQEhDkkEs6TQ5PjM7/m62Pfnyw3tPmSrKJ3/81NR9L4w/dmx8555iZR/KAKiSBCWJZZHK8yIAtCjRNEuxsgZl8Zplf2mOi5H9JXm+qux/2chXQp5DHAsAYmhAO82O6xxW29ZHDu8eNznLcg8/OvrTR8dMztWO6x1rbP9856HXntvxEea05Gznjr74+M9NTmvu4f3Jsx9dwJy23MOZnZ+98RbmXON861bu3F9sbgsEYyPbvtlURvEk6cv977VCVEWPjWxzHnlw20wLwj9e6Hrk9bX4Mwtdjwzv23vw9S9cj3xaDDV6ooAaPWjBH7HY3vvHrrNvfXoAs7926tX/4RXlEyeenTi0fWLooYlHD1ViTXflNarFMDLzIjEdHqGFwqogUoxC0bzKiiyrIRGpGqJZiVJUUWMkKHILqNIM3rFcwXMFvVPhxNZ9LV/v5GvS1bbfm+xVo9iLGMAOYN+5loEM52tefmmaFAqLUaTlejAZ0oNiVA8ms/NEaV1Xq0ZJm4yBLLMx4o13RiSW9St9vlRPOunRhIy7hQ8GIi0+qo7LidKvLEc5STqnYmd1aUsyCskIyPjbQIe3qSkclns1GAwqrXRdwK1v7k97Oroa25hNRG2bq3WATHWrETfv2wQ7ZWNDsinWls6/KClhUsKkhElBTC5emZSaVIm+En0rT9+sZMR/t5DifH4t/sRCinNw3+mtL35Bcf61GDA/WQDmvRZ8t8U28fro4V9j9jf//cf7bRXl44Pbpu6+b2L/0MQ9xyqxpoFinIyAhFhS40VKVEgEFYkjeaABQCJS1ThSLnw6nYPx1ZR3MTG22O65wX6wrADHxY9kDsdLvABdHMc4CRnIUBzHUPMo9nXSocb6RsHv72inpGQXqk/1iIaR7fdpPSRszBBMo5II06m00j+f4pVN0QzF+cV6meLuMEEDItDXnIId7nB9e3agucOreH1I829kuza0uQMpj48hOlNEKlCr97XBCNAyHBf3gXro3qzM+SZX4qPER4mPuXw4n/3GtMYstaUSdiXsVhC7WXWIv2PFHRcFZG1QNC5Jy+eseFUhg33bE6898LcP5unK7qfPY44fWmyPvf2HNx822/cPnb3fWlE+sf/5yR27x0bunjw4Uok1ZYtyJy/LCk3TFE8hiUJA5SSgsBLgZBqIgNN4+stJu5oCLJRG+kppXD03jfQc0kbM9vOmHGmr55BW/EiGF/uFvQBptMAvhjTI8STPkBTJziOtpSHc3upqDaOODYLk0sKI0Tf2RD3RlqTga0epxEZ/QyoTC3Yymms+aSuboovHuLxqnSWtNdoq9fKim/Xq/vYskggj2ulpb/BILoNOUF7Y2mJs7GsW1WYmInVGXUmZcRF+heZiXa7exky7iCosU/eOjD803CTgd+C+xc4vLEpqWIiqaSEtGnKwwOxus66nKZZiXZm9b/z3gMU5iyc+ZisI9hnbAmD/4IlTFx44Nh/sh89jjj1W26M73v/83k/+XGY/+8GJn91YUT619eT4vS+M79wzvnPPPLSX/u2JpBlIsaKmqFBCNK2JlCTJKgAyKasSw8Jr10TZK9WNdW7dsHPQTttvdmI5tK1FaaILR7LyaJcHRTWqiHpQ5Dh43tScD3e3u9aHUHdW5qHoYZu9EhXuo2FmE1TbUaAVbW72qUwk7qWzrl6/PxMwMj0+GAjTSrvKNG7MdrYXq7cuLXMfmlW8bVGCJCoHYwlBE6O6YIgBIUUW8AvWu29YVz55cvvYyKH8nSUflss9PCNzoL+/pccv8Q2hPk9KQoEQCNQFST7OtAWScZJviXR7e/s4V0jKbGDSeqSR6Otjjc6gh/LpBKq4cfLg4NjI4Njo6NThB8dGdjTJuIj7F7ugM1tMQg0kw2LiqreZ2c3C4TIIyDAs5BmGRyRPCwmChQygaZpkGZbkKQQYHgoKAYUkAYUgAQU5qBCCHEwSQkKRCeicslbuf+/4+Glw26ApNK39o2JY0BNyTTypB3U1kVITd0bVjCHIyYQeS9Qs2+OdaV0XpgefOW+ElJrcAIhjKQqQELIcQ+W9pISUGoZjOcDwACD+siEcC0z/mOJ4wHE84ujpPkhDiiVz72iqIQeFiF6THy55+efzLHTOEtEDgjEQV2sSt9/YgP0fAAD//wEAAP//vvyjMY0vAAA=”))
调试输出 (txt)特征码 ＝ “1F8B080”
len ＝ 寻找文本 (txt, 特征码, , 真)
txt ＝ 取文本中间 (txt, len, 取文本长度 (txt) － len)
data ＝ 字节集_十六进制到字节集 (txt)
data ＝ GZIP解压数据 (data)
剪辑板_置文本 (字节集_字节集到十六进制 (data))
txt ＝ 编码_utf8到gb2312 (PB转JSON (data)).如果真 (json.解析 (txt))n ＝ json.成员数 ().计次循环首 (n, i)msg ＝ json.取通用属性 (“[” ＋ 到文本 (i － 1) ＋ “]”, 真)' 文本_正则取出匹配文本组 (msg, “value” ＋ #引号 ＋ “:” ＋ #引号, , ).判断开始 (文本_是否包含关键词 (msg, “WebcastMemberMessage”)) ' 加入直播间".判断 (文本_是否包含关键词 (msg, “WebcastGiftMessage”)) ' 送礼物".判断 (文本_是否包含关键词 (msg, “WebcastLikeMessage”)) ' 点赞.判断 (文本_是否包含关键词 (msg, “WebcastChatMessage”)) ' 评论.默认.判断结束调试输出 (i, json.取通用属性 (“[” ＋ 到文本 (i － 1) ＋ “]”, 真)).计次循环尾 ()
抖音弹幕解析过程 PB数据转json 解决乱码 所有语言通用思路相关推荐
- java如何获取抖音弹幕
用 Java 获取抖音弹幕可以通过抓取抖音视频播放页面的弹幕数据,再通过解析数据获取弹幕信息.具体实现可以使用网络爬虫技术,如使用 Java 的 HttpClient 库发送 HTTP 请求获取播放页 ...
- 老A:什么是抖音弹幕互动游戏，玩法以及如何参与
今天老A主要为大家拆解弹幕互游三部分,一是弹幕互动游戏的形式及状态:二是弹幕互动游戏的玩法:三是如何参与这个到这个赛道上. 抖音弹幕游戏作为一种全新的娱乐直播形式,在传统娱乐直播中最头疼的问题莫过于: ...
- 抖音视频解析的工具类
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 一.一个解析抖音分析链接的工具类 import java.io.IOException; import java.util.HashM ...
- matplotlib-bilibili，抖音很火的动态数据视频自动生成（第四节）-视频，语音合成
" matplotlib-bilibili,抖音很火的动态数据视频自动生成(第四节)-视频,语音自动合成" 还记得上一节中我们所提到的数据动态视频吗?这次,为了让大家更加方便的制 ...
- 抖音弹幕抓取（适合纯小白）
抖音弹幕抓取 准备代码 准备环境 运行 算是一个使用记录,代码和具体的环境配置已经有前辈写的很棒了,只是把这些整合到了一起,防止遗忘,也希望帮助到有需要的人. 准备代码 在github下载代码并解压, ...
- 价值4500的国际版多语言点赞抖音分享点赞任务平台源码（十二种语言）
介绍: 平台会员分享给我的,他自己搭建成功了,测试可用!我就不测试了,需要的拿! 九种语言 :西班牙语,泰语.日语,印度尼西亚语言.越南语言.英文.繁体中文,简体中文,印度语 前台支持更换5种颜色风格 ...
- delphi解析json(解决乱码问题)
delphi解析json(解决乱码问题) 参考文章: (1)delphi解析json(解决乱码问题) (2)https://www.cnblogs.com/figofifa/p/6612901.htm ...
- Python抖音弹幕
一:介绍 抖音是一款短视频应用程序,用户可以在其中观看和分享短视频内容.在抖音中,用户可以通过发送弹幕来与视频内容进行互动.弹幕是指在视频播放过程中,用户可以发送文字.表情等内容,这些内容会在视频画面 ...
- 爬取抖音品牌热DOU榜数据
抖音品牌热DOU榜 第一步:fiddler抓包和分析 第二步:撸代码 抖音是当前很火的一款短视频分享软件,我身边就有很多人是严重的抖音迷,抖音带来的流量是巨大的,那么抖音运营也自然地应运而生了.抖音上 ...
最新文章
- vue-router学习笔记
- 雷军狂撒 20 亿 ，给小米、金山员工豪派“大红包”，网友：又是别人家的公司！...
- WPF － 本质：数据和行为
- 任务发布页面html,HTML5 Todo List（待办事项/任务列表管理界面）
- Amazon：大数据分析技能，你满足几条？
- USACO1.5 Number Triangles(numtri)
- win10安装iis（亲测，工作需要）
- Coursera自动驾驶课程第3讲：Self-Driving Hardware and Software Architectures
- 【元胞自动机】基于matlab元胞自动机单边教室疏散【含Matlab源码 1207期】
- 用通俗易懂的方式讲解： GBDT算法及案例（Python 代码）
- Flutter格式化电话号码
- CentOS7 时间与网络时间同步
- java 中国地图_Echarts+Java生成百度统计中国地图详细教程-Fun言
- elasticsearch报错org.elasticsearch.discovery.MasterNotDiscoveredException: null
- narwal机器人_国货之光！云鲸NARWAL扫地机器人国外众筹获第一
- Windows环境安装MySQL步骤
- mezzanine安装（python2.7+nginx+mysql+supervisor）
- 网易考拉海购：电商高并发架构设计的铁律
- 洛谷 P1948 / loj 10074 / 一本通 1496【分层图】
- element的datepicker日期选择器选择周一到周日并实现上一周和下一周