python爬虫模拟有道翻译

案例目的：

通过模拟有道翻译，介绍携带form表单发送post请求以及破解form表单中的加密数据。

案例实现功能：

模拟有道翻译，实现中英互译。

爬取过程分析：

找到目标的url，注意，这里的url是指对应的response为翻译结果的url。而非首页的url。如下图：

检查响应结果：

找到url之后，往下开始我们的重点了

本次爬取的关键在于：怎样处理表单数据中发生变化的数据，以及如何破解加密的数据。

对比翻译不同内容的表单数据，如下图：

对比上图表单数据可知，表单数据发生变化的有参数i，参数salt，参数sign和参数lts

分别分析四个参数：

1.参数i：显而易见为要被翻译的内容
2.参数salt：我们可以根据格式推出salt为以毫秒为单位的时间戳+随机数字
3.参数sign：待分析
4.参数lts：根据格式推出为以毫秒为单位的时间戳

剩下未发生改变的参数直接复制即可。

我们重点分析一下参数sign：

通过在search中所搜sign值，我们可以得到表单数据所对应的内容：

经过对前端代码的调试，我们发现，sign数据为字符串"fanyideskweb" + e + i + "Tbh5E8=q6U3EXe+&L[4c@"的MD5加密数据。其中e对应的为要被搜索的内容，i对应为salt参数。

form表单的四个数据已经分析完毕。

下面说如何解析爬取到的响应数据：

发送请求，获取的相应数据为json数据，因此可以通过json在线解析得到数据的位置（jsonpath的语法为$…tgt）。

注意事项：

1.表单数据中的参数from和参数to同样为auto，意为中译英，英译中是自动识别的。

2.有道翻译是无法识别拼音的，因此可以在发送请求前加上异常处理try用来处理无法识别的语言

3.我们可以通过在程序入口处加上while死循环，可以让翻译一直进行，避免手动执行。

所有过程已经分析完毕，开始上代码：

import requests
import time
import random
import hashlib
import jsonpathif __name__ == '__main__':# 加上死循环，一直执行while True:# 输入要被翻译的内容content = input('请输入要被翻译的内容：')# 确定目标的urlurl_ = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'# 创建请求头参数headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36','Referer':'http://fanyi.youdao.com/','Cookie':'OUTFOX_SEARCH_USER_ID_NCOO=1328394085.0392962; OUTFOX_SEARCH_USER_ID="1796778757@10.108.160.18"; JSESSIONID=aaaEK20l8ctLw9SDeioDx; ___rl__test__cookies=1611923654835'}# 构造表单数据参数content_ = contentsalt_ = str(int(time.time()*1000))+str(random.randint(0,9))e = contenti = salt_start_sign = "fanyideskweb" + e + i + "Tbh5E8=q6U3EXe+&L[4c@"sign_ = hashlib.md5(start_sign.encode()).hexdigest()lts_ = str(int(time.time()*1000))data_ = {'i': content_,'from': 'AUTO','to': 'AUTO','smartresult': 'dict','client': 'fanyideskweb','salt': salt_,'sign': sign_,'lts': lts_,'bv': '3d91b10fc349bc3307882f133fbc312a','doctype': 'json','version': '2.1','keyfrom': 'fanyi.web','action': 'FY_BY_REALTlME'}# 由于输入拼请求汇报错，在发送请求的程序加上异常处理try:# 发送请求，获取响应response_ = requests.post(url_,headers=headers,data=data_)# 判断数据类型为json类型py_data = response_.json()# 提取翻译出来的数据res_ = jsonpath.jsonpath(py_data,'$..tgt')[0]# 打印数据print(f'翻译出来的数据为：{res_}')except:print('您的输入有误，请重新输入...')

执行结果如下：

下面介绍一下如何将我们爬取实现的翻译打包成一个小程序：

1.首先将代码保存到在一个以英文命名的文件下。

2.在我的电脑找到文件所在的位置，然后再上面的路径下输入cmd进入黑窗口

3.打开黑窗口后输入pyinstaller -F demo.py(文件名称)

4.文件自动进行解压

5.解压后找到生成的dist文件

6.打开里面的demo.exe程序

这样就可以实现将程序打包成软件的形式。（由于我们未加任何修饰，因此得到的只是一个简陋的黑窗口）

这里提醒一下大家，可以将这个demo.exe文件发给那些没有安装pycharm的小伙伴，他们也可以直接打开软件进行使用的（一个不错的装x工具）