python 爬有道翻译

在有道翻译页面中打开开发者工具, 在 Headers 板块找到 Request URL 以及相应的 data.importurllib.request

importurllib.parse

importJSON

content=input('请输入需要翻译的内容:')

#_o 要去掉, 否则会出先 error_code:50 的报错

url='http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'

data={

}

# 开发者工具里有, i 和 doctype 键不可少

data['i']=content

data['from']='AUTO'

data['to']='AUTO'

data['smartresult']='dict'

data['client']='fanyideskweb'

data['salt']='15695569180611'

data['sign']='5b0565493d812bc5e713b895c12d615d'

data['doctype']='json'

data['version']='2.1'

data['keyfrom']='fanyi.web'

data['action']='FY_BY_REALTTIME'

# 将字典类型的请求数据转化为 url 编码, 并将编码类型转变为'utf-8'类型

data=urllib.parse.urlencode(data).encode('utf-8')

# 向 url 请求 data 的响应结果

response=urllib.request.urlopen(url,data)

# 读取返回数据内容, decode 是转换返回数据的格式为 str

=response.read().decode('utf-8')

# 使用 JSON 将字符串转化成字典

target=JSON.loads(HTML)

# 结果在 key='translateResult'的三层列表的 key='tgt'中

print("翻译结果:%s"%(target['translateResult'][0][0]['tgt']))

上面这种很大可能被有道网页给识别出来不是人工在访问, 而是代码在访问.

此时我们可以加个'User-Agent'代理. 通过设置 User Agent 来达到隐藏身份的目的, 一般情况下浏览器是通过 User-Agent 来识别的.

通过调用 urllib.request.Request() 来设置 UA.classurllib.request.Request(url,data=None,headers={

},origin_req_host=None,unverifiable=False,method=None)

Thisclassisan abstractionofa URL request.

url should be a string containing a valid URL.

headers should be a dictionary #headers 要为字典

有两种方法设置 User Agent:

1. 在创建 Request 对象的时候, 填入 headers 参数 (包含 User Agent 信息), 这个 Headers 参数要求为字典;

2. 在创建 Request 对象的时候不添加 headers 参数, 在创建完成之后, 使用 add_header() 的方法, 添加 headers.importurllib.request

importurllib.parse

importJSON

importtime

whileTrue:

content=input('请输入需要翻译的内容 (输入"q! 退出程序 "):')

ifcontent=='q!':

break;

#_o 要去掉, 否则会出先 error_code:50 的报错

url='http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'

'''

第一种方法

head={}

head['User-Agent']='Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/65.0.3325.181Safari/537.36'

'''

data={}

#开发者工具里有, i 和 doctype 键不可少

data['i']=content

data['from']='AUTO'

data['to']='AUTO'

data['smartresult']='dict'

data['client']='fanyideskweb'

data['salt']='15695569180611'

data['sign']='5b0565493d812bc5e713b895c12d615d'

data['doctype']='json'

data['version']='2.1'

data['keyfrom']='fanyi.web'

data['action']='FY_BY_REALTTIME'

#将字典类型的请求数据转化为 url 编码, 并将编码类型转变为'utf-8'类型

data=urllib.parse.urlencode(data).encode('utf-8')

'''

第一种方法

req=urllib.request.Request(url,data,head)

'''

#第二种方法设置 User Agent

#创建 Request 对象

req=urllib.request.Request(url,data)

req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36')

#传入创建好的 Request 对象

response=urllib.request.urlopen(req)

#读取响应信息并解码

HTML=response.read().decode('utf-8')

#使用 JSON 将字符串转化成字典

target=JSON.loads(HTML)

#结果在 key='translateResult'的三层列表的 key='tgt'中

print("翻译结果:%s"%(target['translateResult'][0][0]['tgt']))

#5 秒一次

time.sleep(5)

来源: http://www.bubuko.com/infodetail-3216295.html