python爬虫05--添加header

#具体可以看下面代码import urllib.request
import json
import urllib.parse
url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=null"
input_data = input("输入你要翻译的数据：")
data = {}
#head 添加请求头部，如果服务端通过请求头判断是否为机器访问，可以通过添加请求头
head = {}
head['User-Agent'] = 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0'
head['Accept'] = 'application/json, text/javascript, */*; q=0.01'data['type'] = 'AUTO'
data['i'] = input_data
data['doctype'] = 'json'
data['xmlVersion'] = '1.8'
data['keyfrom'] = 'fanyi.web'
data['ue'] = 'UTF-8'
data['action'] = 'FY_BY_CLICKBUTTON'
data['typoResult'] = 'true'
data = urllib.parse.urlencode(data).encode('utf-8')
# req = urllib.request.urlopen(url,data,head)  加了header 直接用urlopen会报错
req = urllib.request.Request(url,data,head)
"""
或者通过add_header()添加请求头部
req = urllib.request.Request(url,data)
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0')
"""
req = urllib.request.urlopen(req)
re_data = req.read().decode('utf-8')
re_data = json.loads(re_data)
re = re_data['translateResult'][0][0]['tgt']
exit(re)

python爬虫05--添加header相关推荐

python爬虫05 - BeautifulSoup4的安装，下载，源码简介，使用。
1. bs4简介 1.1 基本概念 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的网页信息提取库 1.2 源码分析 • github下载源码 • 安装 • pip inst ...
python爬虫快速添加请求头、随机生成user-agent
一.快速添加请求头 import re # 下方引号内添加替换掉请求头内容 headers_str = """ accept: text/html,application ...
Python全栈开发-Python爬虫-05 爬取猫眼电影榜单信息
爬取猫眼电影榜单信息(翻页) 一. 获取url及headers 首先进入猫眼电影首页: 猫眼电影之后点击菜单栏的榜单并在下面选择 TOP100榜接着右击检查并刷新界面,在Network中找到4 ...
python爬虫06 | 你的第一个爬虫，爬取当当网 Top 500 本五星好评书籍
来啦,老弟我们已经知道怎么使用 Requests 进行各种请求骚操作也知道了对服务器返回的数据如何使用正则表达式来过滤我们想要的内容 ... 那么接下来我们就使用 requests 和 re ...
[Python 爬虫] 使用 Scrapy 爬取新浪微博用户信息（四） —— 应对反爬技术（选取 User-Agent、添加 IP代理池以及Cookies池）
上一篇:[Python 爬虫] 使用 Scrapy 爬取新浪微博用户信息(三) -- 数据的持久化--使用MongoDB存储爬取的数据最近项目有些忙,很多需求紧急上线,所以一直没能完善< 使用 ...
Task 05 Python 爬虫入门
1.Requests简介 Requests是一款目前非常流行的http请求库,使用python编写,能非常方便的对网页Requests进行爬取,也是爬虫最常用的发起请求第三方库. 安装方法 pip i ...
python列表添加元组_【Python爬虫】列表、元组、集合练习
列表: pop() 函数用于移除列表中的一个元素(默认最后一个元素),并且返回该元素的值. list.append(obj) 在列表末尾添加新的对象 list.count(obj) 统计某个元素在列表 ...
python爬虫添加随机UA
什么是UA:User Agent是一种浏览器的标识,爬虫除非是访问网站或APP专用数据api接口,正常的HTTP请求都需要进行ua(User-Agent)优化,因为ua是浏览器标识,如果http请求没 ...
05、Python爬虫之正则表达式常用方法（超全）
文章目录前言一.search()函数二.match()函数三.compile()函数四.findall()函数五.sub()函数六.subn()函数七.split()函数八.补充说明 ...

python爬虫05--添加header

python爬虫05--添加header相关推荐

最新文章

热门文章