爬虫2 urllib用法

from urllib import request,parse# 1.    解析数据
# 解析一条
# response = request.urlopen(url='http://httpbin.org/get?username={}'.format(parse.quote('哈哈')))
# print(response.read())
# # 解析字典
# data1 = {#     'username':'哈哈',
#     'pass' : 23564
# }
# res = parse.urlencode(data1)
# print(res)# 2.    模拟请求头
# headers = {#     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.6721.400 QQBrowser/10.2.2243.400'，#　　　　'Referer':'https://www.baidu.com/s?ie=utf-8&wd=%E5%9B%BE%E7%89%87'

# }
# req = request.Request(
#     url='http://img5.imgtn.bdimg.com/it/u=935292084,2640874667&fm=26&gp=0.jpg',
#     headers=headers
#     )
# response = request.urlopen(req)
# print(response.read())# 3.    发送一个get请求
# response = request.urlopen(url='http://httpbin.org/get',timeout=0.1)
# 发送一个get请求
# response = request.urlopen(url='http://httpbin.org/get')
# print(response.getcode())         #返回码
# print(response.info())              #返回头部信息
# print(response.read())              #返回内容
# response2 = request.urlopen(url='http://httpbin.org/post',
#                             data = b'username=haha&password=12345'

转载于:https://www.cnblogs.com/cxhzy/p/10241604.html

爬虫2 urllib用法相关推荐

Python爬虫之urllib模块2
Python爬虫之urllib模块2 本文来自网友投稿作者:PG-55,一个待毕业待就业的二流大学生. 看了一下上一节的反馈,有些同学认为这个没什么意义,也有的同学觉得太简单,关于Beautiful ...
python爬虫用urllib还是reques,python爬虫中urllib.request和requests有什么区别？
在学习python爬虫,想要检索request相关内容时,往往会出现urllib.request和requests这两个词,urllib.request和requests都是python爬虫的模块,其 ...
Crawler：爬虫基于urllib.request库实现获取指定网址上的所有图片
Crawler:爬虫基于urllib.request库实现获取指定网址上的所有图片目录输出结果核心代码输出结果核心代码 # coding=gbk import urllib.request ...
python爬虫之urllib库详解
python爬虫之urllib库详解前言一.urllib库是什么? 二.urllib库的使用 urllib.request模块 urllib.parse模块利用try-except,进行超时处理 ...
python爬虫哪个选择器好用_Python网络爬虫四大选择器用法原理总结
前几天小编连续写了四篇关于Python选择器的文章,分别用正则表达式.BeautifulSoup.Xpath.CSS选择器分别抓取京东网的商品信息.今天小编来给大家总结一下这四个选择器,让大家更加深刻 ...
Python爬虫进阶——urllib模块使用案例【淘宝】
Python爬虫基础--HTML.CSS.JavaScript.JQuery网页前端技术 Python爬虫基础--正则表达式 Python爬虫基础--re模块的提取.匹配和替换 Python爬虫基础- ...
初学爬虫之 urllib 库的介绍与使用（一）
初学爬虫之 urllib 库的介绍与使用(一) 目录初学爬虫之 urllib 库的介绍与使用(一) 简介 1.1 urllib.request.urlopen() 1.2 urllib.reques ...
python补充urllib教程,Python爬虫之urllib基础用法教程
综述本系列文档用于对Python爬虫技术进行简单的教程讲解,巩固自己技术知识的同时,万一一不小心又正好对你有用那就更好了. Python 版本是3.7.4 urllib库介绍它是 Python 内 ...
爬虫：urllib库的用法，关于 request，parse模块总结
urllib库它是python内置的请求库,包括 request ,error ,parse,robotparse. 这里主要介绍request 和parse模块. request 它是HTTP请求 ...
Python爬虫之urllib和requests哪个好用--urllib和requests的区别
我们讲了requests的用法以及利用requests简单爬取.保存网页的方法,这节课我们主要讲urllib和requests的区别. 1.获取网页数据第一步,引入模块. 两者引入的模块是不一样的, ...

爬虫2 urllib用法

爬虫2 urllib用法相关推荐

最新文章

热门文章