python 利用urllib2通过指定网页访问url，并捕获内容

为什么80%的码农都做不了架构师？>>>

# python 2.7.11import urllib
import urllib2
# 文件编码获取工具
import chardet# 利用请求的url地址，创建一个url对象
url = urllib2.Request('http://www.baidu.com')
# 访问请求的url对象，并获取一个应答对象（应答对象相当于一个文件对象）
response = urllib2.urlopen(url)
# 利用response的read() 方法获取文件内容
htmlConcent = response.read()print htmlConcent#  post 带参数的post请求url = 'https://gpay.gyyx.cn/'
value = {'account': 'da','location': 'SDU','logmain.log': 'python'
}# 参数编码
data = urllib.urlencode(value)
# 发送请求同时传递参数
req  = urllib2.Request(url, data)
# 接受反馈的信息
response = urllib2.urlopen(req)
# 读取反馈的内容
test  = response.read();# get 带参数的get请求data = {}data['name'] = '张三'
data['pass'] = '李四'
# 参数编码
val_values = urllib.urlencode(data)url = 'http://www.baidu.com'
# 参数合进url
full_url = url + "?" + val_values
# 打开url
data = urllib2.urlopen(full_url)# 带header报文头的url 请求
url = 'http://www.someserver.com/cgi-bin/register.cgi'
# 报文头内容
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
values = {'name' : 'WHY','location' : 'SDU','language' : 'Python' }headers = { 'User-Agent' : user_agent }
data = urllib.urlencode(values)
# 创建Request时加入header 报文头
req = urllib2.Request(url, data, headers)
response = urllib2.urlopen(req)
the_page = response.read()

转载于:https://my.oschina.net/myzyq/blog/638967

python 利用urllib2通过指定网页访问url，并捕获内容相关推荐

利用Crowbar抓取网页异步加载的内容 [Python俱乐部]
利用Crowbar抓取网页异步加载的内容 [Python俱乐部] 利用Crowbar抓取网页异步加载的内容 [Python俱乐部] 利用Crowbar抓取网页异步加载的内容在做 Web 信息提取.数 ...
Python爬虫基础爬取网页访问网页
前段时间又被人问了会不会爬虫,然后感觉现在爬取数据好像还是挺有用的,所以就在网上找了课程学习了一下,利用Python对网站进行爬取和解析等等.原来使用过八爪鱼这个软件,不太需要有什么编程基础,但是也已 ...
Python爬虫抓取指定网页图片代码实例
更多编程教程请到:菜鸟教程 https://www.piaodoo.com/ 友情链接:好看站 http://www.nrso.net/ 高州阳光论坛https://www.hnthzk.com/ 想 ...
[Python]网络爬虫（二）：利用urllib2通过指定的URL抓取网页内容
版本号:Python2.7.5,Python3改动较大,各位另寻教程. 所谓网页抓取,就是把URL地址中指定的网络资源从网络流中读取出来,保存到本地. 类似于使用程序模拟IE浏览器的功能,把URL作 ...
python的urllib2实现登录网页_python模拟网站登录(urllib、urllib2模拟登录)
使用python模拟登录网站,首先要知道网站登录细节及相应的cookie. 分三步完成: 1,获取一个cookie 2,装载好自己的request 3,发送模拟登录请求推荐阅读: Python模拟新 ...
案例逐步演示python利用正则表达式提取指定内容并输出到csv
背景和目标这次我想要处理的是一个txt文件,里面的内容是一台机器定时ping另一台机器的输出结果,想要提取出的内容是时间和rtt值,最后还要把结果输出到csv文件. 1. 明确要提取的内容,编写正则 ...
Python使用BeautifulSoup爬取网页中主体部分的内容，并导出为pdf格式
1.首先,必须下载相关的模块,依次使用以下命令安装相关模块即可: pip install requestspip install html5libpip install beautifulsoup4 ...
python urlopen 乱码_Python 2.7.3 urllib2.urlopen 获取网页出现乱码解决方案
出现乱码的原因是,网页服务端有bug,它硬性使用使用某种特定的编码方案,而并没有按照客户端的请求头的编码要求来发送编码. 解决方案:使用chardet来猜测网页编码. 1.去chardet官网下载ch ...
Python数据采集与处理之网页爬取
第1关:request模块的基本使用任务描述本关我们将使用 Python 程序,实现通过网页的 url,获得服务器返回的超文本文件,并保存到 txt 文件的功能. 相关知识下面通过文字进一步详细 ...
网页访问的服务器和端口怎么查,怎么查看网页访问端口号
怎么查看网页访问端口号内容精选换一换在开发web服务过程中,您可能需要访问某个http/https端口,来进行开发测试.CloudIDE提供了注册http/https端口的能力,并提供端口开放自 ...

python 利用urllib2通过指定网页访问url，并捕获内容

python 利用urllib2通过指定网页访问url，并捕获内容相关推荐

最新文章

热门文章