Python PycURL 网络编程

在使用urllib的时候经常会死掉，以前debug过，是没有设置 timing out 所以超时后就会死掉。
PycURL是curl的python库，虽然有些curl的功能没有实现，但是还是很强劲的。

curl是非常强劲的一个工具，
google内部用它来 debug GDATA API. Using cURL to interact with Google data services

可以去 http://pycurl.sourceforge.net/ 下载最新的PycURL。

简单的PycURL例子

import pycurl
import StringIO   url = "http://www.google.com/"
crl = pycurl.Curl()
crl.setopt(pycurl.VERBOSE,1)
crl.setopt(pycurl.FOLLOWLOCATION, 1)
crl.setopt(pycurl.MAXREDIRS, 5)
crl.fp = StringIO.StringIO()
crl.setopt(pycurl.URL, url)
crl.setopt(crl.WRITEFUNCTION, crl.fp.write)
crl.perform()
print crl.fp.getvalue()

PycURL 自动处理cookie

import pycurl
import StringIO   url = "http://www.google.com/"
crl = pycurl.Curl()
crl.setopt(pycurl.VERBOSE,1)
crl.setopt(pycurl.FOLLOWLOCATION, 1)
crl.setopt(pycurl.MAXREDIRS, 5)
crl.fp = StringIO.StringIO()
crl.setopt(pycurl.URL, url)
crl.setopt(crl.WRITEFUNCTION, crl.fp.write)   # Option -b/--cookie <name=string/file> Cookie string or file to read cookies from
# Note: must be a string, not a file object.
crl.setopt(pycurl.COOKIEFILE, "cookie_file_name")   # Option -c/--cookie-jar <file> Write cookies to this file after operation
# Note: must be a string, not a file object.
crl.setopt(pycurl.COOKIEJAR, "cookie_file_name")   crl.perform()
print crl.fp.getvalue()

PycURL 实现POST方法

import pycurl
import StringIO
import urllib   url = "http://www.google.com/"
post_data_dic = {"name":"value"}
crl = pycurl.Curl()
crl.setopt(pycurl.VERBOSE,1)
crl.setopt(pycurl.FOLLOWLOCATION, 1)
crl.setopt(pycurl.MAXREDIRS, 5)
#crl.setopt(pycurl.AUTOREFERER,1)   crl.setopt(pycurl.CONNECTTIMEOUT, 60)
crl.setopt(pycurl.TIMEOUT, 300)
#crl.setopt(pycurl.PROXY,proxy)
crl.setopt(pycurl.HTTPPROXYTUNNEL,1)
#crl.setopt(pycurl.NOSIGNAL, 1)
crl.fp = StringIO.StringIO()
crl.setopt(pycurl.USERAGENT, "dhgu hoho")   # Option -d/--data <data>   HTTP POST data
crl.setopt(crl.POSTFIELDS,  urllib.urlencode(post_data_dic))   crl.setopt(pycurl.URL, url)
crl.setopt(crl.WRITEFUNCTION, crl.fp.write)
crl.perform()   print crl.fp.getvalue()

urllib 超时设置

import socket
socket.setdefaulttimeout(5.0)

转载于:https://www.cnblogs.com/changyou/archive/2010/01/09/1643075.html

Python PycURL 网络编程相关推荐

Python高级网络编程系列之第一篇
在上一篇中我们简单的说了一下Python中网络编程的基础知识(相关API就不解释了),其中还有什么细节的知识点没有进行说明,如什么是TCP/IP协议有几种状态,什么是TCP三次握手,什么是TCP四次握 ...
Python之网络编程（TCP套接字与UDP套接字）
文章目录基于tcp的套接字实现目标 tcp服务端源码 tcp客户端源码 tcp效果实现基于udp的套接字 udp作用介绍 udp服务端源码 udp客户端源码 udp效果实现用udp实现一个时间 ...
Python Socket网络编程（二）局域网内和局域网与广域网的持续通信
目录前言 IP地址简介公有IP 私有IP 局域网之间网络通信前提功能描述源码运行结果局域网与广域网网络通信前提源码结语前言本系列博客是笔者学习Python Socket的过程 ...
Python Socket网络编程（一）初识Socket和Socket初步使用
目录前言网络编程实质 IP地址和端口数据传输协议协议 Socket 概念套接字 socket对象方法初步使用功能源码运行结果结语前言本系列博客是笔者学习Python Sock ...
python recv_python网络编程调用recv函数完整接收数据的三种方法
最近在使用python进行网络编程开发一个通用的tcpclient测试小工具.在使用socket进行网络编程中,如何判定对端发送一条报文是否接收完成,是进行socket网络开发必须要考虑的一个问题.这 ...
0x011.Python学习-网络编程、PortScan
Python3 网络编程 Python 提供了两个级别访问的网络服务.: 低级别的网络服务支持基本的 Socket,它提供了标准的 BSD Sockets API,可以访问底层操作系统Socket接口 ...
用 Python 写网络编程（四）
本文首发于TesterHome社区,作者是资深游戏测试开发工程师陈子昂.用 Python 写网络编程共四篇,今天分享的是第四篇.原文链接:https://testerhome.com/topics/2 ...
Python 异步网络编程实战
Python 异步网络编程实战 - songcser - 掘金小册小册介绍第一部分是对 Python 协程的讲解,从字节码开始简单讲解了 Python 虚拟机的执行过程,可以大体了解到 Pytho ...
Python之网络编程（socket基础）
文章目录客户端/服务器架构 1.即C/S架构 2.C/S架构与socket的关系 3.两机交互的原理 Socket编程 1.socket编程的概念 2.socket的两种类型 3.socket的运行 ...

Python PycURL 网络编程

简单的PycURL例子

PycURL 自动处理cookie

PycURL 实现POST方法

urllib 超时设置

Python PycURL 网络编程相关推荐

最新文章

热门文章