转发-来自http://www.redicecn.com/html/Python/20101209/204.html

与之前的版本http://www.redicecn.com/html/yuanchuangchengxu/20101205/201.html相 比，这个使用了多线程。验证时间由原来的20分钟缩短到现在的1分钟左右。

直接上源码：

与之前的版本http://www.redicecn.com/html/yuanchuangchengxu/20101205/201.html相 比，这个使用了多线程。验证时间由原来的20分钟缩短到现在的1分钟左右。

直接上源码：

1. # coding:gbk
2. # 验证最新可用代 理 For http://www.5uproxy.net 多线程版
3. # by redice 2010.12.09
4. import sys
5. reload(sys)
6. sys.setdefaultencoding('gbk')
7. import urllib
8. import urllib2
9. from urllib2 import URLError, HTTPError
10. DEBUG = True
11. #html页面下载函数
12. def getHtml(url,post_data=None,cookie=None):
13. """Fetch the target html
14. url - URL to fetch
15. post_data - POST Entity
16. cookie - Cookie Header
17. """
18. if DEBUG:
19. print "getHtml: ",url
20. result =''
21. try:
22. #create a request
23. request = urllib2.Request(url)
24. #change User-Agent
25. request.add_header('User-Agent','Mozilla/5.0')
26. #change Referrer
27. request.add_header('Referrer',url)
28. #if has cookie,add cookie header
29. if cookie:
30. request.add_header('Cookie',cookie)
31. #create a opener
32. opener = urllib2.build_opener()
33. #if has post entity
34. if post_data:
35. #encode post data
36. post_data = urllib.urlencode(post_data)
37. response = opener.open(request,post_data)
38. else:
39. response = opener.open(request)
40. result = response.read()
41. response.close()
42. #no content,don't save
43. if not result or len(result)==0:
44. return ''
45. return  result
46. except HTTPError, e:
47. if DEBUG:
48. print 'Error retrieving data:',e
49. print 'Server error document follows:\n'
50. #print e.read()
51. return ''
52. except URLError, e:
53. if hasattr(e, 'reason'):
54. if DEBUG:
55. print 'Failed to reach a server.'
56. print 'Reason: ', e.reason
57. return ''
58. elif hasattr(e, 'code'):
59. if DEBUG:
60. print 'The server couldn\'t fulfill the request.'
61. print 'Error code: ', e.code
62. return ''
63. except Exception, e:
64. if DEBUG:
65. print e
66. return ''
67. #需要验证的代理列表
68. proxy_urls = []
69. proxy_urls.append({'url':'http://www.5uproxy.net/http_fast.html','type':'http_fast'})
70. proxy_urls.append({'url':'http://www.5uproxy.net/http_anonymous.html','type':'http_anonymous'})
71. proxy_urls.append({'url':'http://www.5uproxy.net/http_non_anonymous.html','type':'http_transparent'})
72. proxy_urls.append({'url':'http://www.5uproxy.net/socks5.html','type':'socks5'})
73. import re
74. import socket
75. import time
76. import threading
77. result =[]
78. #线程同步锁
79. lock = threading.Lock()
80. def synchronous(f):
81. def call(*args, **kwargs):
82. lock.acquire()
83. try:
84. return f(*args, **kwargs)
85. finally:
86. lock.release()
87. return call
88. # 先获取所有待验证的代理
89. proxies = []
90. for proxy_url in proxy_urls:
91. html = getHtml(proxy_url['url'])
92. #正则匹配获取每一代理
93. rs = re.compile(r'''''<tr .*?>[\s\S]*?<td .*?>\d+?</td>[\s\S]*?<td>(\S+?)</td>[\s\S]*?<td .*?>(\S+?)</td>[\s\S]*?<td .*?>(\S+?)</td>[\s\S]*?</tr>''',re.DOTALL).findall(html)
94. for r in rs:
95. proxy = {}
96. #代理域名
97. proxy['domain'] = r[0]
98. #代理端口
99. proxy['port'] = r[1]
100. #代理国家
101. proxy['state'] = r[2]
102. #代理类型
103. proxy['type'] = proxy_url['type']
104. #响应时间
105. proxy['time'] = 0
106. if not (proxy in proxies):
107. proxies.append(proxy)
108. # 获取一个待验证代理
109. @synchronous
110. def getproxy():
111. global proxies
112. if len(proxies)>0:
113. return proxies.pop()
114. else:
115. return ''
116. #保存验证结果
117. @synchronous
118. def saveresult(proxy):
119. global result
120. if not(proxy in result):
121. result.append(proxy)
122. #线程函数
123. def verify():
124. while 1:
125. proxy = getproxy()
126. #所有代理均已验证完毕
127. if len(proxy)==0:
128. return
129. print "正在验证：%s,%s" % (proxy['domain'],proxy['port'])
130. #验证代理的可用性
131. #创建一个TCP连接套接字
132. sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
133. #设置10超时
134. sock.settimeout(10)
135. try:
136. start = time.clock()
137. #连接代理服务器
138. sock.connect((proxy['domain'], int(proxy['port'])))
139. proxy['time'] = int((time.clock() - start) * 1000)
140. sock.close()
141. saveresult(proxy)
142. print "%s,%s 验证通过，响应时间：%d ms." % (proxy['domain'],proxy['port'],proxy['time'])
143. except Exception, e:
144. if DEBUG:
145. print e
146. print "%s,%s 验 证失败." % (proxy['domain'],proxy['port'])
147. #init thread_pool
148. thread_pool = []
149. for i in range(20):
150. th = threading.Thread(target=verify,args=()) ;
151. thread_pool.append(th)
152. # start threads one by one
153. for thread in thread_pool:
154. thread.start()
155. #collect all threads
156. for thread in thread_pool:
157. threading.Thread.join(thread)
158. #结果按响应时间从小到大排序
159. result.sort(lambda x,y: cmp(x['time'], y['time']))
160. fname = 'proxy_'+ time.strftime('%Y-%m-%d-%H-%M-%S',time.localtime(time.time())) +'.txt'
161. file = open(fname,'w')
162. print "验证结果如下："
163. for item in result:
164. str = '%s:%s   %s,%s,%d' % (item['domain'],item['port'],item['type'],item['state'],item['time'])
165. print str
166. file.write(str+'\n')
167. file.close()
168. print "所有代理已验证完 毕，共计%d个验证通过。验证通过的代理已存入%s" % (len(result),fname)