对于网速慢，被墙的朋友，你们有福了，我现在把我经常获取可以的代理服务器地址的代码发出来

1. ##########################################
2. #获取有效http代理服务器列表程序
3. #作者:yifangyou
4. #创建时间:2011-03-27 17:14:00
5. #本程序实现
6. #1.从代理网站获取代理服务器列表
7. #2.逐个检测代理服务器是否可用
8. ##########################################
9. package yifangyou;
10. use LWP::Simple;
11. use LWP::UserAgent;
12. use strict;
13. use warnings;
14. use LWP::Simple qw( $ua get );
15. #代理服务器ip和端口存放的地方
16. my @proxys=();
17. #已经检测完的代理服务器ip和端口存放的地方
18. my @checkedProxys=();
19. #已经检测完的代理服务器ip和端口存放的地方,我用的百度首页的图标
20. my $stdUrl="http://www.baidu.com/img/baidu_sylogo1.gif";
21. #代理服务器列表页面的url，可以加多个页面
22. my @urls=("http://www.5uproxy.net/http_fast.html");#,"http://www.5uproxy.net/http_anonymous.html","http://www.5uproxy.net/http_non_anonymous.html");
23. $ua->timeout(3); # 3秒超时
24. $ua->agent("Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)"); # 模拟xp ie7浏览器
25. #获取待验证的代理服务器列表
26. foreach my $url(@urls){
27. getProxyAddr($url);
28. }
29. #验证代理服务器列表
30. foreach my $proxyAddr(@proxys){
31. checkProxyAddr($stdUrl,$proxyAddr);
32. }
33. #输出所有结果
34. print join(",",@checkedProxys)."\n";
35. #获取待验证的代理服务器列表
36. sub getProxyAddr
37. {
38. my $url=shift;
39. my $document = get($url);
40. return print "cannot get $url\n" unless defined $document;
41. my @lines=split("\n",$document);
42. my $i=0;
43. my @matches;
44. for($i=0;$i<@lines;$i++){
45. #获取ip
46. if(@matches=$lines[$i]=~/(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})/i) {
47. my $ip=$matches[0];
48. #获取端口
49. if(@matches=$lines[$i+1]=~/<td.*>(\d{1,6})<\/td>/i) {
50. my $port=$matches[0];
51. push(@proxys,"$ip:$port");
52. }
53. }
54. }
55. }
56. #验证代理服务器列表
57. sub checkProxyAddr{
58. my $url=shift;
59. my $proxyAddr=shift;
60. $ua->proxy(['http'], "http://$proxyAddr"); # 设http代理服务器
61. my @headcontent=head($url); #取head比较快
62. if(scalar(@headcontent)==0){
63. #     print "Could not get head from $proxyAddr\n";
64. return -1;
65. }else{
66. print "$proxyAddr\n";
67. push(@checkedProxys,"$proxyAddr");
68. return 0;
69. }
70. #    my $ua = new LWP::UserAgent;
71. # $ua->timeout(3); # 3秒超时
72. # $ua->proxy(['http'], "http://$proxyAddr"); # 设http代理服务器
73. # $ua->agent("Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)"); # 模拟xp ie7浏览器
74. # my $req = new HTTP::Request->new(GET => $url);
75. # my $res = $ua->request($req);
76. # if ($res->is_success){
77. #         print "$proxyAddr\n";
78. #         push(@checkedProxys,"$proxyAddr");
79. #         return 0;
80. # }else {
81. #     print "Could not get head from $proxyAddr\n";
82. #     return -1;
83. #    }
84. }

本文转自yifangyou 51CTO博客，原文链接：http://blog.51cto.com/yifangyou/605763，如需转载请自行联系原作者