代码是正经代码，但是程序员正不正经就不知道了。

前言

在使用爬虫对某些网站进行爬取时，为了不让网站发现我们的ip，模拟其他用户ip地址去访问网站。也就相当于间接的去访问网站，流程如图：

我们使用到代理服务器，去间接访问网络，并通过代理返回数据。而不是走直接访问这条流程。

正文阅读

第一、什么是代理服务器

代理服务器（Proxy Server）的功能是代理网络用户去取得网络信息。形象地说，它是网络信息的中转站，是个人网络和Internet服务商之间的中间代理机构，负责转发合法的网络信息，对转发进行控制和登记。

第二、Requests请求使用代理。

在已经知道一个代理ip之后，我们如何使用呢？

import requests
response=requests.get("http://www.baidu.com",proxies={"http":"127.0.0.1:1245"})
print(response.text)

在使用requests模块去请求接口时，便可以通过参数proxies 来进行传输，将所需要的代理ip进行设置。

第三、本地计算机如何使用代理服务器。

已经学会了如何请求接口时，添加代理，那如何为本地结算机设置代理呢。

找到我们的代理ip，然后按照下面的操作进行。

方法1：手动设置代理

1、按win键，或者打开ie浏览器

2、搜索internet选项，或者在ie浏览器右上角设置选择internet选项。

3、点击连接，找到局域网设置

4、勾选代理，并设置ip地址，端口。

这样，我们就成功设置了代理，接下来访问的所有数据都会传输到这个代理ip中。

方法2：直接使用命令行修改

这么修改也太麻烦了一点，直接使用命令行来解决是不是要简单一点呢？

设置代理：

@echo off
echo 设置代理服务器……
reg add "HKCU\Software\Microsoft\Windows\CurrentVersion\Internet Settings" /v ProxyEnable /t REG_DWORD /d 1 /f
reg add "HKCU\Software\Microsoft\Windows\CurrentVersion\Internet Settings" /v ProxyServer /d "39.106.223.1342:80" /f
start iexplore.exe
Pause

取消代理：

@echo off
echo 取消代理服务器……
reg add "hkcu\Software\Microsoft\Windows\CurrentVersion\Internet Settings" /v ProxyEnable /t REG_DWORD /d 0x0 /f
start iexplore.exe
Pause

这里为什么要启动一下ie浏览器呢？主要是为了让我们的配置生效，找了一些方法都不能生效，启动一下ie浏览器生效比较快，还简单。

第四、验证计算机代理ip是否有用，服务器接收情况。

我们已经设置成功了，那我们访问网站时是否有效呢？抱着这个因为，我们继续来往下看。

需要做验证，那我们需要用到服务端。当我们请求服务器时，显示的ip，我们就可以知道是否生效。

服务器端：我们需要在服务器端搭建一个简易网站，我们可以通过服务器打印的日志看出当前请求的ip，这里我们使用的是windows服务器，如果有兴趣研究学习的，可以先花五十元，去买一个月那种便宜的服务器玩一下。当然用途不只是研究本课题，还有其他用途。

代码如下：

from flask import *
app = Flask(__name__)
@app.route('/')
def index():ip = request.remote_addr#获取用户ipreturn "你的ip为"+ip
if __name__ == '__main__':app.run(host="0.0.0.0",port=8088)#0000，允许所有用户访问，127.0.0.1允许本地用户访问。

这里，使用我的服务器ip便可以访问，http://123.207.31.148:8088/，网站：http://www.djyqxbc.vip当我们访问这个链接，然后就可以查询到ip。

1、原始ip

用户端显示：

服务器端请求情况：

Ok，成功获取到我们的ip，接下来，我们换一个代理ip试一下。

2、代理ip

我们使用代理ip为58.240.52.114:80。

用户端显示：

服务器端显示情况：

我们可以通过这个简单的例子看出，我们本地使用的代理ip是生效的，那使用requests模块请求呢，如图，我们可以看到，是相同的结果。那说明代理ip对于服务器端来说，的确能起到掩盖ip的作用。

第五、Fiddle代理，安全，以及相关工具。

在本地设置代理方法有很多，比如上面提到的第三条。然后还有：

Fiddle工具，如图，我们可以通过设置代理端口来设置，本地请求的数据，都会发送到127.0.0.1:8888：

Fiddle只是其中一个，也是我们测试同学常用的一个软件。另外还有jmeter也同样可以设置代理，添加一个代理服务器。

当然，还有其他很多工具，这里就不一一列举了。

Fiddle常用于爬虫分析，安全分析，测试同学测试抓包。

这里能不能拦截使用代理呢。当你使用了代理进行访问时，禁止访问。

1、Js，app判断是否系统设置代理，如果设置代理，给出警告，不加载数据

优点：快，缺点：用户修改js代码，替换js，依然可以访问。但一般用户操作不了。多数人都是正常访问的。

2、限制代理ip访问，建立一个代理ip库，将市面上的代理ip存储进去，用户访问时，与代理ip库对比。如果有就直接禁制。

优点，能限制大多数代理ip。缺点：额外增加查询步骤，速度降低。

3、不限制。普通用户一般不这样操作，也不会，做好用户检验，没有这个用户，你有代理ip也还是这个用户。你换用户，随你换好了。

当然大家还有什么好的方式也可以在评论区讨论哦。

第六、搭建一个自己的代理服务器

搭建代理服务器，需要使用到一款软件，ccproxy。

资源链接（已破解）：公众号回复“代理服务器”便可获取

将这款软件安装到你的服务器上，并启动，通过设置，我们可以设置代理端口号。根据对应需要服务进行设置端口号。

这样，我们的代理服务器就搭建好了，代理ip：123.207.31.148:808然后我们来验证我们代理是否有效。

第七、代理服务器有效性验证。

想要验证我们自己搭建的代理服务器是否有效，那我们这次直接来看，request模块是否有效，需要做的是对比代理服务器启动前后的变化来判断。

1、代理服务未启动时

关闭代理，并请求接口，会提示代理服务器错误，就说明没有这个代理：

import requests
response=requests.get("http://123.207.31.148:8088/",proxies={"http":"123.207.31.148:808"})
print(response.text)

2、代理服务器启动时

我们启动代理服务器，再来请求一下，我们可以从下面两幅图，以及和上面做出对比，ip也是我们设置的代理服务器，我们的代理服务器有效。

用户端：

服务器端：

3、修改代理服务器端口

我们将原来的808端口修改为8081，再来试一下。808也就不再生效。

8081请求：

这样，我们的代理服务器也就说明设置是有效的。

第八、爬取代理服务器

我们一个代理服务器已经搞定了，相同的，当我们有几百，上千个服务器，都搭建了代理服务器，那我们是不是拥有了自己的代理ip池。但我们没那么多钱，也没必要。只能去用别人的了。

代理ip池获取，代码如下：

import requests
from bs4 import BeautifulSoup

def proxy_ip(protocol=["http"],anonlv1=[],country=["CN"]):""":param protocol: 请求方式：http，https,socks4,socks5:param anonlv1: 级别：1,2,3,4   L1 – 透明，L2 – 匿名，L3 – 扭曲，L4 – 精英:param country: 国家，无为全部,CN 中国:return:ip_list，ip列表"""text=""for i in protocol:text+="protocol="+i+"&"for i in anonlv1:text+="anonlv1="+i+"&"for i in country:text+="country="+i+"&"global headersheaders={'Cookie': '_ga=GA1.2.1786575828.1619658683; _gid=GA1.2.555491280.1623999959; _gat=1','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.85 Safari/537.36'}response=requests.get("http://proxydb.net/?"+text,headers=headers)Soup = BeautifulSoup(response.text, "html.parser")table = Soup.find_all("table")[0].find_all("a")list=[]for i in table:ip=i.get_text()list.append(ip)return list

文章总结

通过本文，你可以了解到

1、requests模块如何设置代理。

2、代理ip设置是否真有效。

3、如何搭建自己的代理服务器。

4、代理ip池的获取。

处于安全方面来说，因为我们请求时，数据会发送到代理服务器，如果请求在账号密码是明文的情况下，代理服务器就可以获取到你的账号信息。

同理，翻墙软件也是一种代理，只不过他代理到国外去了。翻墙软件也是能获取到你的用户信息的哦，所以大家需要注意个人信息安全呀。

我裂开了，教给他如何搭建和使用代理服务器，他居然用来做这么不正经的事（爬虫，代理ip）相关推荐

Linux + ProxyPool 搭建属于爬虫代理IP池
前言: 当爬虫达到一定速度时,大家都会遇到封Ip的情况,而搭建代理ip池是解决的最好方法,网络上有很多优秀的付费代理,但是作为白嫖党的我们又怎么能付钱那,本文将教会大家用一个成熟的开源项目搭建代理池. ...
搭建一个自己的百万级爬虫代理ip池.
做爬虫抓取时,我们经常会碰到网站针对IP地址封锁的反爬虫策略.但只要有大量可用的代理IP资源,问题自然迎刃而解. 以前尝试过自己抓取网络上免费代理IP来搭建代理池,可免费IP质量参差不齐,不仅资源少. ...
如何搭建和使用代理服务器
我裂开了,教给他如何搭建和使用代理服务器,他居然用来做这么不正经的事(爬虫,代理ip)_大家一起学编程(python)的博客-CSDN博客_python代理服务器搭建
搭建代理IP池的方法
突破次数的限制就可以使爬虫更高效的工作,代理IP是突破次数限制,提高爬虫高效工作的最好的工具.所以,很多人都想通过建立IP池的方法,实现换IP突破限制,那么这IP池如何进行搭建呢? 一,免费搭建代理I ...
利用多线程爬虫搭建代理ip池的两种方法（含源码）
搭建爬虫代理ip池的两种方法(含源码) 前言一.ip池是什么? 二.爬取原理三.使用步骤方法一爬取网站https://www.kuaidaili.com/ 验证存取到mysql 方法二爬取 ...
免费的高匿名爬虫代理池不求人|高可用、高匿名、代理池详解及搭建推荐
文章目录关于代理的分类: 透明代理(Transparent Proxy) 匿名代理(Anonymous Proxy) 混淆代理(Distorting Proxies) 高匿代理(Elite prox ...
Nginx搭建HTTP正向代理服务器
Linux系统(CentOS为例) 应用场景: 公司内网电脑A的访问外网网页(比如jd.com)的权限被限制,但是有一台能与电脑A通信的电脑B,这台电脑B可以访问外网,在电脑B上搭建HTTP代理,电脑 ...
vps搭建代理ip服务
伪装ip是做爬虫比较常见也比较重要的一步. 本文记录centos7.6拨号搭建代理ip服务器的过程. 一.购买拨号服务器. 在服务器测试拨号是否正常用到下面两个命令 pppoe-start pppoe ...
什么是HTTP代理池，如何搭建代理IP池？
在爬虫采集数据的时候,我们通常会说到一个问题:要有足够大的IP池子,很多HTTP代理厂商也会强调自己的IP池子是几百万/几千万级别的,那对于爬虫小白来说,代理IP池子到底是什么呢? 简单来说,你可以把 ...
记录vultr搭建https爬虫代理
记录vultr搭建https爬虫代理记录vultr搭建https爬虫代理准备安装squid和httpd-tools,直接yum安装设置认证的账号密码配置squid,支持http代理 http ...

我裂开了，教给他如何搭建和使用代理服务器，他居然用来做这么不正经的事（爬虫，代理ip）

前言