centos7 搭建tinyproxy代理服务器

今日，发现平时能正常爬虫数据的网站，突然无法爬取了，怀疑是ip被封，于是使用别的阿里云公网ip进行访问，发现同样访问不了，于是初步怀疑是由于是爬虫放在阿里云服务器上，而阿里云服务器的公网ip都是有标识的，此网站可能会对ip进行解析，如果ip为阿里云公网ip则拒绝。由于访问一直是超时，并不是拒绝访问等，所以只是初步怀疑，或者阿里云ip对此网站访问时会有点问题等。也排除了dns的问题。

于是，便打算在本地服务器上设置代理服务器，让阿里云服务器的爬虫使用本地的代理服务器，进行代理访问网站。进行数据爬取。

代理服务器选择使用tinyproxy开源工具，轻量级，简单好用。下面是搭建步骤：

环境：

centos7

tinyproxy

1. 下载tinyproxy

yum install tinyproxy -y

2. 修改配置

vim /etc/tinyproxy/tinyproxy.conf# 端口
Port 8888
# 允许访问的ip，后面接允许的ip，比如我只需要我阿里云的公网ip能访问就行，于是用阿里云公网ip替换127.0.0.1。如果要所有ip均可访问就注释掉此配置
Allow 127.0.0.1
# 性能配置，一般不需要修改，根据需要进行调整。（这里我没有修改）
MaxClients 100
MinSpareServers 5
MaxSpareServers 20
StartServers 10
MaxRequestsPerChild 0
MaxRequestsPerChild 0

3. 启动服务

systemctl start tinyproxy

4. 开放端口

firewall-cmd --add-port=8888/tcp --permanent  # 开发的端口为你上面配置的端口
firewall-cmd --reload

5. 使用浏览器测试代理是否能正常使用

以chrome为例，点击设置 --> 高级 --> 打开代理设置。进入如下配置，将代理服务器的ip和port填写进去即可。

。

然后测试一些能否正常上网，能即正常代理

OK。到此便完成了代理服务器的搭建。

centos7 搭建tinyproxy代理服务器相关推荐

Centos7搭建Squid代理服务器
Centos7搭建Squid代理服务器 sumu's home 1.无需验证版----http 1.1 安装 yum install squid 1.2 修改配置文件打开文件: vim /etc/s ...
centos7安装tinyproxy代理服务器
安装: # centos yum install tinyproxy 编辑配置文件 vim /etc/tinyproxy/tinyproxy.conf vim /etc/tinyproxy/tinyp ...
centos7搭建socket5代理服务器
什么是socket5(ss5,同下文)? 网络上的两个程序通过一个双向的通信连接实现数据的交换,这个连接的一端称为一个socket. 如图所示: 建立网络通信连接至少要一对端口号(socket).so ...
Idea设置代理解决SpringInitlizer无法连上Spring.io以及插件市场无法连接等问题---tinyproxy代理服务器搭建和使用
首先,需要在阿里云上购买一台云服务器:云翼计划(24岁以下免费获得学生认证,24岁以后有一次购买学生云服务器的机会)很便宜大概9.5/月链接:https://promotion.aliyun.com/ ...
Centos7安装socks5代理服务器和http代理服务器
参考文章: Centos7安装socks5代理服务器 - gongniue - 博客园记一次tinyproxy代理 socks5代理 - 可惜啊. - 博客园 CentOS搭建代理服务器 - 抽象工 ...
CentOS 7 安装 TinyProxy 代理服务器
米扑科技,是一家专注互联网金融和大数据挖掘的初创互联网公司,正式注册成立于2016年9月,总部位于北京市海淀区中关村核心功能区. 米扑团队,成员来自百度.小米.阿里.创新工场等一线互联网公司,核心技术 ...
搭建Socks5代理服务器
搭建Socks5代理服务器本篇介绍在centos7上搭建一个socks5的代理服务器. 1.安装依赖软件包 [root@sg ~]# yum install gcc gcc-c++ pam-deve ...
CentOS7搭建Git服务器
CentOS7搭建Git服务器文章目录 CentOS7搭建Git服务器前言搭建步骤参考链接前言现有一台操作系统为CentOS 7的服务器,要将其作为代码库服务器使用,要求使用Git进行代码 ...
linux下本地的源的格式,[Linux]CentOS7搭建/配置：YUM仓库/源[本地源/HTTP源/自建源仓库...
[Linux]CentOS7搭建/配置:YUM仓库/源[本地源/HTTP源/自建源仓库 1 本地YUM源 1.1 [YUM仓库/服务端] 获取:软件包资源 1.2 [YUM仓库/服务端] 挂载/搭建: ...

centos7 搭建tinyproxy代理服务器

centos7 搭建tinyproxy代理服务器相关推荐

最新文章

热门文章