【Python网络蜘蛛 · 4】：代理ip的了解和基本使用、查看代理ip的有效性（附源代码）
目录
一、代理IP的了解和基本使用
1、代理IP
正向代理
反向代理
2、代理IP的分类
3、代理IP的基本使用
第一种用法：https
第二种用法：http
二、查看代理IP的有效性
1、查看自己的IP地址
2、在网上查找免费的代理IP
3、查看代理IP地址有效性的步骤
4、附源代码
一、代理IP的了解和基本使用
1、代理IP
代理：可分为正向代理和反向代理
正向代理
给客户端做代理，让服务器不知道客户端的真实身份，保护自己的IP地址，不会被封，要封也是封代理IP。
反向代理
给服务器做代理，让客户端不知道服务器的真实地址。
正向代理保护客户端，反向代理保护服务端。
2、代理IP的分类
透明代理：服务器知道我们使用代理IP，并且知道真实的IP。
匿名代理：服务器能够检测我们使用了代理IP，不知道真实的IP。
高匿代理：服务器不能检测使用了代理IP，也无法知道我们的真实IP。
3、代理IP的基本使用
代理参数：proxies
poxies的形式：字典
注意：当用到一个无效的代理IP，还是可以拿到数据，因为系统会自动使用本机的真实IP
第一种用法：https
'https' : 'IP地址:80'
第二种用法：http
'http' : '//IP地址:80'
二、查看代理IP的有效性
1、查看自己的IP地址
- 在浏览器搜索框中输入：IP地址查询
2、在网上查找免费的代理IP
- 这里提供一个免费代理IP的链接：
https://www.kuaidaili.com/free/https://www.kuaidaili.com/free/
网页会不断更新代理IP，因此每次刷新网页都有新的代理IP出现
3、查看代理IP地址有效性的步骤
- 在网上查询自己的IP地址，并记住本机的IP地址
- 在网上找到一个免费的代理IP
- 在IP地址查询的网页上抓包，找到IP地址所在的包，并复制其url
- 代码演示
4、附源代码
import requests
url = 'https://2022.ip138.com/'
headers = {'User-Agent': '' # 根据自己的User-Agent来写
}
# 构建代理IP
proxies = {'http': '//47.92.234.75:80'
}
res = requests.get(url,headers=headers,proxies=proxies)
print(res.content.decode())【Python网络蜘蛛 · 4】：代理ip的了解和基本使用、查看代理ip的有效性（附源代码）相关推荐
- 全网最全python实现数据挖掘，数据分析（matlablib，pandas，numpy，量化分析）（附源代码）
全网最全python实现数据挖掘,数据分析(matlablib,pandas,numpy,量化分析)(附源代码) 1.横直方图电影票房 2.散点图3月与10月每天的天气 3.条形图电影票房 4.条形图 ...
- 【Python网络蜘蛛】：基础 - HTTP基本原理
文章目录 1.1 HTTP基本原理 1. URI和URL 2. HTTP和HTTPS 3. HTTP请求过程 4. 请求 5. 响应 1.1 HTTP基本原理 1. URI和URL URI为统一资源标 ...
- 【Python网络蜘蛛 · 6】：明文和密文的转换、json模块的使用、jsonpath模块的使用（附源代码）
目录 一.明文和密文的转换 1.什么是明文密文? 2.明文和密文之间的转换 代码演示如下 二.json模块的使用 1.什么是json? 2.json字符串和字典的转换 代码演示: 三.jsonpath ...
- 【Python网络蜘蛛】：基础 - 爬虫的基本原理
文章目录 爬虫概述 能爬的数据 JavaScript渲染的页面 爬虫概述 获取网页 在HTTP基本原理中讲了请求和响应的概念,向网站的服务器发送一个请求,服务器返回的响应体便是网页源码.关键部分即构造 ...
- 【Python网络蜘蛛】基础 - 多线程和多进程的基本原理
文章目录 多线程和多进程的基本原理 多线程的含义 并发和并行 Python中的多线程和多进程 多线程和多进程的基本原理 在编写爬虫程序的时候,为了提高爬取效率,我们可能会同时运行多个爬虫任务,其中同样 ...
- 【Python网络蜘蛛 · 3】：post请求、模拟金山翻译（附源代码）
目录 一.post请求 1.post请求出现的场景 2.如何发送post请求 3.get和post的区别 二.模拟金山翻译 1.实现思路 2.具体实现步骤 3.实现源代码 一.post请求 1.pos ...
- （十三）python网络爬虫（理论+实战）——IP代理、构建IP代理池
系列文章: python网络爬虫专栏 目录 序言 本节学习目标 特别申明 5 ip代理
- python网络提示_python 网络发现
书籍:掌握Python的网络和安全 Mastering Python for Networking and Security - 2018.pdf 简介 掌握Python的网络和安全 掌握Python ...
- 关于网络蜘蛛以及搜索蜘蛛爬行
当"蜘蛛"程序出现时,现代意义上的搜索引擎才初露端倪.它实际上是一种电脑"机器人"(Computer Robot),电脑"机器人"是指某个能 ...
最新文章
- 领导者的本质——管理自己，影响别人！（深度好文）
- static_cast函数
- 详解scss的继承、占位符和混合宏
- idea 一直在build_CEO季度表彰团队| 我们一直在做最酷的事
- sql倒序排列取第一条_从零学会SQL·三——汇总分析
- python对字符串数组进行排序、依据字符数_Python进行数据的排序以及字符串的操作...
- hibernate 各种主键生成策略(转）
- Linux开机启动过程（15）：start_kernel()-＞rcu_init()初始化
- linux source多个文件夹,linux下source命令使用详解
- VS 2015 搭建Google Test
- Oracle OLAP 优化 这么玩！
- python藏头诗生成器_藏头诗生成器
- T3批次结存表和库存台账和现存量数量不一致
- 周记录学习总结＜大杂烩＞
- 结构化数据和非结构化数据、半结构化数据的区别
- 花嫁之容氏浅浅最后怎么样了_花嫁之容氏浅浅小说
- 电脑睡眠后启动 耳机没有声音 手动启动 -已解决
- 【计算机网络】第一章：计算机网络概述
- python做面板数据_用Python做数据分析的基本步骤（持续修改更新）
- 广告流量反作弊风控中的模型应用