python 爬虫使用requests设置代理

免费代理的网站: http://www.xicidaili.com/nn/

代码部分：

import requests

proxy='124.243.226.18:8888'

#如果代理需要验证，只需要在前面加上用户名密码，如下所示

# proxy='username:password@124.243.226.18:8888'
proxies={
   'http':'http://'+proxy,
   'https':'https://'+proxy,
}
try:
   response=requests.get('http://httpbin.org/get',proxies=proxies)
   print(response.text)
except requests.exceptions.ConnectionError as e:
   print("Error",e.args)

输出：

{
"args": {},
"headers": {
    "Accept": "*/*",
    "Accept-Encoding": "gzip, deflate",
    "Connection": "close",
    "Host": "httpbin.org",
    "User-Agent": "python-requests/2.20.0"
},
"origin": "124.243.226.18",
"url": "http://httpbin.org/get"
}

基于 selenium的代理设置：

from selenium import webdriver

proxy='124.243.226.18:8888'

option=webdriver.ChromeOptions()

option.add_argument('--proxy-server=http://'+proxy)

driver = webdriver.Chrome(options=option)

driver.get('http://httpbin.org/get')

转载于:https://www.cnblogs.com/hexia7935/p/10073927.html

python 爬虫使用requests设置代理相关推荐

【Python 爬虫】 requests sock5代理 SSLError:SOCKSHTTPSConnectionPool错误
首先本地得有ss客户端并启用. 然后设置代理,默认是本机1080端口,可以点开小飞机查看一下(不是你连接的服务器的端口). import requests proxies = {'http': 'so ...
Python——爬虫【Requests设置请求头Headers】
1.为什么要设置headers? 在请求网页爬取的时候,输出的text信息中会出现抱歉,无法访问等字眼,这就是禁止爬取,需要通过反爬机制去解决这个问题. headers是解决requests请求反爬的 ...
关于python爬虫（requests）设置http代理的源码demo
科技不断发展,网络给我们带来了便利,但有时候也会遇到问题,当我们在网络中畅游时,很可能遇到IP受限导致的访问不了这种事情,这个时候我们就需要使用到http代理IP. 那么如何判断自己遇到的是访问受限呢 ...
用Python爬虫抓取免费代理IP
点击上方"程序员大咖",选择"置顶公众号" 关键时刻,第一时间送达! 不知道大家有没有遇到过"访问频率太高"这样的网站提示,我们需要等待一段 ...
python爬虫基础-requests库
python爬虫基础-requests库 python爬虫 1.什么是爬虫? 通过编写程序,模拟浏览器上网,然后让其去互联网上抓取数据的过程. 注意:浏览器抓取的数据对应的页面是一个完整的页面. 为什 ...
爬虫笔记7：requests设置代理IP
一.为什么要设置代理IP 爬虫爬取网站时,如果被对方识别是爬虫,就很可能被封号(即不能访问该网站). 二.怎么获取IP 1.通过网站:https://www.ipip.net/(获取外网IP) 2.通 ...
python爬虫简单的添加代理进行访问
在使用python对网页进行多次快速爬取的时候,访问次数过于频繁,服务器不会考虑User-Agent的信息,会直接把你视为爬虫,从而过滤掉,拒绝你的访问,在这种时候就需要设置代理,我们可以给proxi ...
python爬虫之requests模块2
python网络爬虫之requests模块 session处理cookie proxies参数设置请求代理ip 基于线程池的数据爬取一获取验证码步骤: 1 注册云大码 http://www. ...
python爬虫——使用requests库和xpath爬取猎聘网职位详情
文章目录前言一.页面分析 1.职位列表页面分析 2.职位详情页面URL获取 3.职位详情页面分析至此,所有页面解析完毕,开始写代码. 二.代码编写 1.导入相应库 2.设置代理和随机请求头 3. ...

python 爬虫使用requests设置代理

python 爬虫使用requests设置代理相关推荐

最新文章

热门文章

python 爬虫 使用requests设置代理

python 爬虫 使用requests设置代理相关推荐

最新文章

热门文章

python 爬虫使用requests设置代理

python 爬虫使用requests设置代理相关推荐