Python 爬虫经常需要睡眠防止被封IP time sleep

###1.概率分布睡眠使用正态分布模拟范围波动的时间，更真实正态分布是一种连续型概率分布，在自然界中很常见，如身高、寿命、考试成绩等，属于各种因素相加对结果的影响。

import time
import randomdef random_sleep(mu=1, sigma=0.4):'''正态分布随机睡眠:param mu: 平均值:param sigma: 标准差，决定波动范围'''secs = random.normalvariate(mu, sigma)if secs <= 0:secs = mu  # 太小则重置为平均值time.sleep(secs)

μ=1， σ=0.4 运行结果: 0.7064196787554182 1.2534987046066317 0.9947152762545793 0.6406594468142128 1.1230730100881552 1.3657589217334918 0.352417427623824 1.060297589921571 1.16466426576179 1.6256129468167888

###2.随机小数

import random
t = random.random() #随机大于0 且小于1 之间的小数
time.sleep(t)

结果： 0.9441832228391154

import random
t = random.uniform(0,9)   #随机一个大于0小于9的小数
time.sleep(t)

结果： 7.646583891572416

###3.随机整数

t = random.randint(1,5)  #随机一个大于等于1且小于等于5的整数
time.sleep(t)

结果： 5

t = random.randrange(1,10,2)  #随机一个大于等于1且小于等于10之间的奇数，其中2表示递增基数
time.sleep(t)

结果： 3

###4.循环输出休眠1秒

import time
i = 1
while i = 3:print(i) # 输出ii += 1time.sleep(1) # 休眠1秒

###5.循环输出休眠100毫秒

import time
i = 1
while i = 3:print(i) # 输出ii += 1time.sleep(0.1) # 休眠0.1秒

Python 爬虫经常需要睡眠防止被封IP time sleep相关推荐

Python爬虫实战之：快代理搭建IP代理池（简版）
目录前言项目背景项目简介前期准备讲解1:项目搭建讲解2:安装 faker 库获取user-agent 讲解3:分析 "快代理" 页面讲解4:筛选有效IP 讲解5:Pa ...
Python爬虫抓取数据时怎么防止ip被封
大数据公司在做数据分析的时候,对目标网站频繁访问很容易触发网站的反爬机制,因此如果想要突破限制只能使用动态ip频繁切换地址模拟真实客户访问网站才能起到防封效果.比如在做数据抓取的时候报错403等限制访 ...
Python爬虫批量访问突破访问限制封禁的方法
坑述数据采集常用的方法是写一个爬虫程序向网络服务器请求数据(通常是用HTML表单或其他网页文件),然后对数据进行解析,提取需要的信息. 然而批量访问时会有访问限制更会认为频繁访问是恶意攻击,对i ...
Python爬虫方式抓取免费http代理IP
我们新手在练手的时候,常常需要一些代理IP进行爬虫抓取,但是因为学习阶段,对IP质量要求不高,主要是弄懂原理,所以花钱购买爬虫代理IP就显得没必要(大款忽略),今天跟大家分享一下,如果使用爬虫抓取免费 ...
【python爬虫】在scrapy中利用代理IP（爬取BOSS直聘网）
同学们好,我又滚回来更新了,这一次我们要爬取的目标是BOSS直聘,BOSS直聘可以说是反爬虫一个很好的例子了,主要在于如果你访问他的次数过多,他就会出现验证码,要求你通过验证才能继续看,这样还算可以, ...
Python爬虫开发：requests库的使用--ip代理参数的设置
（python爬虫时）如何知道是否代理ip伪装成功
通过请求 http://httpbin.org/get 获得类似以下信息: {"args": {}, "headers": {"Accept&q ...
Python爬虫9大入门学习知识点
1.掌握Python编程能基础想要学习爬虫,首先要充分掌握Python编程技术相关的基础知识.爬虫其实就是遵循一定的规则获取数据的过程,所以在学习Python知识的过程中一定要重点学习其中的数据类型 ...
如何自学python爬虫-怎样入门学习Python爬虫？
怎样入门学习Python爬虫? 1.掌握Python编程能基础想要学习爬虫,首先要充分掌握Python编程技术相关的基础知识.爬虫其实就是遵循一定的规则获取数据的过程,所以在学习Python知识的过 ...
python爬虫反爬-python爬虫--爬虫与反爬
爬虫与反爬爬虫:自动获取网站数据的程序,关键是批量的获取. 反爬虫:使用技术手段防止爬虫程序的方法误伤:反爬技术将普通用户识别为爬虫,从而限制其访问,如果误伤过高,反爬效果再好也不能使用(例如封i ...

Python 爬虫经常需要睡眠防止被封IP time sleep

Python 爬虫经常需要睡眠防止被封IP time sleep

Python 爬虫经常需要睡眠防止被封IP time sleep相关推荐

最新文章

热门文章