node爬虫伪造ip与请求头
//浏览器库
const userAgents = ["Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.12) Gecko/20070731 Ubuntu/dapper-security Firefox/1.5.0.12","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11","Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20","Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER","Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0) ,Lynx/2.8.5rel.1 libwww-FM/2.14 SSL-MM/1.4.1 GNUTLS/1.2.9","Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)","Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)","Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)","Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:2.0b13pre) Gecko/20110307 Firefox/4.0b13pre","Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52","Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.12) Gecko/20070731 Ubuntu/dapper-security Firefox/1.5.0.12","Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)","Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6","Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6","Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)","Opera/9.25 (Windows NT 5.1; U; en), Lynx/2.8.5rel.1 libwww-FM/2.14 SSL-MM/1.4.1 GNUTLS/1.2.9","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36"
];//构造请求头-浏览器
function randomHead() {return userAgents[Math.floor(Math.random() * (0 - userAgents.length) + userAgents.length)];
}//构造请求头-ip
function returnIp() {return (Math.floor(Math.random() * (10 - 255) + 255) +"." +Math.floor(Math.random() * (10 - 255) + 255) +"." +Math.floor(Math.random() * (10 - 255) + 255) +"." +Math.floor(Math.random() * (10 - 255) + 255));
}
.set({"User-Agent": randomHead(),"X-Forwarded-For": returnIp()})
node爬虫伪造ip与请求头相关推荐
- python爬虫京东中文乱码_python3爬虫中文乱码之请求头‘Accept-Encoding’:br 的问题...
当用python3做爬虫的时候,一些网站为了防爬虫会设置一些检查机制,这时我们就需要添加请求头,伪装成浏览器正常访问. header的内容在浏览器的开发者工具中便可看到,将这些信息添加到我们的爬虫代码 ...
- 爬虫-04-常见的请求头
HTTP请求 举例: CSDN-专业IT技术社区 https://www.csdn.net/ GET / HTTP/1.1 Host: www.csdn.net Connection: keep-al ...
- Python——爬虫【Requests设置请求头Headers】
1.为什么要设置headers? 在请求网页爬取的时候,输出的text信息中会出现抱歉,无法访问等字眼,这就是禁止爬取,需要通过反爬机制去解决这个问题. headers是解决requests请求反爬的 ...
- python 请求头_Python爬虫:将headers请求头字符串转为字典
第一种方法 如上图所示,然后复制粘贴到pycharm里,存放到字典里 然后使用ctrl+r快捷键打开替换功能,并勾选Regex 替换源为:(.?): (.?)$ 替换为:"$1": ...
- Python爬虫——2.底层操作和请求头、请求代理以及cookie操作
本文章此节主要讲解: ·爬虫程序urllib2模块底层操作: ·请求头的设置和添加: ·请求代理的种类和类型: ·关于cookie的操作(手动添加/程序自动获取) 一.爬虫底层操作和请求头的设置 1. ...
- http请求头详解and爬虫
爬虫离不开http协议,在模拟请求的时候,请求头伪装的越像越好.我自己在这里总结一下请求头里所有(如果有落下请留言提醒我)参数详情,更多的侧重爬虫. 请求头大小写识别,首字母大写.文中client,客 ...
- python 随机请求头_为了爬虫换个头,我用python实现三种随机请求头方式!
相信大家在爬虫中都设置过请求头 user-agent 这个参数吧? 在请求的时候,加入这个参数,就可以一定程度的伪装成浏览器,就不会被服务器直接识别为spider.demo.code ,据我了解的,我 ...
- Python爬虫requests模块在线生成请求头
写爬虫的时候,请求头几乎是必写的,但是写起来有点繁琐,虽然不难,但是麻烦,所以这时候,一个自动生成请求头的方法就显得很重要了 在线生成请求头 https://curlconverter.com/ 使用 ...
- python request 请求头_python爬虫请求头如何设置?
一.requests设置请求头: import requests url="http://www.targetweb.com" headers={ 'Accept':'text/h ...
最新文章
- JavaSE基础:Arrays工具类
- 借组磁带机求第K小元素
- java url特殊字符处理_简单实例处理url特殊符号处理(2种方法)
- C#中协变和逆变的基本概念、List和List.Select方法的命名空间
- QDoc通用配置变量
- 环的寻找:寻找无向图中所有存在的环-删除点法
- 答CSDN关于建模的系列问题
- Mockito匹配器优先
- mysql.sock 111,错误2002(HY000):无法通过套接字’/var/run/mysqld/mysqld.sock’连接到本地MySQL服务器(111)...
- 西瓜书+实战+吴恩达机器学习(八)监督学习之朴素贝叶斯 Naive Bayes
- 基于motion的视频压缩的实时监控系统
- HAUT校赛--最大奇子段和
- Codeforces 1042 D Petya and Array
- 机器学习(一)协同过滤推荐算法
- php ctf题,CTF---PHP安全考题
- 云服务器多开账号,怎么用云服务器多开模拟器
- LQ0122 等腰三角形【打印图形】
- 圆锥形怎么画_草图大师怎么画圆锥形?
- 6 生僻字_蔬菜中的生僻字你知道哪些?
- 优雅のJava(五)—— 优雅的观察对象与订阅信息 观察者模式 好莱坞原则