php模拟getua_php实现进行远程抓取百度网页内容,并伪装服务器端ip
[PHP] 纯文本查看 复制代码<?php
error_reporting(E_ALL^E_NOTICE^E_WARNING);
$useragent= $_SERVER['HTTP_USER_AGENT'];
//获取客户端ip
function getip() {
$unknown = 'unknown';
if (isset($_SERVER['HTTP_X_FORWARDED_FOR']) && $_SERVER['HTTP_X_FORWARDED_FOR'] && strcasecmp($_SERVER['HTTP_X_FORWARDED_FOR'], $unknown)) {
$ip = $_SERVER['HTTP_X_FORWARDED_FOR'];
}
elseif(isset($_SERVER['REMOTE_ADDR']) && $_SERVER['REMOTE_ADDR'] && strcasecmp($_SERVER['REMOTE_ADDR'], $unknown)) {
$ip = $_SERVER['REMOTE_ADDR'];
}
if (false !== strpos($ip, ',')) $ip = reset(explode(',', $ip));
return $ip;
}
function get_client_ip(){
$cip = "unknown";
if($_SERVER['REMOTE_ADDR']){
$cip = $_SERVER['REMOTE_ADDR'];
}else if(getenv("REMOTE_ADDR")){
$cip = getenv("REMOTE_ADDR");
}
return $cip;
}
//添加关键词
$word=[
'土工布',
'土工布2',
];
$arrword=$word[mt_rand(0,count($word)-1)];
$keyword= urlencode($arrword);
$url = "http://m.baidu.com/s?word=".$keyword;
//$url = "http://www.sdfymj.com/ua.php";
// 构造包头,模拟浏览器请求
$header = array (
"Host:[url=http://www.baidu.com]www.baidu.com[/url]",
"Content-Type:application/x-www-form-urlencoded",//post请求
"Connection: keep-alive",
'Referer:[url]http://m.baidu.com/'[/url]
);
$ch = curl_init ();
curl_setopt ( $ch, CURLOPT_URL, $url );
curl_setopt ( $ch, CURLOPT_HTTPHEADER, $header );
curl_setopt($ch, CURLOPT_USERAGENT, $useragent);
curl_setopt($ch, CURLOPT_HTTPHEADER, array('X-FORWARDED-FOR:'.getip(), 'CLIENT-IP:'.get_client_ip()));
curl_setopt ( $ch, CURLOPT_RETURNTRANSFER, 1 );
// 执行
$content = curl_exec ( $ch );
if ($content == FALSE) {
echo "error:" . curl_error ( $ch );
}
// 关闭
curl_close ( $ch );
//输出结果
echo $content;
?>
php模拟getua_php实现进行远程抓取百度网页内容,并伪装服务器端ip相关推荐
- php远程抓取页面内容,php使用服务器进行远程抓取百度网页内容
php使用服务器进行远程抓取百度网页内容 error_reporting(E_ALL^E_NOTICE^E_WARNING); $useragent= $_SERVER['HTTP_USER_AGEN ...
- python语言翻译-教你用Python抓取百度翻译
最近一直在一个平台学习Python,所以分享下课程里面抓取百度翻译的操作.原理其实也很简单,就是将浏览器请求的操作我们用python进行模拟,从而获取到返回的数据,我们将返回的数据进行提取,从而得到我 ...
- 教你用Python抓取百度翻译
最近一直在一个平台学习Python,所以分享下课程里面抓取百度翻译的操作.原理其实也很简单,就是将浏览器请求的操作我们用python进行模拟,从而获取到返回的数据,我们将返回的数据进行提取,从而得到我 ...
- java抓取百度搜索结果_java实现抓取百度对某站点搜索结果
htmlunit 是一款开源的java 页面分析工具,读取页面后,可以有效的使用htmlunit分析页面上的内容.项目可以模拟浏览器运行,被誉为java浏览器的开源实现.这个没有界面的浏览器,运行速度 ...
- Python爬虫之小试牛刀——使用Python抓取百度街景图像
之前用.Net做过一些自动化爬虫程序,听大牛们说使用python来写爬虫更便捷,按捺不住抽空试了一把,使用Python抓取百度街景影像. 这两天,武汉迎来了一个德国总理默克尔这位大人物,又刷了一把武汉 ...
- 使用curl抓取百度首页
<?php //curl模拟get请求 抓取百度首页 $url="http://www.baidu.com"; //1.初始化curl $ch=curl_init(); / ...
- php爬取百度相关关键词,PHP实现抓取百度搜索结果页面【相关搜索词】并存储到txt文件示例...
本文实例讲述了PHP实现抓取百度搜索结果页面[相关搜索词]并存储到txt文件.分享给大家供大家参考,具体如下: 一.百度搜索关键词[脚本之家] [脚本之家]搜索链接 https://www.baidu ...
- python爬取百度贴吧中的所有邮箱_使用 Python 编写多线程爬虫抓取百度贴吧邮箱与手机号...
原标题:使用 Python 编写多线程爬虫抓取百度贴吧邮箱与手机号 不知道大家过年都是怎么过的,反正栏主是在家睡了一天,醒来的时候登QQ发现有人找我要一份贴吧爬虫的源代码,想起之前练手的时候写过一个抓 ...
- 如何在php搜索显示数据库数据结构_PHP如何实现抓取百度搜索结果并分析数据结构...
PHP如何实现抓取百度搜索结果并分析数据结构 发布时间:2020-09-26 09:26:19 来源:亿速云 阅读:95 作者:小新 这篇文章主要介绍PHP如何实现抓取百度搜索结果并分析数据结构,文中 ...
最新文章
- Python基于MASK信息抽取ROI子图实战:原始影像和mask文件都是二维的情况
- css之创建常用图形
- Java IO 之 管道流 原理分析
- Android多媒体学习三:实现自己的Camera
- [css] 你对视网膜(Retina)分辨率有了解吗?有没有在实际中使用过?
- 河南农大姚文与张会勇课题组合作发表长文综述,系统总结R/Shiny在开发交互式生物学网络工具中的应用...
- PTA-6-1 利用指针找最大值 (10分)(C语言)
- html微软雅黑无效,移动端h5不支持font-family里面的楷体、微软雅黑等字体
- 需求管理系统分析与设计
- java计算机毕业设计疫情期间医院挂号管理系统源码+数据库+lw文档+系统+部署
- C/C++动态内存开辟详解(含常见错误以及经典面试题)
- 【excel】开启了循环引用怎么关闭
- 高通平台的usb2.0测试_深圳格拉布斯研究院全自动高通量催化剂制备及筛选设备已正式启用...
- 返利网PHP面试_【返利网PHP面试】面试不算难 但是公司的办事奇怪-看准网
- 使用 Mapbox 在 Vue 中开发一个地理信息定位应用
- Modulation of Lipid Metabolism by Celastrol (文献分享一组-赵倩倩)
- 【python安装】其他支持库的安装
- Floodlight 入门 之 起步篇 - 如何处理PacketIN消息
- cisco3750交换机常用命令总结
- 解决PHP mail发送UTF-8中文邮件乱码