正 文:

现在有些IDC为了服务器的稳定运行,会给服务器安装金盾防火墙来防止CC/DDOS攻击等,这本来是一件好事,可以有效的阻止这些非法攻击,但是由于开启了金盾防火墙,所有的网址后面会出现随机符:?jdfwkey=jkd3k类似这样的。

jdfwkey 含义解读:j(金)d(盾)f(火-fire)w(墙-wall)key(验证码)=hj67l9(随机码)。

当开启了金盾防火墙后,根据策略不同,一般有两种情况发生:

(一)可能所有的网址后面都会自动添加 jdfwkey 验证码;

(二)也有可能每个新IP第一次访问网站时出现 jdfwkey 验证码,在接下来的一段时间内(一般为24小时内)不再出现 jdfwkey,但是超过一定的时间后(如24小时),又会自动出现 jdfwkey 验证码。

开启金盾防火墙的好处就是可以防止ddos之类攻击,但是今天飘易要说的不是它的好处,而是它的严重弊端!

虽然开启金盾后,用户通过浏览器(默认支持javascript)可以正常浏览网站内容,真正的流程是:

打开网页 --> 获取一段跳转的JS代码(搜索引擎会卡在这里) --> 真正的网页。

大家都知道,搜索引擎在抓取网站页面的时候,是不支持javascript代码的,更不会执行任何js代码。开启金盾防火墙后,搜索引擎在抓取网页的时候,只能抓取到下面的这段提示“访问本页面,您的浏览器需要支持JavaScript”的源码:

>7)|((ab[cb]<<1)&0xff);}bb="";for(cb=1;cb

访问本页面,您的浏览器需要支持JavaScript

The browser needs JavaScript to continue

这根本不是网页原始代码,搜索引擎自然会认为你的网站出现了严重问题,因为所有的页面都返回了这样的毫无意义的js代码。结果可想而知,时间一长,搜索引擎接下来就是要降权、K站。

【解决方法:】

如果我们设计的winform程序,用户定时发出请求,这类请求完全正常,只是防火墙误杀了。我们可以在winform里放置一个webbrowser,当检测到出现上述特征代码时,启用webbrowser访问网页一次后,再次使用HttpWebRequest 获取网页源码即可。原理就是利用了 webbrowser 可以执行javascript代码的特点。

string html = getHtml(g_url, "utf-8"); //利用HttpWebRequest获取网页源码

if (html.ToLower().Contains("needs javascript to continue"))

{

string jdfwkey = "检测到服务器启用了防火墙!  时间:" + DateTime.Now.ToString("yyyy-MM-dd HH:mm:ss") + "\r\n";

StreamWriter sw = File.AppendText("error.txt");

sw.Write(jdfwkey);

sw.Close(); sw.Dispose();

webBrowser3.Navigate(g_url); //启用浏览器访问一次

//* ---------------------

int i = 0;

while (i < 20) { Application.DoEvents(); Thread.Sleep(100); i++; }

while (i < 100)

{ //延时

Application.DoEvents(); Thread.Sleep(100); i++;

if (webBrowser3.ReadyState == WebBrowserReadyState.Complete && (webBrowser3.StatusText == "完成" || webBrowser3.StatusText == "Done")) break;

}

//* ---------------------

goto endthis;

&nbsp

亲,或许有关 ---

"服务器防火墙打开后百度抓取失败"

教程及解决方案到这里 -->>  〖狸窝宝典〗有答案!如没有,请反馈给客服qq876292449

㊣狸窝- 为用户提供解决方案! 如需客服(QQ876292449)人工协助解决问题请升级vip,这里升级:

http://www.leawo.cn/do.php?ac=rg

成为vip后有什么好处?

http://www.leawo.cn/space-1-do-thread-id-28884.html

抓取异常信息 服务器错误,抓取异常信息: socket 读写错误 - 狸窝相关推荐

  1. ftp信息或服务器信息,服务器:FTP报错信息怎么办

    其实在近日很多人问小编,说FTP报错了信息究竟怎么办,想要知道详细的内容就可以看看这篇文章,废话不多说大家就可以跟随小编一起看看吧,使得大家可以更加了解相关内容. (1)用ftp软件连接时候,要求重复 ...

  2. http下载异常_百度网站抓取异常的原因有哪些?有什么影响和解决方法?

    大纲如下:1.抓取异常是什么?百度抓取异常又是什么?2.百度抓取异常的原因有哪些?3.网站抓取异常的原因有哪些?4.百度抓取异常对网站有什么影响?5.网站出现抓取异常的解决方法抓取异常是什么?百度抓取 ...

  3. 关于爬取网页的时候,抓不到元素,报没有这样元素的错误

    ** 关于爬取网页的时候,抓不到元素,报没有这样元素的错误 ** 前言: 这里是先抓到了第一页的信息,然后通过构造的网址进入了第二个界面,然后出现抓不到第二个网页的元素问题 ''' **网上的解决方式 ...

  4. 我是如何白嫖 Github 服务器自动抓取每日必应壁纸的?

    如何使用 Github 服务器自动抓取必应搜索的每日壁纸呢? 如果你访问过必应搜索网站,那么你一定会被搜索页面的壁纸吸引,必应搜索的壁纸每日不同,自动更换,十分精美.这篇文章会介绍如何一步步分析出必应 ...

  5. 更换服务器 百度抓取显示有跳转,网站更换服务器4天了,百度站长后台抓取诊断一直失败,还是抓...

    网站更换服务器4天了,百度站长后台抓取诊断一直失败,还是抓取之前的服务器IP,但是之前的服务器ip已经挂了,打不开了,有不有什么好的办法处理一下,让百度尽快的反应过来抓取新的服务器ip. 因为现在百度 ...

  6. java爬取验证码图片_JAVA HttpClient实现页面信息抓取(获取图片验证码并传入cookie实现信息获取)...

    JAVA HttpClient实现页面信息抓取(获取图片验证码并传入cookie实现信息获取) 发布时间:2018-05-18 16:41, 浏览次数:632 , 标签: JAVA HttpClien ...

  7. WireShark 无法抓取以太帧前序和FCS或出现IP报头校验和错误 -- 原因

    今天解决wireshark的2个问题: 1.为什么wireshark抓不到前序和FCS 2.为什么wireshark的IP报头会出错 1.为什么wireshark抓不到帧尾的FCS 4字节和以太网V2 ...

  8. 华为抓取错误日志在哪里_抓取网址进行分析爬虫工具Screaming Frog SEO Spider for Mac...

    Screaming Frog SEO Spider for Mac是一款专门用于抓取网址进行分析的网络爬虫开发工具,你可以通过这款软件来快速抓取网站中可能出现的损坏链接和服务器错误,或是识别网站中临时 ...

  9. 九 web爬虫讲解2—urllib库爬虫—实战爬取搜狗微信公众号—抓包软件安装Fiddler4讲解...

    封装模块 #!/usr/bin/env python # -*- coding: utf-8 -*- import urllib from urllib import request import j ...

  10. charles抓取微信小程序数据(抓取http和https数据)

    本文中使用的是mac上的抓包工具charles进行抓包,手机是华为荣耀8,安卓版本7.0(其实跟版本没啥关系) 要想抓取到微信小程序的数据首先要解决的第一个问题件就是如何 通过charles抓取手机上 ...

最新文章

  1. java课设电子门禁_Door门禁系统.doc
  2. SENetSKNet 解读
  3. golang select default continue_golang系列——基础语法
  4. php nb2br,PHP中基本符号及使用方法
  5. java 类型推导_Java10类型推导
  6. 战神引擎1.8斗破斩天泯灭完整开区端+高清地图+动态内观+珍宝+20转+四大陆
  7. 深度linux系统怎么安装软件
  8. iphone开发每日一练【2011-10-21】
  9. Apple ID Your Account Cannot Be Created at This Time
  10. 计算机网络中传输层传送的是什么,传输层
  11. SECS/GEM协议开发系列(一)准备工作
  12. 【微机原理】40道简答题
  13. python从字符串中提取数字
  14. 常见杀软对应的进程名
  15. NameSilo域名解析管理工具
  16. 新视智科锂电池隔膜缺陷视觉检测系统,助力企业降本提质增效
  17. CISP-PTE是什么证书,CISP-PTE证书有什么用?
  18. Java 内部类之匿名内部类
  19. 数据库系统从挂科到满分【精华再精华的数据库系统基础理论】1
  20. 环境实时监控系统的设计(以物联网仓储为例)

热门文章

  1. IT基础知识(精华版二)
  2. 证券交易业务基础知识
  3. [linux] ab压测工具进行post压力测试
  4. paddle 图标注_数据标注工具大全汇总,有了这些工具再也不用自己开发了
  5. java 10阶乘_java编程求1到10的阶乘
  6. simulink-EtherCAT工具箱常用模块的简要介绍
  7. 基于Javaweb的机房预约管理系统
  8. 高等数学(第七版)同济大学 习题8-1 个人解答
  9. matlab 生成dbc文件,simulink中使用dbc文件实现CAN消息发送与代码生成
  10. 用友U8软件功能集合