利用HttpWebRequest自动抓取51la统计数据

最近在开发公司的OA系统，领导要求公司旗下所有网站的51拉统计数据能自动抓取到我们自己的数据库中，心想这种抓取统计数据的程序以前肯定有人写过，到百度搜了一下没有找到抓取51la的，于是乎自己动手。 1、利用httpwatch找到网站入口及参数：（详情略，请百度httpwatch的使用方法） 2、利用httpwebRequest将51拉查看密码Post到网站入口,登陆成功后再进入你想要进入的页面抓取页面 /// /// 某日或者叫时间段，51la里组员ID里——搜索引擎内——的数据。 /// /// /// /// /// /// public string FiveLaSeo(string strStaticId, string LookPass,string strBeginDate,string strEndDate) { CookieContainer Cc = new CookieContainer(); ASCIIEncoding encoding = new ASCIIEncoding(); string postData = "id=" + strStaticId; postData += ("&lookpass=" + LookPass); postData += "&t=chalogin"; //将提交的字符串数据转换成字节数组 byte[] data = encoding.GetBytes(postData); // 设置提交的相关参数 HttpWebRequest myRequest = (HttpWebRequest)WebRequest.Create("http://www.51.la/report/0_help.asp"); myRequest.Method = "POST"; myRequest.ContentType = "application/x-www-form-urlencoded"; myRequest.ContentLength = data.Length; //cookie的容器一定要加 myRequest.CookieContainer = Cc; // 提交请求数据 Stream newStream = myRequest.GetRequestStream(); newStream.Write(data, 0, data.Length); newStream.Close(); // 接收返回的页面 HttpWebResponse myResponse = (HttpWebResponse)myRequest.GetResponse(); StreamReader reader = new StreamReader(myResponse.GetResponseStream(), Encoding.Default); string content = reader.ReadToEnd(); //进去后打开特定页面的参数设置 myRequest = (HttpWebRequest)WebRequest.Create("http://www.51.la/report/3_SE.asp?id=" + strStaticId + "&d1=" + strBeginDate + "&d2=" + strEndDate); myRequest.Method = "GET"; myRequest.KeepAlive = false; myRequest.CookieContainer = Cc; //接收返回的特定页面 myResponse = (HttpWebResponse)myRequest.GetResponse(); newStream = myResponse.GetResponseStream(); reader = new StreamReader(myResponse.GetResponseStream(),Encoding.Default); content = reader.ReadToEnd(); return content; } 3、将抓取的页面进行正则表达式匹配，取出自己所需要的数据（这里我需要搜索引擎流量） /// /// 返回51拉中:搜索引擎的访问量IP-*?表示匹配最少的重复项目 /// /// /// /// /// /// public string FivelaSeoPv(string strStaticId, string LookPass,string strBeginDate,string strEndDate) { Tool.FiveLa fl = new FiveLa(); string html=fl.FiveLaSeo(strStaticId, LookPass, strBeginDate, strEndDate); string pattern = @"来自搜索引擎的访问量 /( [/s/S]*? IP /) 占总访问量"; //string pattern = @"占总访问量"; string number = Regex.Match(html, pattern, RegexOptions.IgnoreCase).Value; number = number.Replace("来自搜索引擎的访问量 (", "").Replace(" IP )", "").Replace("占总访问量","").Trim(); ; if (number == "") { number = "0"; } return number; } 4、最后来看看利用ActiveReport显示取得数据的效果。

from: http://www.cnblogs.com/showker/archive/2009/06/29/1513054.html

利用HttpWebRequest自动抓取51la统计数据相关推荐

关于fi dd ler 手机抓包网卡地址地址_利用无线路由器如何抓取手机网络数据包【详细介绍】...
当用户运用手机访问网络时,手机在不断接受与发送数据包,而这些数据包中包含了大量的用户信息,包括各种账号信息.聊天信息.发送接收文件.邮件.浏览的网页等.虽然很多信息是加密传输的,但还是会有大量信息是明 ...
vba 提取 json某个值_VBA利用IE，抓取解禁股票数据
大家好,我们今日讲解"VBA信息获取与处理"教程中第九个专题"利用IE抓取网络数据"的第三节"利用IE,抓取解禁股票数据",这个专题是非常有 ...
利用 Python 自动抓取微博热搜，并定时发送至邮箱
点击上方"Python爬虫与数据挖掘",进行关注回复"书籍"即可获赠Python从入门到进阶共10本电子书今日鸡汤夜阑卧听风吹雨,铁马冰河入梦来. ...
php获取cnzz数据,PHP curl抓取cnzz统计数据
class Vcurl{ public $mcookie; public $content; public function post($post_url,$param) { $ch = curl_i ...
利用selenium自动抓取淘宝后台运营数据填入表格
在下帮别人写的简单python程序.我很懒,有时间再写博客,先放github链接吧使用说明: 一．电脑环境配置电脑:windows系统: 浏览器:谷歌,建议版本 95.0.4638.69(如果其他 ...
运维笔记40 Linux系统监控之Cacti（Cacti搭建，自动抓取cacti统计图片脚本）
概述:监控系统在一个系统中十分重要,它会将很多重要的信息,诸如内存信息,cpu信息,硬盘信息集合在一起显示出来,当系统出现问题的时候我们能及时定位并修复错误.今天介绍的监控系统是一款轻量级的监控系统C ...
python 自动抓取分析房价数据——安居客版
引言中秋回家,顺便想将家里闲置的房子卖出去.第一次卖房,没经验,于是决定委托给中介.中介要我定个价.最近几年,房价是涨了不少,但是长期在外,也不了解行情.真要定个价,心里还没个数.网上零零散散看了下 ...
java 股票_java抓取东方财富股票数据
背景前段时间给朋友写了一个自动抓取同花顺股票数据的程序,不少人觉得不错. 这几天后台有粉丝给我留言让我也抓一下东方财富的数据,说东方财富的数据特别难抓,我还真不一定能搞得定. 本来我是一个德艺双磬且 ...
java股票数据_java抓取东方财富股票数据（附源码）
背景前段时间给朋友写了一个自动抓取同花顺股票数据的程序,不少人觉得不错. 这几天后台有粉丝给我留言让我也抓一下东方财富的数据,说东方财富的数据特别难抓,我还真不一定能搞得定. 本来我是一个德艺双磬且 ...
java+selenium自动化抓取51la数据
java+selenium自动化抓取51la数据初衷环境依赖 demo上代码效果来个马赛克如果觉得写的不错或者想了解更多,欢迎收藏和关注~~ 初衷前端埋点51la,进行网站统计.51la没有 ...

利用HttpWebRequest自动抓取51la统计数据

利用HttpWebRequest自动抓取51la统计数据相关推荐

最新文章

热门文章