Python实现抓取访问特定URL的数据包

分享一下我老师大神的人工智能教程！零基础，通俗易懂！http://blog.csdn.net/jiangjunshow

也欢迎大家转载本篇文章。分享知识，造福人民，实现我们中华民族伟大复兴！

这篇文章紧接着《使用Python来分离或者直接抓取pcap抓包文件中的HTTP流》展开，那篇文章是昨天写的，今天早上突然又想实现一个直接抓包的程序，于是天没亮就又爬起来了...

本文的代码以及前文的代码在github的地址：https://github.com/marywangran/Python-Http-cap-demux/tree/master

Python有很多库可以实现抓包和分析包，典型就是pypcap用来抓包，dpkt用来分析，关于这两个库的安装，我有一些随笔，虽然这些对于一个Python老手而言似乎是信手拈来可以吹着口哨搞定的事，但是对于新手而言，似乎必然会遇到这样那样的问题，因此我先分享一些关于安装方面的事情。
Python的库太过丰富，但是前提是你必须可以随意安装它，我比较推荐使用pip安装，它就像apt-get，yum这样，甚至语法都一样：
apt-get/yum/pip install aaaaa
但是pip要真的用起来似乎还是要花点时间的。我首先下载了setuptool：
wget https://pypi.python.org/packages/source/s/setuptools/setuptools-3.0.tar.gz
然后解压，进入其主目录后执行：
python ./setup.py build
python ./setup.py install
然后在我了解到pip本身也是一个Python库的时候，我执行了：
easy_install pip
随后得到了令人遗憾的错误提示，说什么”unknown url type: https“，然后我问了度娘，解决了该问题，很简单，执行下面的步骤即可：
1.yum install openssl-devel
2.重新编译Python并install
接下来就可以easy_install pip了，然后就可以：
pip install pypcap
pip install dpkt
最后，代码就可以随便写了...

我主要还是想在直接抓包的时候就过滤好我想要的包，而不是先抓一个超级大的pcap文件，然后再慢慢解析分流。只要脑子里面有清晰的逻辑，并且手边有一个得心应手的编程语言，模拟任何事情都不是难事，把昨天的代码一改，把分析pcap的逻辑改成pypcap/dpkt抓包解包的逻辑，一切似乎就是那么简单。代码如下：

#!/usr/local/bin/pythonimport pcapimport dpktcap = pcap.pcap('eth3')    cap.setfilter('tcp port 80')files4out = {}url = 'www.baidu.com'for ptime,pktdata in cap:      pkt = dpkt.ethernet.Ethernet(pktdata)    if pkt.data.data.__class__.__name__ <> 'TCP':        continue    ipsrc_tag = 0    ipdst_tag = 0    sport_tag = 0    dport_tag = 0    ipdata = pkt.data    sip='%d.%d.%d.%d'%tuple(map(ord,list(ipdata.src)))    dip='%d.%d.%d.%d'%tuple(map(ord,list(ipdata.dst)))    tcpdata = pkt.data.data    sport = tcpdata.sport    dport = tcpdata.dport        src_tag = sip    dst_tag = dip    sp_tag = str(sport)    dp_tag = str(dport)    if ord(list(ipdata.src)[0]) > ord(list(ipdata.dst)[0]):        temp = dst_tag        dst_tag = src_tag        src_tag = temp                if sport > dport:        temp = sp_tag        sp_tag = dp_tag        dp_tag = temp    content = url    FLAG = 0        appdata = tcpdata.data    if appdata.find(content) <> -1:        print 'find'        FLAG = 1        name = src_tag + '_' + dst_tag + '_' + sp_tag + '_' + dp_tag    if (name) in files4out:        item = files4out[name]        fi = 0        cnt = item[1]        if cnt < 6 and item[3] <> 1:            item[1] += 1            item[2].append(pktdata)            if FLAG == 1:                item[3] = 1        elif item[3] == 1:            for index in range(cnt+1):                pktdatai = item[2][index]                pkti = dpkt.ethernet.Ethernet(pktdatai)                ipdatai = pkti.data                tcpdatai = pkti.data.data                sipi='%d.%d.%d.%d'%tuple(map(ord,list(ipdatai.src)))                dipi='%d.%d.%d.%d'%tuple(map(ord,list(ipdatai.dst)))                sporti = tcpdatai.sport                dporti = tcpdatai.dport                print '[datai]' + sipi + ':' + str(sporti) + '-' + dipi + ':' + str(dporti)            item[1] = -1                        print '[data]' + sip + ':' + str(sport) + '-' + dip + ':' + str(dport)        else            # 这里优化空间巨大！            # 为了不让随意的五元组无情地侵占字典空间，这里有几个策略：            # 1.发现FIN的时候，再容许这个流在字典中存在固定的时间段或者在允许此流来回5个包，之后删除字典的索引            # 2.如果超过6个包都没有等到GET /$url，那么在timewait的时间内，此流不允许占据字典空间            del files4out[name]                            else:        item = [0, 0, [], 0, 0]        item[2].append(pktdata)        files4out[name] = item

简单，高效！这个代码也没花多长时间，写着玩。值得一提的是，请不要再以性能为由去鄙视除了C之外的别的语言，我也曾经是性能至上客的一员，也曾经为此放弃了Java，但是我后悔了...这个代码顺势可以扔到github上让编程者们嘲笑，也可以顺势跟经理或者老婆炫耀一下以便遭到他们抑扬顿挫地蔑视，并以此为乐。然后我就可以大笑着离开去干我喜欢的事情咯，比如看看世界史，研究一下台风，而这些是身负KPI的经理们和主妇们所无法指染的。座椅爆炸...

给我老师的人工智能教程打call！http://blog.csdn.net/jiangjunshow

你好！这是你第一次使用 **Markdown编辑器** 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。

新的改变

我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

全新的界面设计 ，将会带来全新的写作体验；
在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；
增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；
全新的 KaTeX数学公式 语法；
增加了支持甘特图的mermaid语法¹ 功能；
增加了 多屏幕编辑 Markdown文章功能；
增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能，功能按钮位于编辑区域与预览区域中间；
增加了 检查列表 功能。

功能快捷键

撤销：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜体：Ctrl/Command + I
标题：Ctrl/Command + Shift + H
无序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
检查列表：Ctrl/Command + Shift + C
插入代码：Ctrl/Command + Shift + K
插入链接：Ctrl/Command + Shift + L
插入图片：Ctrl/Command + Shift + G

合理的创建标题，有助于目录的生成

直接输入1次#，并按下space后，将生成1级标题。
输入2次#，并按下space后，将生成2级标题。
以此类推，我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

删除文本

引用文本

H₂O is是液体。

2¹⁰ 运算结果是 1024.

插入链接与图片

链接: link.

图片:

带尺寸的图片:

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.

// An highlighted block var foo = 'bar';

生成一个适合你的列表

项目
- 项目
  - 项目

项目1
项目2
项目3

计划任务
完成任务

创建一个表格

一个简单的表格是这么创建的：

项目	Value
电脑	$1600
手机	$12
导管	$1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列	第二列	第三列
第一列文本居中	第二列文本居右	第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

TYPE	ASCII	HTML
Single backticks	`'Isn't this fun?'`	‘Isn’t this fun?’
Quotes	`"Isn't this fun?"`	“Isn’t this fun?”
Dashes	`-- is en-dash, --- is em-dash`	– is en-dash, — is em-dash

创建一个自定义列表

Markdown: Text-to-HTML conversion tool
Authors: John; Luke

如何创建一个注脚

一个具有注脚的文本。²

注释也是必不可少的

Markdown将文本转换为 HTML。

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 Γ(n)=(n−1)!∀n∈N\Gamma(n) = (n-1)!\quad\forall n\in\mathbb NΓ(n)=(n−1)!∀n∈N 是通过欧拉积分

Γ(z)=∫0∞tz−1e−tdt .\Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=∫0∞tz−1e−tdt.

你可以找到更多关于的信息 LaTeX 数学表达式here.

新的甘特图功能，丰富你的文章

ganttdateFormat  YYYY-MM-DDtitle Adding GANTT diagram functionality to mermaidsection 现有任务已完成               :done,    des1, 2014-01-06,2014-01-08进行中               :active,  des2, 2014-01-09, 3d计划一               :         des3, after des2, 5d计划二               :         des4, after des3, 5d

关于 甘特图 语法，参考这儿,

UML 图表

可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图：:

张三李四王五你好！李四, 最近怎么样?你最近怎么样，王五？我很好，谢谢!我很好，谢谢!李四想了很长时间,文字太长了不适合放在一行.打量着王五...很好... 王五, 你怎么样?张三李四王五

这将产生一个流程图。:

链接

长方形

圆

圆角长方形

菱形

关于 Mermaid 语法，参考这儿,

FLowchart流程图

我们依旧会支持flowchart的流程图：

关于 Flowchart流程图 语法，参考这儿.

导出与导入

导出

如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ，生成一个.md文件或者.html文件进行本地保存。

导入

如果你想加载一篇你写过的.md文件或者.html文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，
继续你的创作。

mermaid语法说明 ↩︎
注脚的解释 ↩︎