FTP服务器日志解析
2019独角兽企业重金招聘Python工程师标准>>>
FTP服务器日志解析
FTP是老牌的文件传输协议,在网络中应用非常广泛。本节就Vsftp服务器的日志进行重点讨论,在本书的FTP多级跳案例中就会涉及到本节学到的知识。在Redhat Linux系统下Vsftp的配置文件在/etc/vsftp/vsftp.conf文件中。默认情况下,Vsftp不单独记录日志,也就是说不会输出到一个单独的文件中存储,而是统一存放到/var/log/messages文件中。Vsftp日志实例显示如图1所示。
图1 Vsftp日志实例
通过在messages过滤得方法可以看到Vsftp的客户机连接日至,但这段日志里只反映了少量信息,如果需要查看更详细的信息如何操作?下面我们来编辑/etc/vsftp/vsftp.conf配置文件。
如何将Vsftp服务器的日志文件单独输出到某个文件下呢?这里需要三个步骤:
下面对重要语句做一些解释:
标识A: 启用xferlog_enable=YES,它表示将客户机登录服务器后上传或下载的文件具体信息记录。
标识B:启用xferlog_file=/var/log/vsftpd.log,它表示将上传下载写到指定文件,也就是/var/log/xferlog文件。
标识C:启用dual_log_enable=YES,它表示启用双份日志,一份日志由xferlog记录,同时vsftpd.log也记录另一份日志,注意他们两儿可不是互为备份,其内容不同,但各有千秋。
接下来还得解释一下/usr/bin/xferstats这个工具,它是日志统计工具,用于计算传输了多少文件并创建日志文件。
注意:在您的Linux系统中一定安装xferstats的包,才能对他进行操作,如果发现找不到xferstats没有命令就要安装这个包。
1.3.1 分析vsftpd.log和xferlog
Vsftpd.log和xferlog是Vsftp服务器记录日志的来源,下面重点对着两种日志文件的格式做一下分析。
(1)vsftpd.log实例分析首先打开vsftpd.log.1文件,看看它的日志结构。如图2示。
图2 ftpd分离后的日志结构
在图1-9中日志仅反映了部分Ftp登录情况:例如登录IP地址、用户名。但下载软件内容不会记录下来,有时网管恰好关心这一段日志信息,这时我们需要同时参考xferlog日志,还记得上面说过的xferstats工具吗?
(2)Xferlog日志实例分析
xferlog日志会记录FTP会话详细信息,它能够显示客户机向FTP Server上传/下载的文件路径及名称认证方式等信息,下面我们看看这个文件的具体内容, xferlog日志格式见表1-4所示。
Xferlog日志格式解析:
注意:这里指的认证是结合PAM(一种可插入的安全验证模块)的方式,主要是为了保证安全,在企业中常会用到Vsftp+Pam+Postgresql的架构,在这种架构中我们可以设置为用MD5工具来验证密码,这样客户机在远程要用MD5加密过密码的用户登录才能成功获取文件,有关PAM的应用在本书的第九章SSH加固中也会提到。
1.3.2 中文对Vsftp日志的影响
大家在使用RHEL5系统中的Vsftp(2.05版)时有时会遇到下面中文日志的显示问题,我们看看下面的例子。如果客户机上传的文件中含有中文名那么日志将显示乱码,例如新建一个带中文的文件夹,发现在其日志(/var/log/xferlog和/var/log/vsftpd.log)中就会产生如下日志(不能正常的显示中文):
Sat Jan 12 00:26:18 2013 [pid 6853][ftp] FAIL MKDIR: Client “192.168.150.1”, “/pub/???????????”
当日志中出现乱码,怎么办呢?
Ø 将系统安装成为默认为中文;
Ø 调整字符集,将系统的字符集改成zh_CN.gb;或者将字符集修改为GB2312
Ø 修改vsftpd.conf,加入syslog_enable=yes参数,编辑vsftpd.conf,再重启vsftpd;
经过笔者尝试,以上三种方法都不能解决中文日志的输出问题。其实,并不是设置问题,是Vsftpd本生问题(当然修改源码然后编译安装是可以解决的),要解决就要将日志输出到/var/log/messages,可这样做和我们当初想法将他分离相违背, 有兴趣的读者也可采用Proftp,见图2示。它的主要优点是,不但可以完整的记录中文的文件名在日志汇总,还可以日志分离,查看起来比较方便。
图2Proftp中文日志显示
1.3.2 用Logparser分析FTP日志
在分析了Vsftp服务器日志后,在实际工作中Windows系统下的FTP服务器应用的也不少, 微软的IIS服务器常常会成为入侵的对象。微软LogParser工具是Windows系统下功能非常的强大的日志分析工具,它可以分析IIS日志这种基于文本的日志格式,操作系统事件日志还能分析CSV和XML这类的文件格式,尤其对于上百兆甚至是上GB的日志文件都可以快速分析,利用LoParser能轻松查出你需要的数据,而且还能以图表的形式输出结果。下面就用这款工具来筛选FTP日志中的异常连接。主要分为了收集Ftp日志、导入数据库、日志数据筛选和异常数据分离四个步骤:
步骤一: FTP日志的采集
微软IIS服务器的FTP日志文件默认位置为%systemroot%\system32\LogFiles\MSFTPSVC1\,对于绝大多数系统而言则是C:\WINDOWS\system32\LogFiles\MSFTPSVC1(如果安装系统时定义了系统存放目录则根据实际情况修改),系统默认每天自动生成一个日志文件。日志文件的名称格式是: ex + 年份的末两位数字+月份+日期,如2006 年3月19日的FTP日志文件是ex060319.log,这是个文本文件,可以用任何编辑器打开,例如记事本程序。
为了详细地分析采集来的FTP日志,下面我们先来看看常见的命令有: USER 〈用户名〉、PASS〈密码〉、DELE <文件名>、QUIT 等,由于命令较多本节中就不一一列出了。对于常见的响应提示信息,如表2所示(与Apache的类似)。
表2 FTP 响应信息含义
状态代码 |
含 义 |
2XX开头 |
成功 |
3XX开头 |
权限问题 |
4XX开头 |
文件问题 |
5XX开头 |
服务器故障 |
FTP 命令加上响应号才具有实际意义,例如:USER stu 331 表示用户试图登录, PASS - 230 表示登录成功。
步骤二:FTP日志导入MS SQL数据库
把Ftp日志导入到SQL Server数据库,首先在需要安装好LogParser 2.2+SQL Server环境;然后在待分析机器上装好SQL Server 环境,然后新建数据库名为iis;最后将IIS日志拷贝到本机。准备工作完成后输入如下命令:
logparser.exe "select * from C:\WINDOWS\system32\LogFiles\MSFTPSVC1\ex*.log to iisftplog_table" -o:sql -server:127.0.0.1 -driver:"sql server" -database:iis -username:sa -password:123456 -createtable:on
命令执行和输出效果见图3所示
图3 Logparser命令执行和输出效果
在执行上面命令时,一定要指定日志文件的完整路径,否则将出现找不到日志的提示。 当Logparser程序正确输出后,就可以打开数据库检查了,如图4、图5所示。
图4 在企业管理器中打开iislog_table 表
图5 查看iisftplog_table表
步骤三:FTP日志数据的筛选
IIS的FTP日志包括5 个域: time、c-ip、cs-method、cs-uri-stem 和sc-status。
下面选取了FTP服务器某日白天的日志, 一共1万多条条记录
#Software: Microsoft Internet Information Services 5.2
#Version: 1.0
#Date: 2010-05-08 08:30:23
#Fields: time c-ip cs-method es-uri-strem sc-status
08:30:23 192.168.3.62 [1]USER stu 331
08:30:23 192.168.3.62 [1]PASS - 530
08:30:28 192.168.3.62 [2]USER stu 331
08:30:29 192.168.3.62 [2]PASS - 530
... ...
09:10:23 192.168.3.135 [15]USER anonymous 331
09:10:23 192.168.3.135 [15]PASS IEUser@ 230
09:10:37 10.10.1.200 [16]USER px 331
09:10:37 10.10.1.200 [16]PASS - 530
... ...
21:44:21 63.103.87.197 [1163]USER anonymous 331
21:44:21 63.103.87.197 [1163]PASS yourname@yourcompany.com 230
21:44:40 63.103.87.197 [1163]sent /mp3.ape 550
将FTP日志文件导入MS SQL 数据库后,字段名保留日志文件中的名字,下面就可以通过脚本对FTP进行深度处理。
步骤四:分离正常与异常数据源
FTP日志文件导入至MS SQL服务器后,在数据库中用SQL命令将每一天的数据都按cs-method 字段进行升序排序。每天日志中cs-method 字段相同的记录表示该用户这次登录所做的一系列操作,数据库中记录是否出现异常响应,可以根据sc-status 字段的值来判断,例如如果出现登录错误, 即PASS-530,连续出现3 次以上,则认为异常。可以将异常的登录错误信息输出即可,进过这样对FTP日志文件进行的深度挖掘,能非常方便管理人员迅速判断故障,提高了工作效率和准确度。
转载于:https://my.oschina.net/chenguang/blog/375311
FTP服务器日志解析相关推荐
- ftp文件服务器登录日志,linux ftp服务器日志
linux ftp服务器日志 内容精选 换一换 为加强对系统数据的容灾管理,云堡垒机支持配置日志备份,提高审计数据安全性和系统可扩展性.本小节主要介绍如何在系统配置FTP/SFTP服务器参数,将日志远 ...
- 自动生成web服务器日志解析规则
2019独角兽企业重金招聘Python工程师标准>>> 当前web服务器的多样化使得访问日志的数据清洗变得越来越复杂,企业需要投入专业的数据清洗人员编写数据清洗规则(解析规则或者解析 ...
- 通过http协议访问FTP服务器的搭建,ftp+nginx 图片服务器搭建之后使用http访问进行配置文件的修改
一 ,搭建nginx 先安装nginx服务器,见我之前写的: nginx服务器搭建 二 ,搭建ftp 在安装vsftpd服务器, ftp服务器搭建 三.开始搭建Nginx图片服务器 1.效果 例如:图 ...
- FTP服务器有时候连接超时的问题
某个单位表示有时候不能连接我方FTP服务器,不能连接的时候FTP服务器日志如下: 421登录超时 服务器上抓到连接失败的时候包,建立握手后,服务器发数据包过去,没收到用户的ACK,直到超时 到这里基本 ...
- IIS Web服务器日志、日志服务器分析
IIS Web服务器日志.日志服务器分析 EventLog Analyzer是一款全面的工具,用于审计.管理和跟踪您的Microsoft Internet Information Servic ...
- 解析IIS安装的FTP服务器的日志
解析IIS安装的FTP服务器的日志 一.ftp日志文件 打开IIS管理器中,ftp站点 日志文件类型:默认为W3C,记录的时间采用UTC 格式,文件名前缀为u_ex eg:u_ex210318表示该日 ...
- IIS 日志解析,增强 IIS 服务器安全性
企业严重依赖 Microsoft Internet 信息服务 (IIS) 服务器来托管其网页和 Web 应用程序,以及存储其文件.请务必妥善保护您的 IIS 服务器(包括 Web 和 FTP). 什么 ...
- crontab 日志_Nginx日志切割并计划任务自动上传到FTP服务器
Nginx日志切割并计划任务自动上传到FTP服务器 图文无关 枫城浪子原创,转载请标明出处! 双击加关注!经常更新! 一.简述 Nginx WEB服务器每天会产生大量的访问日志,而且不会自动地进行切割 ...
- linux下ftp命令输出日志,ftp中/var/log/xferlog日志解析及ftp常用命令常用
在vsftpd.conf中有如下内容定义了日志的记录方式: ##表明FTP服务器记录上传下载的情况 xferlog_enable=YES ##表明将记录的上传下载情况写在xferlog_file所指定 ...
最新文章
- c++语言中,vector容器与list容器的区别和联系?_百度知道
- Visual studio 2005如何实现源码管理
- 如何使用NAnt 自动打包DNN模块 之二
- 用一个实际例子理解Docker volume工作原理
- shell和linux的认识
- [原]CUDA中grid、block、thread、warp与SM、SP的关系
- 文本溢出text-overflow和文本阴影text-shadow
- LeetCode 956. 最高的广告牌(DP)
- 微信小程序 this和that详解及简单实例
- 金立e3t刷android4.4,金立E3T刷机包 Amigo OS 小清新风格 个性化定制功能 稳定流畅...
- Exp7 网络欺诈防范 20154301仉鑫烨
- kotlin界面_Kotlin界面
- JDK绘制文字的流程与代码分析
- SqlServer 2008出现远程过程调用失败,错误代码[Ox800706be]
- 游戏数值策划入门介绍
- POJ3238生日相同问题C++
- 重磅推荐:机器人行业深度报告
- KDD CUP 1999数据集
- 林学与计算机技术,林学訚
- MySQL34-其他数据库日志