一、场景描述

比如我们的网站共有5台Web设备，日志文件存放在/data/logs/日期(20180114)/access.log。日志为默认的Nginx定义格式，如下所示：

10.2.2.234 - - [12/Jan/2018:08:36:23 +0800] "POST /statistics/count/collection?company=6F79078F79D77550739EF61CD0DC2A83&nonce_str=nbmmn8bds4j84spu0c50ed0tm2ihfk3e&timeStamp=1515717383974&sign=91803CDB91BD598F29643F899E529D4A&client=ios&server=statistics HTTP/1.1" 200 287 "-" "CareHeart/2.2.7 (iPhone; iOS 10.3.1; Scale/2.00)"共有12列数据(空格分隔)分别为：

1)客户端IP

2)空白(远程登录名称)

3)空白(认证的远程用户)

4)请求时间

5)UTF时差

6)方法

7)资源(访问的路径)

8)协议

9)状态码

10)发送的字节数

11)访问来源

12)客户端信息(不具体拆分)

二、编写部署HDFS的客户端

这里，我们新建脚本文件hdfsput.py，具体通过subprocess.Popen()方法调用HDFS相关外部命令，实现创建HDFS目录及客户端文件上传，具体代码如下：

【/usr/local/python/source/hdfsput.py】

# -*- coding:UTF-8 -*-

'''

Created on 2018年1月14日

@author: liuyazhuang

'''

import subprocess

import sys

import datetime

webid = "web1" #HDFS存储日志的标志，其他Web服务器分别为web2、web3、web4、web5

currdate = datetime.datetime.now().strftime('%Y%m%d')

#日志本地存储路径

logspath = "/data/logs/" + currdate + "/access.log"

#HDFS存储日志名

logname = "access.log." + webid

try:

#创建HDFS目录，格式为website.com/20180114

subprocess.Popen(["/usr/local/hadoop-2.5.2/bin/hadoop", "fs", "-mkdir", "hdfs://liuyazhuang121:9000/user/root/website.com/" + currdate], stdout = subprocess.PIPE)

except Exception,e:

pass

#上传本地日志到HDFS

putinfo = subprocess.Popen(["/usr/local/hadoop-2.5.2/bin/hadoop", "fs", "-put", logspath, "hdfs://liuyazhuang121:9000/user/root/website.com/" + currdate+ "/" + logname], stdout = subprocess.PIPE)

for line in putinfo.stdout:

print line

三、部署HDFS的客户端

我们需要在5台Web服务器部署HDFS的客户端，以便定期上传Web日志到HDFS存储平台，最终实现分布式计算。需要安装JDK(配置环境变量)、Hadoop(配置环境变量)。然后添加上传日志的功能到crontab,内容如下：

55 23 * * * /usr/bin/python /usr/local/python/source/hdfsput.py >> /dev/null 2>&1截止目前，数据的分析源已经准备就绪，接下来的工作便是分析了。