使用 ELK 来分析你的支付宝账单

ELK 即 elasticsearch, logstash 以及 kibana。Elasticsearch 是一个基于 lucene 的分布式搜索引擎，logstash 是一种日志传输工具，也可以对日志数据进行过滤处理，kibana 则是基于 angular 开发的展示平台，可以进行数据的搜索以及可视化展示。目前 ELK 平台被广泛用于日志的分析处理。

支付宝账单

前几天看了一篇国外使用 ELK 分析账单的博客，突然冒出这个想法是不是可以使用 ELK 去分析支付宝账单。支付宝官网提供下载账单的地方，可以下载任意时间段的账单，可以下载 csv 以及 txt 格式的数据文件。登录支付宝官网首页产看点击查看所有交易记录就可以了。

可以切换到高级版查询数据，有更多的查询条件来查询数据，包括交易时间，交易状态，关键字等等，你可以下载任意时间段的数据。其实两种格式的数据都是 csv 格式的数据。表格数据主要包含以下信息：

交易号商户订单号交易创建时间付款时间最近修改时间交易来源地类型交易对方商品名称金额（元）收/支交易状态服务费（元）成功退款（元）备注资金状态

安装

ELK 三个软件的安装都十分简单，下载就可以使用，无需安装。可以去 https://www.elastic.co/cn/downloads 下载页面选择合适的工具进行下载。三个工具的使用都十分简单，一般只需要运行 bin 文件下的 bat 文件就可以了。我下载的都是最新版本的，即 6.1.2 版本。

elasticsearch

运行命令： elasticsearch.bat

验证 ES 运行成功，可以使用 curl 命令， curl http://loclahost:9200 或者直接使用浏览器访问 localhost:9200

{   "name" : "ZWtApuh", "cluster_name" : "elasticsearch",   "cluster_uuid" : "DyfiD0NlSkuDdE5m-NBRAg",  "version" : { "number" : "6.1.2", "build_hash" : "5b1fea5",   "build_date" : "2018-01-10T02:35:59.208Z",  "build_snapshot" : false, "lucene_version" : "7.1.0", "minimum_wire_compatibility_version" : "5.6.0", "minimum_index_compatibility_version" : "5.0.0" },  "tagline" : "You Know, for Search"
}

运行

整个框架数据流转的过程大致是这个样子的：

首先从支付包官网下载数据，可以选择 excel 格式进行下载，为了方便数据的处理，最好删除掉表头和表尾的数据，只保留数据，这也是为了方便后面的 logstash 的处理。接着使用 logstash 的处理，logstash 相当于是一个数据中转站，从 csv 文件中获取数据，然后对获取的数据在进行处理，在将数据输出到 elasticsearch 中。Elasticsearch 对于数据进行索引，最后 kibana 作为展示工具可以对 ES 索引的数据进行展示。

从支付宝官网下载数据后，应该删除掉表头和表尾数据，只保留我们需要的数据信息。接着使用 logstash 来处理数据，包括 input, filter, output 三个方面的配置。首先是 input:

input {    file {  type =&gt; "zhifubao"    path =&gt; ["C:/Users/neal1/project/bill-analysis/data/*.csv"]   start_position =&gt; "beginning" codec =&gt; plain {    charset =&gt; "GBK"  }   }
}

可以通过 type 来设置来区分数据的不同类型，注意一点的是需要设置 charset 来处理编码问题，否则可能会导致乱码问题。另外对于 ES 的配置，也要设置 ES 安装程序 config 文件夹中的 jvm.options 文件,将 -Dfile.encoding=UTF8 改为 -Dfile.encoding=GBK，否则 logstash 向 ES 中写入数据也会产生报错。

filter { if [type] == "zhifubao" {   csv {   separator =&gt; ","  columns =&gt; ["TransId", "OrderId", "TransCreateTime", "Paytime", "LastModified", "TransSource", "Type", "Counterparty", "ProductName", "Amount", "inOut",  "status", "serviceCost", "IssuccessRefund", "Remark", "FundStatus"]   convert =&gt; {    "Amount" =&gt; "float" }   }   date {  match =&gt; ["TransCreateTime", "dd/MMM/yyyy HH:mm:ss", "yyyy/MM/dd HH:mm"]  }   }
}

接着是使用 filter 插件对数据进行过滤

filter {  if [type] == "zhifubao" {   csv {   separator =&gt; ","  columns =&gt; ["TransId", "OrderId", "TransCreateTime", "Paytime", "LastModified", "TransSource", "Type", "Counterparty", "ProductName", "Amount", "inOut",  "status", "serviceCost", "IssuccessRefund", "Remark", "FundStatus"]   convert =&gt; {    "Amount" =&gt; "float" }   }   date {  match =&gt; ["TransCreateTime", "dd/MMM/yyyy HH:mm:ss", "yyyy/MM/dd HH:mm"]  }   }
}

需要对于 csv 文件进行转化，设置对应的列名。还有一点就是要使用 date 插件来修改 timestamp，否则索引的默认 timestamp 是 logstash 向 ES 中写入数据的时间。通过 date 插件可以将交易事件转化为默认的 timestamp 来使用。另外我们还需要转化 Amount 的类型，这也是为了后来数据的可视化的聚合，Amount 只有变成数值型才可以进行数字运算。

最后输出到 ES 中

output { if [type] == "zhifubao" {   elasticsearch { hosts =&gt; [ "localhost:9200" ] index =&gt; logstash   }   }
}

hosts 可以支持添加多个 ES 实例，并且设置索引名，这里最好设置一下，否则可能会导致索引名映射错误。这样，就完成了 logstash 的配置文件 logstash.conf。Logstash 的运行命令为 logstash.bat-f logstash.conf 来运行。

最后一步就是利用 kibana 进行数据的展示和分析了。再次我也仅仅是站在一些角度提出自己对于数据的分析，可能还有很多更有意思的想法我并没有想到。Kibana 是一款基于 angular 的 ES 展示工具，它讲很多 ES 语法进行封装，因此进行一些操作就可以进行数据的查询或者可视化。首次使用 kibana的时候，我们需要创建索引：

索引创建成功之后，你就可以进行查询了。对于 kibana 的查询我就不一一赘述，可以参考query dsl。这里，我主要讲一下数据的可视化。最后创建的一个 dashboard 大致是这个样子的：

主要包括：当前的累计收入，累计支出，支出收入比，每礼拜最高支出，支出变化，Visualize 的类型主要包括 Metric, Line, Pie, Vertical bar 类型。选一个例子来讲，假设我们要创建一个每个礼拜最高支出的柱状图。

总结

以上我就是利用 ELK 对于支付宝账单的一个可视化分析。ELK 对于大数据的分析可以说是如鱼得水，此次的实验也仅仅是一个简单的尝试，如果大家有更有意思的想法，可以和我交流。