Kibana：改善地理位置数据摄入

在 7.10 中，新用户，经验丰富的用户和地理空间分析师可以为之高兴！它增强了文件摄取过程，以便自动为你映射文件中的经/纬度字段并分配正确的数据类型。这是什么意思？使用机器学习应用程序中 CSV 数据的文件上传界面，当数据集包含名为 latitude 和 longitude 的字段时，提取过程会自动将这些字段合并为 geo_point 位置字段。如果你的字段具有无法识别的名称，则无需担心-你可以使用简单的界面自己添加新字段。无需手动输入 JSON。

下面，我将以极易简单的例子来进行展示。我将使用 Elastic Stack 7.10 来进行展示。

首先，我们参照之前的文章 “Logstash：导入 zipcode CSV 文件和 Geo Search 体验” 下载 zipcode 的 CSV 文件：

git clone https://github.com/liu-xiao-guo/elasticzipcodes

这个 CSV 文件的格式如下：

从上面的表格中，我们可以看出来有两个字段：Longtitude 以及 Latitude 字段。我们可以使用如下的功能来把数据进行导入：

在上面我们可以清楚地看到：Latitude 以及 Logitude 被自动组合成为一个新的 geo_point 的数据类型。这个在之前的版本中是没有这个功能的。我们点击 Advanced：

在有些情况下，也许你的字段名称并不是标准的 Logititude 以及 Latitude。你可能是 Lat 及 Lon，那么机器学习可能并不能辨识你的这些字段。在这种情况下，我们可以点击 Add combined field 来创建一个字段：

如上所示，我们可以选择需要的字段，比如 Lat 及 Log。当然针对我们的情况，我们还是做如上所示的选择，因为这些都是仅有的选项。点击 Add 按钮：

如上图所示，经过我们的这番操作，我们可以看到有两个位置信息字段 location 已经 my_location。当然这个是为了说明问题，在实际的使用中，我们只需要一个位置信息字段即可。我们点击 Import 按钮。这样就完成了数据的导入。

我们可以在 Kibana 的 console 中通过如下的方式来查看 zipcodes 的 mapping：

GET zipcodes/_mapping

上面的命令显示：

{"zipcodes" : {"mappings" : {"_meta" : {"created_by" : "ml-file-data-visualizer"},"properties" : {"AreaCode" : {"type" : "long"},"Code" : {"type" : "long"},"Disabled" : {"type" : "boolean"},"Id" : {"type" : "long"},"Latitude" : {"type" : "double"},"Longitude" : {"type" : "double"},"Name" : {"type" : "keyword"},"ShortName" : {"type" : "keyword"},"Sort" : {"type" : "long"},"location" : {"type" : "geo_point"},"my_location" : {"type" : "geo_point"}}}}
}

我们可以看到之前定义的两个位置信息字段 location 以及 my_location。它们都是 geo_point 的数据类型。

Kibana：改善地理位置数据摄入 - 7.10相关推荐

【安全头条】美国政府起诉 Kochava 出售敏感的地理位置数据
1.美国政府起诉 Kochava 出售敏感的地理位置数据 8月29日报道,美国联邦贸易委员会 (FTC) 宣布对总部位于爱达荷州的Kochava 提起诉讼,指控其出售从数亿移动设备收集的敏感且精确的地 ...
推荐！关于学习数据科学的10件事
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货编译:张峰,Datawhale成员我经常在我的YouTube频道Da ...
极客日报:小鹏汽车回应非法收集人脸数据被罚10万；OPPO发布首颗自研芯片马里亚纳X；AMD 3DNow指令集被Linux淘汰
一分钟速览新闻点! 阿里巴巴推出暖心计划:新增共27天时长带薪假程序员编码自动给自己微信转账553笔超21万元 OPPO发布首颗自研芯片马里亚纳X 挂机外挂软件破坏QQ正常运行,腾讯一审获赔52万 ...
python与excel做数据可视化-用Python进行数据可视化的10种方法
原标题:用Python进行数据可视化的10种方法 2015-11-19 关于转载授权大数据文摘作品,欢迎个人转发朋友圈,自媒体.媒体.机构转载务必申请授权,后台留言"机构名称+转载&quo ...
qtextbrowser 大量数据卡顿_800万行的数据，Excel 10秒钟就能完成统计？这个工具太良心了！...
作为财务会计人员,让人非常头痛的工作之一,莫过于核对数据了,比如:在上千的Excel表格中,找出不同列中数据不同的那一行:在上万个数据中,找出同一列中重复的数值.每天这样核对数据,看得眼睛都快瞎了! ...
flink读取不到文件_日处理数据量超10亿：友信金服基于Flink构建实时用户画像系统的实践...
简介: 友信金服公司推行全域的数据体系战略,通过打通和整合集团各个业务线数据,利用大数据.人工智能等技术构建统一的数据资产,如 ID-Mapping.用户标签等.友信金服用户画像项目正是以此为背景成立 ...
[html] 如何优化大数据列表（10万+）的性能？说说你的方案
[html] 如何优化大数据列表(10万+)的性能?说说你的方案定时器批量绘制, 过滤,查询使用serviceWorker ? 个人简介我是歌谣,欢迎和大家一起交流前后端知识.放弃很容易, 但坚持 ...
广西行政村数据shp_广西自治区乡镇行政区划数据精度1:10万
原标题:广西自治区乡镇行政区划数据精度1:10万数据简介行政区划是国家为了进行分级管理而实行的区域划分.中国现行六级行政区,即省级.地级.县级.乡级.村级.组级,其中省.县.乡三级为基本行政区. ...
android读取运动数据权限_Android 10 中身体活动数据的隐私保护
Google Fit是我们在 2015 年推出的一个开放式平台.通过调用平台内置的 Google Fit API,开发者可以为应用添加丰富多样的追踪功能,随时随地记录用户的健康和运动状况.这几年来,越 ...

Kibana：改善地理位置数据摄入 - 7.10

Kibana：改善地理位置数据摄入 - 7.10相关推荐

最新文章

热门文章