本文根据 APUS 大数据负责人朱辉在神策 2018 数据驱动大会现场，发表题为《移动应用出海的大数据建设挑战》的演讲整理所得。

APUS 是智能手机上的用户系统。第一款产品 APUS Launcher 于 2014 年 7 月 2 日上线，截止 2017 年，APUS 系统及产品集群全球总用户数突破 12 亿，成为全球高速发展的互联网公司。

大数据的价值不仅是提供海量存储计算的支撑服务，而是解决实际问题、实现可量化的价值。APUS 大数据负责人朱辉在大会公布了 APUS 用户系统从 2014 - 2017 年的“全球用户增长曲线”，并介绍了在 2016 年引进“神策分析”启动了大数据业务。

同时，通过详细解读出海企业在建设大数据平台普遍存在的困难与挑战，通过技术创新实现了全球数据混合云的架构方案、以及介绍了大数据平台从脚本工具化、系统化到平台化、产品化的演进的整个过程，剖析了 APUS 从 0-1 建设大数据平台的实操方法论，此外，还通过构建全球用户画像、“海外互联网指数”、反欺诈引擎、推荐&广告等产品解读如何真正实现大数据的价值。

下面将主要介绍以下内容：

海外构建大数据业务冷启动问题
数据平台演进的四个重要阶段
用数据说话，构建数据驱动文化
创造可量化的价值，大数据的长征才刚开始
移动互联网大环境的变革，新的机遇和挑战

一、海外构建大数据业务冷启动问题

（1）数据中心建设

我们的用户分布在 200 多个国家和地区，为了保证用户联网的质量，必须采用成熟的公有云进行接入，但是海量数据的存储和计算公有云的投入成本巨大，所以我们选择了在全球自建数据中心，然后打通谷歌、亚马逊、微软等公有云，借助公有云的网络和自建私有云的存储和算力联合搭建大数据平台使成本可以节省 80% 以上。

（2）埋点采集数据

数据源是大数据成功的关键，构建数据壁垒需要考虑下面两点：第一，完善的协议文档培训、易用的采集 SDK 以及至上而下的推动至关重要。完成易用的采集 SDK 的权重占 40%，公司从上到下推动各个部门进行标准化数据采集 SDK 接入的权重占 60%；第二，研发数据质量监控系统、埋点元数据统一管理系统，提高业务方使用数据 SDK 的进行埋点联调测试的效能，为了避免后期使用打点的混乱。

二、数据平台演进的四个重要阶段

（1）脚本工具化

平台初期人手有限，很多数据工作都是用 Shell、Pyhon、PHP 等都是脚本完成的。脚本繁杂且不成体系，维护工作就变得特别重，整个团队效率非常低，数据经常出现问题。当时常说的一句话是：“我们不是正在补数据，就是在补数据的路上。”

（2）独立系统化

我们决定用系统化的解决方案代替脚本处理，采用高性能分布式日志采集系统，每日实时采集数据超过 10 亿条。我们研发了可扩展的日志消费系统，日均转移数据近 50 T；我们根据自身业务定制了 DAG 调度系统，日均提交 spark 任务 10 万次以上；我们果断拥抱开源的力量，引入阿里 datax 解决异构数据传输问题，引入 xxl-job 解决分片任务调度问题，引入携程 apollo 分布式配置系统解决配置统一化问题等。

（3）统一平台化

系统独立、分散、数据流转的环节多，可靠性无法保证。例如一款新产品接入神策系统，需要集成日志、清洗 ETL、配置各种数据源的调度任务、创建神策 project、验证数据等多个部门协作的环节，这极大的降低了团队的工作效率。我们需要各个环节打通，平台统一化，通过一个表单就可以自动化构建所有流程，无需登录各种后台以及服务器。经过平台化建设，我们数据接入的周期从 6 小时缩短到 10 分钟，相对的人力成本也降低了 70%。

举个例子：我们将创建神策 project、清理以及回溯数据的脚本，包装成统一的接口 API 服务，集成到工作流平台中统一管理。这样极大的方便了在 web 后台数据的统一维护，无需登录服务器操作。

（4）TO B 产品化

针对游戏行业我们研发了 BI 平台，支持多维度监控跟踪，360 度无死角监控分析用户生命周期的用户行为，超过 50 张报表和图表，帮助游戏开发者快速建立自己的数据分析系统。

该平台每天处理超过亿条日志，整套系统建立自 Hadoop、spark 生态系统之上，全部采用开源系统解决方案，采用 kafka+Flink 框架进行实时 ETL 流数据计算。综合分析涵盖了游戏分析中所需要的一些涉及活跃、注册、付费、在线等重要指标的基本报表，帮助使用者从整体角度来了解在选择时间段内的数据分布以及数据走势。绘制新增设备、新增账户、转化率三个指标的累积数据和趋势图，帮助追踪新玩家的数据，了解推广的力度。目前该平台正在内网 beta 测试，不久会开放给大家。

三、用数据说话，构建数据驱动文化

采用传统的 MR 统计、汇总结果到 DB 然后研发页面呈现的方式进行 BI 研发有三个弊端：（1）链路长、稳定性差、数据回溯维护周期长；（2）投入研发成本较高，多工种协作效率低，如仓库 ETL 工程师、后端工程师、前端工程师等；（3）因为维度、指标的不确定性，需求迭代慢，而且还会产生额外的算力浪费。

为了解决以上问题我们构建了 OLAP 数据仓库，并辅助一些相关措施，数据的稳定性从 7 日提高到 60 日，支持的报表以及数据服务也有了突破性的进展。这是我们团队目前取得的一些成绩。

四、创造可量化的价值，大数据的长征才刚开始

大数据到底能给公司带来多少收入？有没有可量化的评估指标？数据部门作为一个支撑部门，对于服务的及时性、满意度等都是支持部门的考核指标，然而这个考核指标形成不了价值闭环。那么大数据平台的目标是什么？是提供很多的数据检索的工具吗？或者是提供业务支撑的存储、计算服务吗？不同的企业针对大数据有不同的定位，我们的目标是利用大数据解决实际问题，扫除障碍、提升工作效率、附加增值收益、看得见的可量化的收入提升。

1.海外互联网指数

我们年初推出了全球互联网移动应用的一站式查询平台——“海外互联网指数”。据了解，该榜单涉及国家之多、展现数据之全、覆盖类别之广，在国内互联网行业无出左右。依托 APUS 全球 12 亿的海量用户资源以及创新的大数据 BI 技术，“海外互联网指数”可以实现对全球 20 个国家和地区、近 2000 款安卓 APP 数据活性的即时监测，对全球互联网企业及广告行业的实时信息查询极具参考价值。

“海外互联网指数”的强大之处在于可以以月度为单位、实时查询不同类别安卓 APP 的排名，客观反映某款移动应用的活性和受欢迎程度。截至目前，“海外互联网指数”查询平台覆盖了工具和游戏两个大类，以工具类别为例，又分成旅游和本地出行、社交约会、餐饮美食、家居装修、艺术和设计等 49 个细分领域。对于每一款单独的 APP，平台都支持从国家、分类、活性以及日人均打开次数等不同维度进行检索，并清楚地标识出该应用的排名和升降趋势。

值得一提的是，“海外互联网指数”在覆盖美国、英国、俄罗斯、日本、韩国等发达国家市场的同时，更将触角延伸到了包括印度、印度尼西亚、巴西、泰国、尼日利亚等在内的新兴国家，支持全球 20 个国家和地区的数据查询。通过“海外互联网指数”查询，互联网企业可以更直观地触摸到全球用户的移动互联网使用习惯，并对自身的经营和决策进行及时修正。举例而言，您可以了解哪些应用在印度更受欢迎，印度用户更痴迷哪些游戏类型——是益智棋牌、动作冒险还是体育竞技，以及他们在每一款 APP 上的平均使用时长等信息。

2.反欺诈引擎

APUS 在过去 4 年的发展历程中，在全球 200 多个国家和地区收获 10 亿用户的同时，深刻体会到黑产的危害。今年我们推出基于云端 spark 平台研发的反欺诈引擎，该引擎主要运用两种技术，第一种是规则引擎，另外一个则是无监督学习。

规则引擎根据设备地理信息、传感器信息、cpu 内存信息、存储信息、异常 APP 信息等设置相应的作弊权重，通过 200 多种规则进行作弊设备判别。无监督学习引擎主要运用分布式频繁项集、kmeans、dbscan 聚类算法等实现设备分群，比如在今天注册的用户中，假设有用户机型一致、ip 一致，有相似的行为、相似的特征，虽然无法判断单个设备是否作弊，但是该用户群可能存在作弊行为。APUS 的反欺诈引擎已累计检出几千万台问题设备，这些黑库资产可以共享给出海企业，给出海企业保驾护航。

3. 广告、推荐

在推荐和广告方面深入探索，建立了百万特征仓库、插件式算法框架和效果评估系统，使得新闻、视频、主题壁纸、生活服务等点击率获得 50% 的提升，整体广告转换率比随机投放提升 300% 左右。

4. APUS 相机

APUS 相机、抠图等产品需要进行 AI 支持，我们研发了人脸特征点检测技术，达到 68 个特征点，耗时不到 2 秒；同时研发了人体、头发轮廓分割模型，基于深度学习框架 caffe 训练，在移动端采用 ncnn 部署。图像方向支撑了抠图、美颜、趣味贴纸、滤镜抠图等功能。当然，离行业的标准还差很远，我们也在尝试用 Tensorflow Lite 等技术进行端测方向的算法迁移。

5. 用户画像

用户画像的构建是 APUS 大数据业务最重要的工作，我们为全球用户做精准画像发现许多有趣的内容。比如零点时分，很多韩国人依旧在看漫画和小说；日本人是全球起床最早的国家之一，在早上 6 点多已经起床；我们发现全球网民使用手机的时间是 5 小时，而爱尔兰人的使时间居然超过 8 小时。美国人广告点击率最高，最关心朝鲜的国家是日本。用户画像已经使用在方方面面，例如内容、新闻推荐，广告算法模型，产品人群分析等等。举个例子：在广告推荐方向，使用画像和推荐算法能够比随机投放的转换率提升 3-4 倍。

五、移动互联网大环境的变革，新的机遇和挑战

谷歌、Facebook 等大厂已经形成数据壁垒；欧盟 GDPR 法规的颁布使得大数据合规和安全的工作又上了一个新台阶；发展中国家的流量红利也逐步从系统、工具层向新型内容、游戏、电商、金融等领域转移；大的环境在变化，新型营销需要更精准的人群画像和算法才能更好的利用流量，所以构建健康有效的大数据业务尤为紧迫，但是未来的挑战会越来越大，终端上的机器学习有着比云端更好的优势，需要进行算法模型的迁移，而且 TensorFlow.js 、TensorFlow Lite 等也会逐步成熟。多国家、多语言以及数据稀疏的问题让 NLP 更加复杂，全球化数据中心公有云和私有云之间的数据采集、交换也充满了挑战，作为中国互联网出海的先行者，APUS 希望与更多出海企业携手输出中国的先进生产力，通过先进的技术和创新的产品，为中国影响力在海外的传播贡献应尽的力量。

更多最新数据驱动干货、案例和活动，可从【神策数据】公众号了解~

APUS 朱辉：移动应用出海的大数据建设挑战相关推荐

数据建模大数据就业挑战月薪30K
点击关注异步图书,置顶公众号每天与你分享 IT好书技术干货职场知识本文大概 10624 字读完共需 30 分钟 Tips 参与文末话题讨论,即有机会获得异步图书一本. 数据建模是对现实世界 ...
中国工程院院士徐宗本：大数据的挑战和问题
在方法论方面,大数据带来了三大挑战.第一,是分析基础:第二,计算的模式与计算方法需要推倒重来:第三,根本性判定需要条件. 大数据的挑战和问题谈论大数据是时代话题,拥有大数据是时代特征,解读大数据是时 ...
云南构建“健康医疗云框架”6项重点工程规范医疗大数据建设
明年底基本形成云南省级"健康医疗云框架".实施"互联网+健康医疗"行动.加强健康医疗大数据保障体系建设--11月11日,云南省卫生计生委举行<关于促进和规 ...
大数据时代医疗大数据建设，主要存在哪些问题？
1 医疗大数据平台建设存在缺陷大数据环境下,医疗大数据平台建设存在的缺陷主要表现在以下两个方面.一是缺乏规划.我国尚未出台医疗大数据平台建设的相关政策,没有形成战略层面的宏观规划.产业层面的中观规划 ...
传统银行业务的数字化转型-中原银行大数据建设实践
在以"场景赋能·驱动有数"为主题的神策 2018 数据驱动大会现场,中原银行刘远东发表了名为<传统银行业务的数字化转型-中原银行大数据建设实践>的主题演讲,以下内容根据 ...
农业大数据建设的需求、模式与单品种全产业链推进路径
农业大数据建设的需求.模式与单品种全产业链推进路径崔磊华中农业大学文法学院,湖北武汉 430070 摘要:农业大数据建设是打造现代化智慧农业的关键环节.通过案例分析和实证考察,从技术.市场.资本 ...
37手游云平台基于Flink+Hologres大数据建设实践
本文整理自37手游大数据平台资深开发工程师史飞翔在实时数仓Workshop · 广州站的演讲.主要内容包括: 37云平台大数据建设背景 37云平台大数据建设方案应用实践未来规划作者:史飞翔 37 ...
能源大数据建设面临的问题与解决方案
6月24日,在第四届世界智能大会城市能源大数据高峰论坛上,发布了国内首个城市能源大数据发展白皮书--<天津城市能源大数据发展白皮书2020>. 7月14日,临沂市能源大数据中心在国网临沂供 ...
大数据全攻略：10年老兵带你看尽MaxCompute大数据运算挑战与实践
大数据计算服务(MaxCompute,原名ODPS)是一种快速.完全托管的TB/PB级数据仓库解决方案.MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决 ...

APUS 朱辉：移动应用出海的大数据建设挑战