《大数据之路:阿里巴巴大数据实践》系列丛书

 第1章 总述

第1篇 数据技术篇
 第2章 日志釆集
 第3章 数据同步
 第4章 离线数据开发
 第5章 实时技术
 第6章 数据服务
 第7章 数据挖掘
第2篇 数据模型篇
 第8章 大数据领域建模综述
 第9章 阿里巴巴数据整合及管理体系
 第10章 维度设计
 第11章事实表设计
第3篇数据管理篇
 第12章 元数据
 第13章 计算管理
 第14章 存储和成本管理
 第15章 数据质量
第4篇数据应用篇
 第16章 数据应用


文章目录

  • 《大数据之路:阿里巴巴大数据实践》系列丛书
  • 第7章 数据挖掘
    • 7.1数据挖掘概述
    • 7.2数据挖掘算法平台
    • 7.3数据挖掘中台体系
      • 7.3.1挖掘数据中台
      • 7.3.2挖掘算法中台
    • 7.4数据挖掘案例
      • 7.4.1用户画像
      • 7.4.2互联网反作弊

第7章 数据挖掘

7.1数据挖掘概述

  进入DT时代,阿里巴巴作为全球最大的零售电子商务平台,正推 动着大规模数据采集、计算、挖掘和产品化服务的生态圈构建。2016 年财报显示,阿里巴巴集团平台成交额突破3万亿元,年度活跃买家达 到4.23亿,已成为全球最大的移动经济实体。与Google、Facebook, Amazon等世界上其他先进的互联网公司一样,高速增长的业务必然催 生大数据挖掘应用的蓬勃发展。当我们从业务系统中能够轻松采集到海 量数据时,往往会发现里面的有效数据信息却越来越稀疏,有效数据和 无效数据的增长率是不成比例的。因此,如何从海量数据中挖掘出有效 信息形成真正的生产力,是所有大数据公司需要面对的共同课题。
  数据挖掘技术与数据仓储及计算技术的发展是相辅相成的,没有数 据基础设施的发展与分布式并行计算技术,就不会有深度学习,更不会 见证AlphaG。的神奇。同样在阿里巴巴集团,得益于阿里云MaxCompute 云计算平台的发展,海量、高速、多变化、多终端的结构与非结构化数据得以存储并高效地计算。近年来,阿里巴巴数据挖掘应用也呈现出井 喷式的增长态势。面向海量会员和商品的全局画像、基于自然人的全域 ID-Mapping,广告精准投放平台、千人千面的个性化搜索与推荐技术、 非人流量与恶意设备的识别、商业竞争情报的自动化挖掘系统……这些 或传统或新兴的大数据挖掘应用已深入阿里巴巴业务的各个环节,“无 数据不智能,无智能不商业”,大数据与AI/机器学习融合后的新商业革 命已然到来。
  基于大数据的企业级数据挖掘需要包含两个要素:①面向机器学习 算法的并行计算框架与算法平台;②面向企业级数据挖掘的算法资产管 理体系。基于此,在接下来的章节中,我们会首先介绍阿里巴巴算法平 台的发展历史,以及当下正在使用的算法计算框架和平台。然后阐述阿 里巴巴的算法资产管理体系,领略企业级数据挖掘服务的标准、规范及 资产管理艺术。最后将展示阿里巴巴当下最热门的一些数据挖掘应用案 例,如消费者画像和互联网反作弊等,希望通过这些典型的应用案例, 能让你更深层次地感知大数据、机器学习、人工智能融合后所产生的巨 大能量及其在商业中发挥的巨大价值。

7.2数据挖掘算法平台

  2012年以前,由于数据的规模还不是特别庞大,大部分挖掘应用 所需处理的样本量在百万以内,而处理的特征一般也少于100维,那时 业界有许多成熟的商业挖掘软件如SAS、SPSS、Clementine等,这些 单机版运行的软件已经能满足绝大部分挖掘应用的需求,因此早几年阿 里巴巴尚没有研发面向海量数据的高性能并行计算的算法平台。然而, 随着数据量爆炸式的增长,以及分布式计算Hadoop、Spark、Storm等 技术的引入,阿里巴巴的商业挖掘应用也步入大数据时代,和早几年不 同,如今的挖掘算法需要面对的训练数据量动辄上亿,特征维度动辄百 万,因此,近两、三年来,阿里巴巴集团也在大力发展自己的机器学习 算法平台,并已取得阶段性成果。如今,阿里巴巴已建成一套稳定、高 效的算法平台,该平台架构于阿里云MaxCompute、GPU等计算集群之 上,汇集了阿里巴巴集团大量优质的分布式算法,包括数据处理、特征 工程、机器学习算法、文本算法等,可高效地完成海量、亿级维度数据 的复杂计算。除此之外,平台还提供了一套极易操作的可视化编辑页面, 大大降低了数据挖掘的门槛,提高了建模效率。未来还将面向外部客户 开放,配合阿里云的其他基础数据设施,为外部企业提供数据挖掘应用 的基础能力。
  下面简单介绍阿里巴巴算法平台的框架和原理。
  支持海量样本的高维特征训练是算法平台的必备要素,因此计算框 架的选择非常重要。近几年来,业界主流的并行计算框架主要有 MapReduce, MPI, Spark等。在阿里巴巴集团内部,基于MapReduce 与Hive的计算已经能解决公司业务90%以上的离线数据分析任务。而 对于需要频繁进行网络通信、内存消耗高、计算要求快速迭代的算法任 务,MPI无疑是最佳选择。MPI是一种基于消息传递的并行计算框架, 由于没有10操作,性能优于MapReduce0因此,阿里巴巴的算法平台 选用MPI作为基础计算框架,其核心机器学习算法的开发都是基于阿 里云MaxCompute的MPI实现的。
  MaxCompute MPI的处理流程如图7.1所示,与分布式计算系统的 原理类似,不再赘述。其中伏羲为阿里云飞天系统的分布式调度系统, 女蜗为阿里云飞天系统的分布式一致性协同服务系统,盘古为阿里云飞 天系统的分布式文件存储系统。

  基于MaxCompute MPI,目前阿里巴巴的算法平台已经集成了绝大 部分业界主流的机器学习算法(见表7.1),从传统的分类、聚类算法, 到互联网应用中非常流行的协同过滤、PageRank算法,再到当前最火 热的深度学习算法,这些算法基本可以满足企业级数据挖掘应用的需 要。配合阿里巴巴的大数据计算平台MaxCompute,工程师们可以通过 简易的命令式调用或拖拽式的可视化界面操作,将这些算法应用于自己 的实际业务当中,体验机器学习算法与大数据结合后的强大功能与魅力。

7.3数据挖掘中台体系

  在阿里巴巴集团,由于业务场景与商业智能分析需求的多样化,多 个部门、多个商业智能及算法团队针对应用问题所提出的算法解决方案 往往是独立的,通常一次数据挖掘的过程包括商业理解、数据准备、特 征工程、模型训练、模型测试、模型部署、线上应用及效果反馈等环节。 如果对于每个应用都完全独立地设计这么一套流程,那么对于阿里巴巴 成千上万的挖掘应用而言无疑将产生巨大的时间与经济成本,带来大量 的重复建设和资源浪费。事实上,早在2015年,阿里巴巴集团便提出 了中台战略,将一些通用的技术集成起来形成中台技术体系,为各业务 部门提供统一、高效的技术服务,避免各业务部门在各自业务发展的过 程中进行重复的技术建设造成不必要的资源浪费与时间消耗。对于数据 挖掘技术而言,中台发展的思路同样适用,并且从长远来看,构建数据 挖掘中台技术体系也是绝对有必要的。
  就数据挖掘的商业场景而言,可以分为两大类应用:个体挖掘应用 与关系挖掘应用。个体挖掘应用指对单个实体的行为特征进行预测与分 析,如预测某商品的销量、划分某行业的价格区间等;关系挖掘应用指 研究多个实体间的关系特征,如商品的相似关系、竞争关系等。就数据 挖掘技术而言,其包含两大要素:数据和算法。数据是数据挖掘的起源 与挖掘结果最终的承载形式,可以说任何数据挖掘的过程都是从数据里 来,回数据里去,源于数据而高于数据;算法是数据挖掘的神经中枢, 通过算法对原始数据进行加工,得到对业务更有价值的数据。因此,对 于数据挖掘中台体系的设计也包含两大块:数据中台与算法中台;结合 数据挖掘的商业场景,对这两大块的设计又分别从个体挖掘应用和关系 挖掘应用两方面进行考虑。

7.3.1挖掘数据中台

  在数据挖掘的过程中包含两类数据:特征数据与结果数据。这两类 数据很好理解,比如要预测某商品的销量,那么算法需要的特征变量其 实就是特征数据,算法最终输出的商品销量的预测结果就是结果数据。 对于特征数据,相信有一定数据挖掘工作经验的读者都知道,在挖掘项 目中80%的时间可能都是在处理特征,这些特征的提取、清洗、标准化, 以及基于业务场景的再组合和二次加工往往是我们工作内容的主体部 分。试想,如果有一套标准、规范且索引方便的全局特征库,每个挖掘 工程师只需访问几张物理表就能迅速地搜集到绝大部分自己想要的特 征,是不是一件很酷的事情?同时,通过算法生成的结果数据也需要进 行合理的分层存储。有的结果非常通用和基础化,可以在很多的业务场 景中复用,有的结果则相对个性和场景化,只适用于某个具体的业务和产品,因此需要对结果数据进行合理的分层,有效隔离通用性强和个性 化强的结果,这样可以充分发挥通用性强的算法结果的作用,提升它的 复用率,减少不必要的重复建设。
  基于以上分析,我们把数据中台分为三层:特征层(Featural Data Mining Layer, FDM)、中间层和应用层(Application-oriented Data Mining Layer, ADM),其中中间层包括个体中间层(Individual Data Mining Layer, IDM)和关系中间层(Relational Data Mining Layer, RDM),如 图7.2所示。

  不同数据层的作用有所区别:

  • FDM层:用于存储在模型训练前常用的特征指标,并进行统一 的清洗和去噪处理,提升机器学习特征工程环节的效率。
  • IDM层:个体挖掘指标中间层,面向个体挖掘场景,用于存储 通用性强的结果数据,主要包含商品、卖家、买家、行业等维度
    的个体数据挖掘的相关指标。
  • RDM层:关系挖掘指标中间层,面向关系挖掘场景,用于存储 通用性强的结果数据,主要包含商品间的相似关系、竞争关系, 店铺间的相似关系、竞争关系等。
  • ADM层:用来沉淀比较个性偏应用的数据挖掘指标,比如用户 偏好的类目、品牌等,这些数据已经过深度的加工处理,满足某 一特点业务或产品的使用。
    通过挖掘数据中台的建设,能够大幅度节省数据挖掘特征工程的工 作时间,而中间层与应用层的分层设计则能更有效地管理通用的挖掘计 算结果,大量减少重复的基础数据挖掘工作。

7.3.2挖掘算法中台

  算法是数据挖掘的神经中枢,算法使用的方式往往决定应用的成 败。理解算法的原理不难,难的是在理解原理的基础上如何能结合业务 合理地运用算法。很多开发者对算法了如指掌,但发现结合实际的业务 仍然会有很多困难,甚至会踩很多地雷或陷阱。例如,在阿里巴巴会员 画像的建设中会发现标注样本的缺失是个很普遍的问题,预测一个用户 是否有小孩,用传统的分类方法看似是顺理成章的选择,然而有监督的 分类算法需要有可靠的标注数据,这个样本从哪里来?即使采用调研的 方式,面对淘宝4亿的活跃会员,也会显得十分苍白和无力。又如对于 销量预测,方法的选型本身就是一个很头疼的问题,即使是熟知回归分 析各种算法的工程师,如果没有极佳的业务经验和数据洞察能力,对于 这个问题恐怕也没有太好的捷径找到最合适的方法。此时我们会想,如 果能像金融领域的风控一样,有一套类似于评分卡建模的方法论和实操 模板,那么处理业务问题的效率将会大大提升。而阿里巴巴数据挖掘算 法中台建设的目的同样在于从各种各样的挖掘场景中抽象出有代表性 的几类场景,并形成相应的方法论和实操模板。
  按照个体挖掘应用和关系挖掘应用的分类方式,可以抽象出常见的 几类数据挖掘应用场景一一在个体挖掘应用中,消费者画像与业务指标 预测是两类非常有代表性的场景,而在关系挖掘应用中,相似关系与竞争关系是两类非常通用的关系挖掘应用,在此基础上构建的推荐系统与 竞争分析系统,则是电商领域持续关注的两大热门话题。

7.4数据挖掘案例

  依托强大的云计算技术、算法平台与数据挖掘中台体系,近几年阿 里巴巴集团沉淀了.大量的电商数据挖掘案例,并逐步形成以商家、消费 者、商品为核心要素的全域数据挖掘应用体系。本节以淘宝市场上的消 费者群体为例,介绍用户画像和互联网反作弊领域中的相关应用案例。

7.4.1用户画像

  在阿里巴巴旗下的淘宝网、虾米音乐上都不乏个性化推荐场景,淘 宝、天猫平台上的众多商家则需要通过用户调研和产品研发来把握产品 的目标人群和人群偏好,从而对用户投其所好。对用户有深刻的理解是 网站推荐、企业经营制胜的重要一环。在传统企业中,获取用户的反馈 信息耗时长、结果缺失,是个难关。然而,随着大数据热潮的兴起,快 速捕捉海量用户行为并精确分析人群偏好等商业信息已经成为可能。作 为个性化技术的重要基础,相比于传统企业的购物篮分析、问卷调查, 在用户画像的塑造上具备技术的天然优势。
  阿里全域数据提供了足够的数据基础,正是基于用户网购、搜索和 娱乐影音等行为的数据洞察,可以利用数据分析辅以算法的视角对用户 进行360。全方位的特征刻画。那么,究竟什么是用户画像?通俗地讲, 用户画像即是为用户打上各种各样的标签,如年龄、性别、职业、商品 品牌偏好、商品类别偏好等。这些标签的数目越丰富,标签越细化,对 用户的刻画就越精准。例如,分析某用户为女性,可能仅仅是将与女性 相关的服装、个人护理等商品作为推荐结果反馈给该用户,但若根据用 户以往的浏览、交易等行为挖掘出进一步的信息,如用户的地理信息为 海南,买过某几类品牌的服装,则可以将薄款的、品牌风格相似的服装 作为推荐结果。
  一般而言,用户画像可以分为基础属性、购物偏好、社交关系、财 富属性等几大类。对于刻画淘宝网购用户,则应侧重于他们在网购上的 行为偏好。下面以用户女装风格偏好为例,讲解该用户标签是如何基于 全域数据产出的。
  购买过淘宝商品的读者对商品详情页都不会陌生,一件商品的关键 特征除了反映在商品图片和详情页中以外,主要可以采集的信息是商品 的标题以及参数描述。女装有哪些风格?首先需要将女装行业下的商品 标题文本提取出来,对其进行分词,得到庞大的女装描绘词库。然而, 淘宝商品的标题由卖家个人撰写,并不能保证其中的词语都与商品风格 描述相关。因此,对于所得到的女装描绘词库,首先,需要根据词语权 重去除无效的停用词,方法如计算TF-IDF值。其次,在女装商品的参 数描述中,如果已经包含了一种商品风格,例如“通勤” “韩版”等常 见风格,那么通过计算词库中词语与参数描述中风格词的相似度,可以 过滤得到女装风格词库,利用无监督机器学习如LDA等方法可以计算 岀一种风格所包含的词汇及这些词汇的重要性。那么,买家偏好什么风 格呢?在淘宝网上,买家拥有浏览、搜索、点击、收藏、加购物车以及 交易等多种行为,针对每种行为赋予不同的行为强度(比如浏览行为强 度弱于交易行为),再考虑该商品的风格元素组成,就能够通过合理的 方式获知买家对该风格的偏好程度了。
  对于这样的商品偏好计算,数据挖掘人员需要仔细分析用户偏好的 商品的类型、品牌、风格元素、下单时间,这一系列行为可以构成复杂 的行为模块。同理,利用机器学习算法,可以从用户行为中推测其身份, 例如男生和女生、老年与青年偏好的商品和行为方式存在区别,根据一 定的用户标记,最后能够预测出用户的基础身份信息。

7.4.2互联网反作弊

  在人们享受互联网带来的便捷和高效时,有一批人将其黑手伸向了 这一领域,他们利用某些网站的技术和业务漏洞进行作弊,从而满足自 己的灰色利益需求。可以看到,作弊黑产业链的滋生与发展使得人们的 信息安全、资金安全,甚至人身安全面临着严重威胁。从业务上看,反 作弊工作主要体现在以下几个方面:
(1)账户/资金安全与网络欺诈防控
  账户的安全性越来越重要,尤其是购物和理财的网站或APP,其账 户以及资金的安全更是维持用户信任的最后一道防线。账户隐私数据的 泄露和非法交易问题不容忽视。
(2)非人行为和账户识别
  大量的非人行为和账户利用自动化程序来模拟人的注册、浏览、点 击等行为,帮助一些商家达到提升商品排名或者攻击竞争对手的目的。
(3)虚假订单与信用炒作识别
  在平台类电商网站中,随着商家之间的竞争升级,虚假订单和信用 炒作逐渐成为许多商家依赖的竞争手段。当下,虚假销量与GMV正在 毒害健康的经营环境。
(4)广告推广与APP安装反作弊
  正当大量的企业开始投入人力和财力进行公司产品和品牌的宣传 推广时,也有人通过自动化程序或者人工的方式产生虚假的点击和浏览 行为,以此打击竞争对手,或者是从中获取直接的经济利益。同样在无 线端,在APP以CPA为主要推广结算方式的情况下,大量的专业刷装 机量的公司为很多APP产生虚假的装机量数据,以此达到各方获取不 正当利益的目的。
(5)UGC恶意信息检测
  用户在各类网站上产生的UGC信息,本可以帮助网站更好地了解 用户的使用习惯以及潜在需求,帮助优化网站或者产品。但是,很多人 却利用文本、图片、声音、视频等内容的复杂性和多样性,恶意传播色 情、诈骗、谣言、暴力等不正当信息,给互联网环境造成了很大的威胁。
  随着作弊场景和手法的不断变化,各个维度的安全技术也在不断升 级保护正常用户免受黑色利益链条的侵害,其中包括物理安全、网络安 全、应用安全、数据安全等方面。在数据安全的保障工作中数据挖掘算 法也扮演着十分重要的作用。从所釆用的算法技术上说,反作弊方法主 要包括如下几类:
  (1)基于业务规则的方法
  这类方法主要是根据实际的业务场景,不断地发现总结作弊和获利 手法,通过反作弊规则的不断拓展或产品设计的完善来识别、缓解甚至 消除作弊现象。比如在电商产品的搜索排名中,对刷单的销量采取类似 于降权的处理方式,避免市场秩序受到影响,以此减少商家的刷单行为 带来的不正当利益。或者是在APP安装反作弊工作中,通过查看单个 设备的单日出现城市数、登录账号数、设备id合法性等建立规则来衡 量作弊情况。
  这类方法的优点是精度高、可解释性强,能准确识别老的作弊方式, 缺点是人力成本高,而且对新的作弊手法滞后性较强。
  (2)基于有监督学习的方法
  将基于有监督学习的方法应用于反作弊工作中,其基本思路是按照 有监督分类算法的流程来建模,通过正负样本标记、特征提取、模型训 练及预测等过程来识别作弊行为。比如在账户反欺诈场景下,以账户的 属性信息和行为数据作为模型特征输入,以历史的欺诈事件作为标记样 本,通过训练分类模型对当前账户的作弊风险进行预测评估。
  但在反作弊领域内,此类方法遇到的最大问题是类不平衡现象。因 为绝大多数用户及行为都是正常的,只有少数一些用户及行为是恶意 的。比如相对于正常用户的转账行为,资金欺诈行为数量是极少的,但 是这些极少的行为可能给用户带来无法挽回的经济损失。为了缓解这一 问题,我们会在采样或者模型训练过程中进行一些技术处理,以减少类 不平衡给识别结果造成的影响。
这类方法的优点是通用性强,人力成本主要集中在样本的标记和特
征的处理上;缺点是有些算法结果的可解释性不强,容易造成错判,需 要辅以其他指标和方法进行综合判断。
  (3)基于无监督学习的方法
  在此类方法中较常见的是异常检测算法,该方法假设作弊行为极其 罕见且在某些特征维度下和正常行为能够明显地区分开来。所以,假设 检验、统计分析、聚类分析等手段常被用来做异常检测。比如我们发现 账户的网站访问时间段分布有一定的规律,和人们日常的作息时间具有 相关性,如果某个账户长期在凌晨发生大量的访问行为且转化率较低, 那么就需要适当提高对应账户的风险等级。可以采用类似于上述算法, 然后辅以一定的业务知识来综合判断行为的风险情况。
此类方法的优点是不需要标记正负样本,而且检测到的异常行为还 可以沉淀到规则系统中;缺点是特征设计和提取的工作量大,需要在所 有可能的风险维度下刻画行为特征。
  除了上述方法外,类似于多媒体数据处理、图计算模型等方法也逐 渐被用来处理反作弊问题。
  此外,在实际应用中,上述几种方法并不是完全割裂的,有可能一 个完整的反作弊系统会同时使用所有方法。而且,除了算法理论方面的 工作外,在算法实现方面我们还会遇到很多问题,因此算法的实际应用 工作也是十分重要的。这部分工作主要分为以下两个方面:
  (1)离线反作弊系统
  离线反作弊系统主要包含规则判断、分类识别、异常检测等模块, 通过历史行为和业务规则的沉淀,来判断未来行为的作弊情况。其优点 是准确率较高,所使用的历史数据越多,判断结果越准确;缺点是时效 性较差,无法及时给出判断结果。
  (2)实时反作弊系统
  随着在某些场景下对时效性要求的不断提高,人们逐渐发现实时反 作弊系统的必要性和重要性。所以,将离线中的许多规则和算法进行总 结,在基本满足准确率和覆盖率的前提下抽取出其中计算速度较快的部 分,以此来满足对实时性的要求。但是要求高的实时性可能要以一定的 准确率为代价,而且由于数据需要进行实时采集和计算,所以对数据存 储和计算系统的性能要求也非常高。
通过对现有的作弊以及反作弊相关内容的介绍,我们可以看到,这 一领域的很多问题暂时未得到解决,未来还面临着诸多挑战。比如:
  (1)作弊手段的多样性和多变性
  随着黑产公司的规模化和“正规”化,作弊与获利手段的多样性和 多变性越来越明显,而反作弊系统如何能更及时地发现识别出新的手法 和灰色利益链条,这是挖掘算法所面临的一个重要挑战。
  (2)算法的及时性和准确性
  由于普通用户的隐私和安全意识越来越强,所以反作弊系统的准确 性和及时性要求越来越高,不仅要尽可能减少误判的情况,还需要及时 发现真正的作弊行为,在给用户造成更大的损失之前对其实施有效的控 制措施。
  (3)数据及作弊手段的沉淀和逆向反馈
  随着反作弊系统的升级改造,算法工程师无论在业务还是算法上都 积累了相当多的数据和经验,如何将这些作弊手法以及反作弊手段进行 通用性的沉淀,以及高效地逆向反馈到新的反作弊系统中,保证算法能 紧跟市场脚步,也是反作弊工程师需要考虑的重要问题。
  大数据时代为人们带来了丰富的基础数据和应用方式,也对信息安 全提出了更高的要求,相信数据挖掘领域的不断发展能为这一方面的工 作带来创新和突破。

《大数据之路:阿里巴巴大数据实践》-第1篇 数据技术篇 -第7章 数据挖掘相关推荐

  1. 读《大数据之路-阿里巴巴大数据实践》数据模型篇笔记

    读<大数据之路-阿里巴巴大数据实践>数据模型篇 七 建模综述 OLTP 面向数据 随机读写 3NF OLAP 批量读写 不关注一致性更关心数据整合 ER模型–衍生出dataVault 维度 ...

  2. 大数据之路 阿里巴巴大数据实践 读书笔记

    一 .总述 人类正在从IT时代走向DT时代.现在的数据呈爆炸式增长,其潜在的巨大价值有待发掘.但是如果不对数据进行有序.有结构的分类组织和存储,它将变成一场灾难. 在阿里内部,数据的存储达到EB级别. ...

  3. 《大数据之路-阿里巴巴大数据实践》读书笔记

    ps:这本书主讲阿里的大数据体系架构方案,从底层到高层阐述,目前对我来说此书的难度较大,不是很懂,大部分为对原书的引用归纳,我会给出相应的大牛的关于此书的读书笔记的传送门供参考.以下为大牛关于本书的读 ...

  4. 大数据之路——阿里巴巴大数据实践:总述

    阿里巴巴大数据系统架构图: Aplus.JS是web端日志采集技术 UserTask是APP端日志采集技术 TimeTunel(TT)是一个实时消息处理平台,类似于kafka+storm DataX是 ...

  5. 《大数据之路 阿里巴巴大数据实践》笔记

    此书下载传送门http://www.java1234.com/a/javabook/yun/2018/0308/10578.html 第1章 总述 阿里巴巴大数据系统体系主要分为,数据采集.数据计算. ...

  6. 《大数据之路-阿里巴巴大数据实践》第一章 总述

  7. 【手把手教你如何从Tushare库下载股票数据,并保存在硬盘当中,第一篇数据过滤】

    手把手教你如何从Tushare库下载股票数据,并保存在硬盘当中.第一篇数据过滤 前言 一.Tushare是什么? 二.代码 1.引入库 2.交易日的逻辑 3.先把每天个股的基础数据调出来 3.接下来我 ...

  8. 阿里首度公开大数据系统架构《大数据之路:阿里巴巴大数据实践》来了

    絮絮叨叨了很久,说阿里数据要出书.每天被催,什么时候写好,什么时候出版.终于,千呼万唤始出版了!!!! 点击阅读详情,即刻试读!!! 曾鸣教授作序 CSDN.ChinaUnix.ITPUB.segme ...

  9. 阿里巴巴大数据实践-读书笔记

    7月份,阿里的数据技术及产品部的同学们出了一本书,大数据之路-阿里巴巴大数据实践,号称全面系统的介绍了阿里巴巴的大数据系统架构. 这很好,阿里的同学们在对外交流这一块,感觉管得是越来越严了,加上人多部 ...

  10. 品《阿里巴巴大数据实践-大数据之路》一书(上)

    7月有人推荐阿里巴巴刚出的这本书<阿里巴巴大数据实践-大数据之路>,到亚马逊一看才是预售状态,拍下直到8月才拿到. 翻看目录一看,欢喜的很,正好出差两天就带在身边,由于在机场滞留超过12个 ...

最新文章

  1. 电子学会青少年编程等级考试案例:曲奇饼干
  2. shell if else
  3. 《Adobe Acrobat X中文版经典教程》—第1章复 习
  4. oracle怎么查询换行符,关于oracle:如何检查表中所有列的换行符
  5. 温州大学《深度学习》课程课件(六、机器学习实践)
  6. HLSL-高级着色语言简介【转】
  7. 怎么在activity里面操作listView的item里的组件的点击事件
  8. java怎么设计一个系统吗_谁能帮我设计一个Java的文件管理系统谢谢各位
  9. 前端----HTML
  10. oracle实际是什么意思,Oracle遇到的应用实际教程
  11. “运营商不能沦为管道”是一个错误的理论
  12. python图像边缘检测报告_python计算机视觉2:图像边缘检测
  13. BIGEMAP地图下载器优势对比(水经注)
  14. python用pandas读取txt_python Pandas 读取txt表格的实例
  15. python greedy 加油次数
  16. 科学计算机统计说明书,科学计算机带哪些功能_科学计算机怎么用_科学计算机使用方法...
  17. 【Y9000P 2022 GTX3060 CUDA安装记录】
  18. 基于STM32的12864液晶理解
  19. 国产安路FPGA(一)-TD软件使用及问题记录
  20. Discus 论坛 在 pc 电脑上 访问手机版 ( mobile ) 和 触屏版(touch)设置

热门文章

  1. 支持I2S数字音频接口;音频功放芯片NTP8835C
  2. java混淆器最好_使用混淆器,保护你的java程序
  3. 自然语言处理(NLP):08-05 TextCNN短文本分类案例分享
  4. boobooke播布客
  5. erdas几何校正_erdas图像几何校正操作步骤指南.doc
  6. 2022中兴捧月算法挑战赛(RAW图像去噪)——初赛到决赛总结与反思
  7. Epub与Kindle
  8. PDF文档加密签名处理
  9. 卡巴斯基7.0反病毒一年激活码免费领取(官方活动,现已停止)
  10. SpringBoot+Vue项目网上家电商城