以下内容来自我在上周六的首席数据官联盟年会上的演讲。

一、闷闷的CIO出路在大数据

CIO这几年很是郁闷啊。为啥？因为云计算IaaS让CIO丧失了大规模IT资源采购权和运维权，好多工作都被云厂商接管了。而SaaS的发展，在线免费体验、立即支付立即开通、微收费、免安装部署配置、免运维，又让各业务部门有钱有能力自行购买业务软件，这下，应用也被拿走了。

而且，企业转型互联网，开展互联网营销，又被市场营销部抢走了。开展电子商务交易，又被企业新成立电子商务事业部甚至子公司，专门设立CTO抢走了。如果企业不升级不转型，不开展互联网业务和电子商务业务，企业CIO又没啥事。

眼看着新开拓的业务不归自己管，眼看着自己手里的IT资源和IT应用正在逐步减少，自己守着这摊陈旧的IT设备和内网ERP，无聊兼郁闷啊。而有一些CIO更陈旧，天天还在强调稳定、标准、规范、流程、集成、安全、风控、PDCA。

我前天第一张PPT就直击问题：以数据洞察为中心，你们还有90%的信息化工作还没有做呢。你们建设了多年的ERP，只是把企业内部点亮，面对数据驱动决策，还需要知己知彼，要去被迫收集企业外部的数据，那里全是信息黑幕，等着我们去点亮。

二、CDO要收集社会大数据

不管企业是否要开展互联网业务和电子商务业务，站在数据驱动决策知己知彼角度，必须要收集企业外部数据。

而主要收集哪些企业外部数据，我个人认为是以上四个领域：

1、现场数据。我们虽然上了很多信息化系统，但是很多的信息都还发生在我们生活工作的日常环境中，他们需要物联传感、摄像头、语音识别、可穿戴设备、地理位置等等技术手段需要收集到

2、互联网数据和电子商务数据。因为消费者现在大多都在互联网上。你想了解消费者你就不能只限于自己企业内部ERP收集到的这点消费者信息。你需要收集到消费者360的信息，你才知道消费者在你企业之外，他还喜欢什么他还去了哪里。

3、政府公共事务数据。在中国，很多产业资源产业政策、很多产业数据宏观数据，都在政府手里。你的企业是活在一个产业中的，你想战略定位自己、你想卡位竞争，你必须对产业进行了解。皮之不存毛将焉附？你说对不对。

这么来看，CDO确实还有90%的数据收集工作还没有完成。过去上ERP，是为了给业务部门提供业务处理工具、给管理层提供管理工具。而未来上信息化，主要是为了自己收集企业内外数据而上马数据收集工具。视角一转，柳暗花明又一村。

三、新时代的数据收集需要的云技术架构

新时代的数据，由智能设备、互联网、电子商务、企业SaaS、政府共同主力产生。

这些外部漂着的系统，都由统一的用户登录、用户移动门户接入。再经过云中间件引擎进行数据加工处理，最后沉淀到云数据库或者大数据仓库中。而这一切的云中间件引擎计算和大数据计算大数据存储，都由底层云计算平台支撑。而云计算平台由云运维平台云安全平台来管理。这是云时代的企业技术架构框架。

要搭建这样的分布式云平台、大数据平台、中间件平台，已经比以往的ERP所需的技术不可同日而语，很多企业IT部门甚至企业软件公司，连部署、配置、运维这样的大规模分布式平台都难以胜任，只有采取云运行模式。

四、大数据技术

其实大数据技术的兴起也就在近5年内才高速发展起来。而人工智能技术虽然已经有60年的历史了，期间也沉沉浮浮好几次，这次又兴起了，就是因为人工智能想真正智能，必须要有大量的、实时新鲜的、社会化360度的数据来训练，越训练越精确。现在的时代，正好有了实时在线的智能物联、智能手机、4G/WIFI、互联网、电子商务、企业SaaS，可以产生更多数据；正好有了云计算云存储、分布式中间件、分布式大数据计算与处理平台可以处理大数据。所以这也是我建立大家把IT平台搭建在云上的原因，就是为了实时在线、连接、即时处理。有些IT厂商有很好的人工智能引擎，却没有很好的源源不断的实时鲜活大数据，所以他们的人工智能引擎并不智能。

大家也会看到现在大数据技术的主流是开源，而非封闭自有。这些开源技术都是国际大IT巨头贡献和支持，具有很扎实的技术实力和应用实例，也构建成了很强大的技术生态。开源在高质量、低成本、可选择、可生态扩展、可控方面都有很好的竞争力。

五、数据业务价值场景

1、大数据驱动智能产品：远程诊断、保养与维修服务推送、定损、估价

2、大数据驱动互联网营销：用户行为分析、精准搜索、精准排名、精准推荐、精准广告投放、精准EDM推送

3、大数据驱动电子商务交易：智慧采购、智慧定价比价、智慧促销、智慧仓储规划、智慧物流配送、智能客服；恶意用户、恶意订单、恶意点评判别

4、大数据驱动金融：供应链信贷风控、消费信贷风控；保险推荐

5、大数据驱动IT运维：异常诊断；恶意流量安全防护、恶意访问判别

六、需要建立企业数据部

企业多年实施ERP也收集了不少数据，现在这样做会收集更多的信息，但为什么这么多年过去了，企业的数据没有盘活？这是因为企业并未围绕数据进行企业IT团队的搭建。

首先，CIO和CDO的能力三角模型就不一样。CIO更偏向管理职能，往往围绕IT战略规划进行选型管理、项目管理、流程管理。而CDO更偏向专业职能，往往围绕数据收集数据加工处理进行平台搭建、组织搭建、商业洞察。

只有在CDO的带领下，搭建专业的数据加工团队，才能真正发挥数据的价值。所以我也列出了未来企业数据部门所需的岗位：

1、大数据技术平台研发团队、大数据技术平台运维团队

2、大数据ETL清洗团队

3、大数据特征标注团队

4、商业建模团队、数据算法团队

5、商业分析洞察团队

七、大数据实施选型

很多CIO都问过我有哪些可推荐的大数据厂商。我说我一个都推荐不出来。为什么呢？因为现在要收集社会化大数据，而且是海量数据，而且收集的手段也多种多样，所以以后再也不会出现类似ERP那样一家厂商包打全套的企业了。你只能一家家的找了。有擅长做日志大数据收集的，有擅长做互联网爬虫大数据收集的，有擅长做智能产品大数据收集的，有擅长做互联网营销大数据的，有擅长做行业应用大数据收集和处理的。

所以啊，你一块块的上，一块块的选型与合作。如果你企业IT部门IT能力比较薄弱，你估计还得选择一家解决方案总承建商，在：项目整合协同推进、项目风险项目质量管理、实施方案设计、技术方案设计、数据标准规范设计、集成接口设计方面给予你总控的帮助。

先搞主数据和大数据仓库，再搞社会化大数据（互联网与电子商务），最后再搞智能物联大数据，这是我给大家的建议。

主数据，一般是用户、客户、产品、项目、合同、供应商、小区等等。主数据标准、主数据独立、主数据复制分发、主数据Open api服务。这些事忙完了，紧接着就是主数据画像。这部分工作是基础工作。因为各种精准营销、精准推荐等等都非常强烈依赖主数据画像，如用户画像、用户购买行为、用户小区画像、产品画像等等。

建设大数据仓库阶段时，选择供应商，最看重的就是供应商的行业生态合作伙伴建设情况。因为大数据分析技术、大数据技术平台，都比过去搞ERP、搞数据仓库商业智能要高好多数量级，所以我至今也没见到一家既有足够大数据基础平台技术又有强悍的大数据应用分析技术能力的厂商。所以一般都要依靠行业应用生态合作伙伴，一同合作提供：业务数据逻辑分析能力、业务价值模型建模能力、数据结果洞察能力。

建设社会化大数据阶段时，选择供应商，最看重的就是供应商的互联网与电子商务经验。看看供应商是否具有丰富的互联网营销、电子商务业务智能、互联网金融信用评估经验与能力。很多大数据厂商并未做过互联网营销和电子商务交易，所以搞的各种解决方案与成功案例，都是皮毛，并未理解到真髓。

建设智能物联大数据阶段时，选择供应商，最看重的就是供应商的智能物联能力，看看供应商是否具备智能硬件研发能力、智能物联云研发能力、人工智能识别引擎研发能力。

八、大数据部署技术架构建议

很多CIO觉得数据是企业以及企业IT部门最核心的资产，所以一定要好好保护起来，所以在部署方面比较倾向于私有云。这其实是有误区的。不过这种认识误区也是有原因的，因为很多企业并未开展智能物联业务、互联网业务、电子商务业务、企业SaaS应用。如果企业开展了这些业务应用，就会发现，企业所需要的数据，都已经飘在了公有云上。

所以我建议这样部署大数据平台：把大数据平台部署到混合云上。把企业原有的ERP数据经过ETL加工处理传输到混合云上，把公有云上应用产生的数据拉会到混合云中。

混合云其本质就是公有云中的专有云。不管是客户自己购买的机房/服务器/存储，还是云厂商的机房/服务器/存储，都由云厂商统一部署、统一运维。在统一平台上看不出来到底是谁家资产所有权。但在网络隔离、服务器资源隔离、数据隔离方面，是专属的，不受其他企业的影响和侵入。