【SDCC讲师专访】专访有赞洪斌：“精细化”平台架构带来数据价值最大化
2016年9月22日-23日，由CSDN重磅打造的大数据核心技术与实战峰会、互联网应用架构实战峰会将在杭州举行。
SDCC 2016大数据技术&架构实战峰会（杭州站）是由CSDN主办的顶级技术盛会，大会目的是促进更加深入的业内同行技术交流，传播先进技术理念。SDCC 2016·杭州站为期两天，主要面向对大数据/架构技术感兴趣的中高端技术人员，将秉承干货实料（案例）的内容原则，聚焦技术实践，结合业务，邀请业内顶尖的架构师和技术专家，共同探讨海量数据下的应用监控系统建设、异常检测的算法和实现、大数据基础架构实践、敏捷型数据平台的构建及应用、音频分析的机器学习算法应用，以及高可用/高并发/高性能系统架构设计、电商架构、分布式架构/微服务等话题与技术。
有赞是一家移动零售服务商，致力于为企业和个人提供全套的移动电商产品服务方案。大会前夕，有幸邀请到有赞大数据团队负责人洪斌接受CSDN记者专访。
有赞大数据团队负责人 洪斌
洪斌，有赞大数据团队负责人。在数据仓库，搜索引擎，机器学习方面有较丰富的经验。2015年加入有赞，负责有赞大数据平台和搜索引擎的搭建及应用。之前担任汽车之家广告平台架构师。
以下为采访正文
CSDN：请介绍下自己和目前从事的工作，以及关注哪些技术领域？
洪斌：热爱coding，热爱大数据。主要从事搜索引擎，数据挖掘以及大数据领域的技术研发和管理工作。2015年4月加入有赞，负责有赞搜索/推荐，数据仓库的搭建和实施。本人也有幸经历了有赞发展成为服务百万零售商过程中，面临的一系列挑战和机遇。
CSDN：微电商是区别于传统电子商务的电商模式，有赞作为一个移动零售服务商，它的大数据平台架构是怎样的？有什么不同？
洪斌：有赞的主要特点之一是服务于各行各业的零售服务商，他们有不同的场景和产品要求，这使得我们的业务类型多样且变化较快；其次我们持续保持一个小的高效的企业，要求每个产品运营人员了解行业，了解客户，这样，我们对数据的要求也越来越“精细化”。
基于如上特点，我们的大数据平台在设计上尽可能保持简洁。具体的体现在如下几点。第一，数据仓库不再像传统的数仓模型这么的层级；第二，我们期望数仓模型随着产品的更新逐步迭代，而不是一开始设计完备的数据模型；第三，我们提供数据仓库周边设施，比如数据字典，数据地图等来帮助使用者理解数据仓库的数据结构和血缘关系，降低数据仓库的学习门槛。
“精细化”的要求我们的数据可以在一定的程度可以被一线人员理解和使用。而不仅仅是数据分析师才能使用的数据工具。我们在数据仓库基础上搭建了OLAP多维分析系统，让使用者可以方便的进行数据挖掘；而为了达到灵活的查询和筛选，我们把数据仓库按照实体搭建搜索引擎，供使用者查询和研究。
从上也可以看出，技术为业务服务，在移动互联网的背景下，影响数据平台价值的最关键因素还是数据人才的质量。首先要懂业务，了解细分行业的需求和痛点才能有目的的挖掘数据的价值；其次才是有手艺。这样的人才也是我们最缺少的。
CSDN：在应用数据仓库技术时您遇到过哪些挑战？能否分享您的解决思路，以及最新的成果？
洪斌：最重要的挑战还是我们的效率问题。我们在做数据仓库的规划时候，我们的假设是每个产品线的生命周期不超过半年。除了上述的几点外，我们建立一套自动化ETL的工具可以方便的将mysql和日志实时导入大数据平台中。为了让数据仓库更好的服务于使用方，我们技术人员需要参与数据产品的设计和后期的迭代。
数据挖掘是另外一个挑战，商户画像，商品池归类以及反作弊都是数据分析的基础。而这些技术需要时间的积累，同时也非常容易发生变化。我们数据挖掘的成果沉淀成数据仓库的一部分，并通过统一的口径发布出去。这样可以让每个使用者都可以享受数据挖掘的便利。比如我们通过反作弊技术标记每个交易的作弊类型，写入相应的分析表中。这样每个分析师都能够在实践过程中避免作弊数据带来的偏差。
页面埋点的问题也很头疼。实际上我们到现在都没有解决这方面的问题。
CSDN：在时下这个业务变更频繁的背景下，可否为我们分享下互联网做数据仓库的经验？
洪斌：“拥抱变化，可以溯源，接口多样”是我们总结出来的经验。拥抱变化是指数据仓库尽可能保持简单，我们提供最多的数据模型层是近源数据层，它仅仅是业务数据的物理结构的反映；往上一层是数据宽表，它提供基本的数据质量和数据整合的服务；最后才是数据指标表，提供数据分析基本的基础指标。只有非常稳定的业务才会达到这一层；
可以溯源，强调的是数据质量问题。我想数据从业者都经历过对账问题，非常耗时也非常的痛苦。我们在设计上保证数据指标可以溯源，通过血缘分析来尽可能避免数据质量的问题。
在实践过程中，我们越来越明显的感觉到大数据时代，不存在一个通用的工具可以解决所有问题。不同的问题有不同的解决方案。在数据处理上面统计类的需求我们使用hive，算法型的需求我们需要使用spark的迭代计算优势。在BI层面上，我们提供即席查询，OLAP系统，搜索引擎以及报表系统来满足不同场景和不同角色的数据需求。
CSDN：您怎么看待大数据这个领域以及未来的发展方向？
洪斌：这个问题我不好说，我对大数据的理解还比较肤浅。就我来看，大数据有平台化的趋势，越来越像一个通用的基础平台。它是一个企业数据的入口，同时也是数据的出口。企业的战略，产品的更新和技术的演进都依赖大数据平台的发展。
CSDN：在本次SDCC 2016（杭州）大数据峰会上，您分享的话题是？
洪斌：我分享的主题是有赞大数据实践：敏捷型数据平台的构建和应用。分享一下这一年来我们走过的路程。我们尽可能讲述我们最真实的经历和感受，同时由于我们的能力有限，也请各位朋友指正。谢谢！
2016年9月22日-23日，SDCC 2016大数据技术&架构实战峰会将在杭州举行，两场峰会大牛讲师来自阿里、京东、苏宁、唯品会、美团点评、游族、饿了么、有赞、Echo等知名互联网公司，共同探讨海量数据下的应用监控系统建设、异常检测的算法和实现、大数据基础架构实践、敏捷型数据平台的构建及应用、音频分析的机器学习算法应用，以及高可用/高并发/高性能系统架构设计、电商架构、分布式架构等话题与技术。
9月5日-18日是八折优惠票价阶段，5人以上团购或者购买两场峰会通票更有特惠，限时折扣，预购从速（票务详情链接）。
【SDCC讲师专访】专访有赞洪斌：“精细化”平台架构带来数据价值最大化相关推荐
- SDCC讲师预热专访：淘宝岑文初谈开放平台架构
CSDN年度技术盛宴 2012 SDCC中国软件开发者大会将于 2012年9月8日-9日在 北京 • 国家会议中心举行. 软件研发频道 将采访一些与会讲师,谈谈他们将在会上分享的内容. 本期我们采访的 ...
- 【SDCC讲师专访】专访架构师薛珂：弹性调度平台Saturn的架构设计
编者按:每个人的成长曲线不同,有的人在研究生之时就已有相当知名的产品和框架,从而在接下来的工作中一路顺风顺水,有的人却需要经历一个又一个的坑才能成长,不管是前者的聪明高效,还是后者的笨鸟先飞,他们都是 ...
- 3306π武汉站嘉宾专访-爱可生技术服务总监洪斌
MySQL技术专家,现任爱可生技术服务总监,负责MySQL数据库在传统行业客户的应用推广与技术咨询,曾为运营商.银行.证券.保险.航空等行业内数家大型企业提供MySQL技术咨询服务. 分享时间:15: ...
- 【SDCC讲师专访】吕毅：链家网大数据平台的架构演进
2016年11月18日-20日,由CSDN重磅打造的年终技术盛会,SDCC 2016中国软件开发者大会将在北京举行,大会面向国内外的中高端技术人员,聚焦最前沿技术及一线的实践经验,从而助力企业的技术升 ...
- 张洪斌 html css,网页设计与制作教学课件作者HTML+CSS+JavaScript张洪斌教学资源KC11120100008_设计文档课件.doc...
网页设计与制作教学课件作者HTML+CSS+JavaScript张洪斌教学资源KC11120100008_设计文档课件.doc <课程案例 --案例 图3-1 网站div结构布局示意图 3.2界 ...
- 张洪斌 html css,网页设计与制作张洪斌 刘万辉体设计.doc
网页设计与制作张洪斌 刘万辉体设计 <网页设计与制作>课程整体设计 课程代码KC11课程性质专业基础课建议学时48适用专业软件技术及相关专业建议 教学方式"教.学.做" ...
- 张洪斌 html css,网页设计与制作教学课件作者HTML+CSS+JavaScript张洪斌教学资源淮安市高校教学资源共建共享平台课件.doc...
网页设计与制作教学课件作者HTML+CSS+JavaScript张洪斌教学资源淮安市高校教学资源共建共享平台课件.doc 1.淮安市高校教学资源共建共享平台CSS样式设计 初学网页制作的人经常会觉得对 ...
- mysql云架构设计_MySQL云数据库架构设计实践 洪斌@爱可生
1. 8 MySQL云数据库架构设计实践 1 0 2 C C T D 洪斌 2. 关于我 洪斌 南区负责人 2010年加入爱可生至今 0 2 C C T D 8 1 上海爱可生致力于为行业客户提供开源 ...
- mysql性能优化 洪斌_技术分享 | InnoDB Cluster 如何高效加载数据
作者:洪斌 爱可生南区负责人兼技术服务总监,MySQL ACE,擅长数据库架构规划.故障诊断.性能优化分析,实践经验丰富,帮助各行业客户解决 MySQL 技术问题,为金融.运营商.互联网等行业客户提供 ...
最新文章
- 精心分享7个让你意想不到的网站，大开眼界！
- 事件源event.target
- python开发系统-python3+django2开发一个简单的人员管理系统
- python 字符串的魔法 day11（2）
- 接入路由器做NAT，做限速的一些想法
- 【转】6 个技巧，提升 C++11 的 vector 性能
- GDCM: 简单的QIDO-RS往返测试gdcm :: JSON的实现
- 优优加速cdn带宽_为什么使用CDN你的网速还是那么慢？
- 售票系统的组件图和部署图_识读配电箱系统图
- phpcms9.6 ueditor_Phpcms v9深度整合百度编辑器Ueditor
- C#判断访问入口是移动端还是PC
- 一个方法解决Warning: Permanently added 'gitee.com,180.97.125.228' (ECDSA) to the list of
- 转:PyDev for Eclipse 简介
- JavaScript之字符串类型
- 西门子step7安装注册表删除_如何完全删除step 7
- 数据库面试题（答案）
- 如何利用迅捷PDF编辑器在PDF文档上修改文字大小和颜色
- githut 的 管理 使用
- Halcon图像分割-区域提取
- Uptime-Kuma 一个轻量的开源监控工具