2016年北京hadoop in china见闻
一、 概况
笔者有幸参加了今年在北京主办的hadoop in china,在与会中有不少的感受与大家分享。今年的hadoop in china整体来看,参加会议的人比较多,在第一天上午场的topic里,大厅人都满了,内容也比较多。今年主题内容从大局观、产品、技术都有很多的内容。貌似今年的议题是假设参加会议的同学有一定的基础,没有过多的去介绍基础的内容,比如,没有人说hadoop是啥了,单刀直入,趋势、产品、新技术。大数据改变人类的未来,正在渗透到每个行业中,甚至是人的基因分析。
二、 云化
今年开始,有一个明显的趋势是,很多公司都开始在云化自己的产品,创业公司基本是使用公共云,传统的公司基本是私有云加上混合云的方案。但总体来讲,大家都一致认为最终的形态还是公用云的,不管是业务还是大数据。
三、 实时大数据
在第二天的下午场次里,最热是实时大数据处理,技术比较多,到了17点的时候还座无虚席。大家关注最新的实时化的技术点,如jstorm、druid、streamSql、kudu都是目前比较火的,当然包括flink、spark(因有spark submit所以这个会就少了)等更好了。其实说实在的,根据笔者个人的观察,目前hadoop+spark+hbase已经满足90%+的需求,对与一些新的技术的探求目前还是仅仅在大公司,为了满足一些特别的业务场景。对于小公司也许这些技术也可以满足你的需求,但是是否有必要,还需要想想。
四、 大数据创业的黄金时期
大数据应该会慢慢深入到了各行各业,新型的创业公司,业务创新公司正在层出不穷的在涌现。几年前,想要听关于大数据的产品是都没有,只有技术的。如今,来讲的基本都会带产品来,基本都是宣传下产品,再讲下怎么做的,最后有的还不忘招聘。BAT来的人比较少了,一般的创业公司其实还没有到BAT的规模基本也不会出现BAT的问题。创业公司基本还是比较关注自己的业务模式的问题。大数据的重心会从技术本身转移到专业的产品、业务上来。毕竟,大数据技术Hadoop已经为业务、产品铺好了路。
五、 笔者比较关注的
笔者第二天的下午场次要主持《云计算与大数据》,这个场次主要是讲述怎么在云端搭建hadoop,包括了各家的产品,比如:星环的、微软的、VMWare的,当然我也宣传了下自家的产品阿里云的。另外就是华大基因、思迈特分别介绍了下各自的业务。云化,也会遇到很多问题,不过可惜的是,各家基本都在讲自家的产品多么的好,也没有太多讲有啥问题,怎么去解决问题,毕竟各家还存在一定的竞争。比较有意思的是第一次权威的听了关于基因的测讯的历史现状及未来。
《HDFS在云环境下架构演变》,笔者听了下,主要讲了怎么把HDFS做成没有状态的,把数据存放到阿里云的OSS或者AWS的S3上。当在带宽充足或者不是瓶颈的情况下,这样可以让计算动态伸缩,且原有的code又不需要动。
星环的同学讲的比较多,各个层面都讲了下,星环在原有的hadoop的基础上开发出基于自己的一套引擎着实不容易,在私有云场景下,跟阿里云、华为在激烈的竞争。
ebay到了上万的规模,跟他们聊了下,只能说当年的云梯1做的还是真不错的。也跟cloudera、Hortonworks、微软的同学聊了下,大家的想法还是比较类似的。
行业应用需要具体到具体的行业中,基本是用streaming加上机器学习,解决特定的问题,如百分点讲的PHM硬件损坏检测,预测;特定行业的分析,如华大的基因,金融行业大数据等。
六 、一些思考
我生活在互联网时代,在人工智能、智能驾驶、智能家居、虚拟现实、量子计算快要来临的时代,有人说这是第四次工业革命-智慧革命,还有人预言2050年人有机会获取永生,我们翘首以待,当然,我们也可以投入其中,迎接未来。
但是,也有另一个声音,核武器是人类第一次有把人类灭亡的能力,那么未来,人类也可能制造出人类的主人,类似《黑客帝国》中的人类似,一生都生活在虚拟世界中。人类一次次发展,到底是否更加幸福?很多人都认为现代人更加不幸福。这些深奥关于人类的命运,人生意义的话题也许就是如《2001太空漫游》中讲述,人类本身就是高等智慧生命的试验场,又或者根本没有意义,一切的意义也就是人类自己认为的罢了。
七、 接下来呢?
云是载体,计算才能发挥价值,计算的核心就是机器学习,只有具体的业务产品才会普惠所有人。
听起来就是废话,也是。具体怎么做,目前大家都类似,新的谁也不知道。好处就是不知道明天会咋样,坏处也是不知道明天会咋样。又是废话,额,好吧。
非常感谢组委员组织此次会议,具体的相关信息及PPT,请关注:http://chinahadoop.com/
版权声明
笔者微博:阿里封神 欢迎转载,但请保留原文地址
社群
技术交流钉钉大群 阿里云 HBase+Spark社区 【强烈推荐!】 群内每周进行群直播技术分享及问答
- 加入方式1:点击link申请加入 https://dwz.cn/Fvqv066s
- 加入方式2:钉钉扫码加入:
2016年北京hadoop in china见闻相关推荐
- 2016 ICPC 北京网络赛 A 恶心模拟 F 循环矩阵,FFT(待补) I 模拟
2016 ICPC 北京网络赛 A - The Book List 题意:每本书有所属种类,给出原生的存放方式,求按新的方式存放的样子. tags:坑到心态爆炸的题== 直接堆进vector里搞的, ...
- php北京平均工资,2016年北京平均工资是多少?
2016年北京平均工资是多少呢?统计报告显示,2016年北京平均工资为6906元.在北京平均工资统计报告中,薪资范围在4500元-6000元之间的占比最高,达到18.7%.也就是说,每100个北京市劳 ...
- 计算机科学实验班高考线,北京工业大学计算机科学与技术(实验班)专业2016年在北京理科高考录取最低分数线...
类似问题答案 北京工业大学计算机科学与技术(实验班)专业2016年在北京理科高考录取最低分数线 学校 地 区 专业 年份 批次 类型 分数 北京工业大学 北京 计算机科学与技术(实验班) 2016 一 ...
- 阿里、京东、去哪儿等大厂技术专家齐聚北京,Flink China Meetup再度归来!
某入行不到半年的 Java 程序员问:程序员,为什么要了解/学习新技术? 1.危机感.你不知道什么时候你所掌握的技术就会被淘汰了,可能 5 年.可能 2 年-- 2.提高效率.新技术的出现往往是为了解 ...
- 2016年北京中国云计算技术大会会后感
概述 笔者有幸受邀请参加中国云计算技术大会,感谢主办方CSDN.此次大会有3天,第一天全部为topic,随后分为了若干个场次,有<Container技术峰会>.<大数据核心技术与应用 ...
- [Hadoop in China 2011] 何鹏:Hadoop在海量网页搜索中应用分析
何鹏是即刻搜索研发部系统平台组的工程师,即刻搜索是人民网其下的搜索引擎,由人民搜索转变而来,于今年6月20日正式上线.据何鹏介绍,即刻搜索 目前存放了200亿个文件以上,其整个系统架构采用Hadoop ...
- [Hadoop in China 2011] 邵铮:揭秘FaceBook Puma演变及发展
http://storage.it168.com/a2011/1202/1283/000001283144.shtml ▲FaceBook公司软件工程师.研发经理邵铮 FaceBook公司自成立以来发 ...
- [Hadoop in China 2011] 华为 - NoSQL/NewSQL在传统IT产业的机遇和挑战
http://tech.it168.com/a2011/1204/1283/000001283212.shtml 在今天下午进行的NoSQL系统及应用分论坛中,来自华为的IT产品线企业数据解决方案架构 ...
- [Hadoop in China 2011] HBase在淘宝平台上的应用和改进经验
http://tech.it168.com/a2011/1202/1283/000001283152.shtml 在今天下午进行的NoSQL系统及应用分论坛中,来自淘宝的软件工程师张毅发表主题演讲&q ...
最新文章
- python基础教程 下载-Python基础教程第3版中国PDF电子书免费下载
- python 文件操作的模块_Python之文件操作修改模块
- 前端页面闪烁的问题解决方案
- 面试官:Redis 内存数据满了,会宕机吗?
- asp.net 操作ftp 通用代码[测试通过]
- 和平精英android怎么写符号,和平精英名字符号大全 可用的名字特殊符号有哪些...
- thinkphp连接oracle
- c语言中休眠的作用,使用C语言让Windows睡眠/休眠
- 你用python做过哪些好玩的事情?
- 频率波数域matlab,频率-波数域方法的发展及其在台阵数据分析中的应用
- oracle 基本dos命令,Oracle 常用 Dos命令
- linux brew 安装mysql_mac下通过brew安装mysql
- nyoj 949哈利波特(细节题)
- 诺基亚9300手机开发的有关资料
- 手机里tencent文件夹能删吗_Android系统tencent文件夹下哪些文件可以删除
- 函数的支集、支撑集、support、supp
- TeamTalk 详细介绍
- 使用html和css的一些案列(小米官网)
- java php同时访问数据库,Java Spring中同时访问多种不同数据库的代码实例分享
- iOS图像处理(4)坐标变化