这次我有幸参加了51CTO举办的2013年大数据峰会，这次大会的主题是大数据的运维（第一天）以及大数据的分析（第二天）。

大数据到底是啥意思呢？从字眼上就是很多很大量的数据，可以叫做海量数据。

当数据很小时，你可以用一台机器顶住数据访问压力，再大时你可以加内存换SSD硬盘，或者采购性能很强劲的小型机，通过硬件去解决。

从架构层出发，于是就发展到了读写分离，同时有多台Slave备机提供读取业务，这样就降低了数据库的负载。
随着数据的增长，发现依靠读写分离也解决不了高负荷高并发的访问，Slave备机延时很大，于是又发展到了对表的水平切分，依靠表的主键取模，把数据平均分散到不同的小表，再分布到各台机器上，可以看做是迁移数据，我之前写过《一篇用户信息表水平切分》的博文，有兴趣的可以去访问：http://hcymysql.blog.51cto.com/5223301/1179880
但这个有一个弊端，就是开发需要更改他们的代码，增加路由访问策略，要知道每张小表是分布到哪台机器上，对开发人员并不是透明的，而对于DBA来说，每次都需要通过手工去拆分，比较繁琐。
下面就进入了会议的正题，首先是新浪微博，他们的解决方案是通过数据库前端CACHE层，用redis做缓存，采用nosql型数据库（非传统关系型数据库），降低数据库的负载。他们没有采用memcache，是考虑到数据可以持久化的保存在磁盘上，解决了服务重启后数据不丢失的问题，且存储的数据类型较多。
下面是淘宝，他们的开源软件Oceanbase海量数据平台（数据库中间件），其原理也是通过对主键的取模，把一张大表拆分成N张小表并存储到各台服务器上，前端应用访问海量平台，经过海量平台处理，把请求发送到后端MySQL数据库上，MySQL完成数据查询，再经过中间件，将结果送回客户端。这样对开发来说是透明的，代码层加上API接口，开发不需要知道每张小表具体放在哪台服务器上，DBA也减少了繁琐的水平拆表的工作。
目前应用在收藏夹、直通车报表、天猫评价等OLTP和OLAP在线业务，线上数据量已经超过一千亿条。
更多介绍请参考官网：http://alibaba.github.io/oceanbase/
第二天，主要介绍了数据分析与挖掘，当数据总量将达到1.8万亿GB，对这些海量数据的分析已经成为一个非常重要且紧迫的需求。Hadoop基于MapReduce在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势，目前已成为当前互联网企业主流的大数据分析平台。
目前淘宝，百度，暴风影音，360安全卫士都采用hadoop做海量数据分析。
关键词：MySQL、nosql、hadoop已成为当今互联网行业最流行、最前端的技术。

本文转自hcymysql51CTO博客，原文链接：http://blog.51cto.com/hcymysql/1188630 ，如需转载请自行联系原作者

2013年大数据全球技术峰会观后感相关推荐

  1. 2013大数据全球技术峰会观后感

    今天很荣幸参加了51CTO举办的大数据全球技术峰会,并聆听了各行各业的专家们对于大数据的阐释,非常感谢51CTO举办这次峰会.以前,我认为大数据就是海量数据.但是今天我懂得了海量数据只是大数据的一部分 ...

  2. “2013大数据全球技术峰会”，我在现场（4月26日）！

    期待已久的"2013大数据全球技术峰会"终于开幕了! 今天早晨7:30就到达了会议现场-北京富力万丽酒店(CBD),首先拿着门票到签到处换取会议唯一指定凭证-胸牌!并领取了参会资料 ...

  3. 2013 中国大数据技术大会

    2013 中国大数据技术大会 2013年12月5日-6日   北京·世纪金源大饭店 中国大数据技术大会(Big Data Technology Conference, BDTC)是目前国内最具影响.规 ...

  4. 参加2013中国大数据技术大会(BDTC2013)

    2013年12月5日-6日参加了为期两天的2013中国大数据技术大会(Big Data Technology Conference, BDTC2013),本期会议主题是:"应用驱动的架构与技 ...

  5. 华为报告称2013年大数据将引发IT系统大变革

    华为报告称2013年大数据将引发IT系统大变革 华为公司昨天发布的2013年行业趋势展望显示,大数据将引发IT系统大变革.华为认为,运营商和企业的IT系统将成为实时的业务系统,而不再是后处理的支撑系统 ...

  6. 2013中关村大数据日：大数据驱动创新

    文章讲的是2013中关村大数据日:大数据驱动创新,2013年12月13日消息,2013中关村大数据日在中关村云广场酒店开幕.该活动由中关村管委会指导,云基地主办,中关村大数据产业联盟协办,通过搭建大数 ...

  7. 海洋大数据关键技术及在灾害天气下船舶行为预测上的应用

    海洋大数据关键技术及在灾害天气下船舶行为预测上的应用 王冬海,卢峰,方晓蓉,郭刚 中电科海洋信息技术研究院有限公司,北京 100041 摘要:随着海洋数据量的爆炸式增长,海洋大数据受到越来越多的关注. ...

  8. 【2017年第4期】流式大数据实时处理技术、平台及应用

    陈纯 浙江大学计算机科学与技术学院,浙江 杭州 310058 摘要:大数据处理系统根据其时效性可分为批式大数据和流式大数据两类.上述两类系统均无法满足"事中"感知查询分析处理模式的 ...

  9. 数据驱动创新 融合引领变革 2017中国工业大数据大会·钱塘峰会今日在杭州国际博览中心顺利举行...

    至顶网CIO与应用频道 05月05日 北京消息: 当前,大数据已上升为国家战略,日益成为经济结构调整.转型升级的加速器.在2016年6月国务院正式出台的<关于深化制造业与互联网融合发展的指导意见 ...

最新文章

  1. 渗透测试与自动化安全测试工具比较
  2. 为模型推断的端部的大小
  3. bzoj3299 [USACO2011 Open]Corn Maze玉米迷宫
  4. 如何使用Apache Camel，Quarkus和GraalVM快速运行100个骆驼
  5. Lambda项目：迈向多核及超越
  6. Jetson Nano安装pytorch 基于torch1.6和torchvision0.7
  7. html解释json,json 解析
  8. c++如何在两个.cpp文件中使用同一个全局变量
  9. Smart3D输出/输入空三结果
  10. Android百度地图修改定位时间间隔
  11. python海龟动画小猫边走边换造型的类
  12. angular $element.html 数据展示不出来,element-ui Table 组件循环列表数据不显示？
  13. 发卡源码php,PHP发卡源码|荔枝发卡系统2.0
  14. 直击2018互联网大裁员：繁花落地，一地鸡毛
  15. 基于Ingress实现灰度发布(金丝雀发布)和蓝绿发布
  16. 2009中国情爱报告：超4成未婚女性担心嫁不出去
  17. 在Vue中使用highlight.js
  18. unity获取电磁笔压感_电磁笔的分类和特性
  19. 毕业设计--智能智造协同管理平台
  20. createrepo 是一个对rpm 文件进行索引建立的工具

热门文章

  1. c语言产生1-6,C语言 1-6小结.ppt
  2. win10计算机添加右键菜单,win10系统如何对鼠标右键菜单进行手动管理和添加
  3. win怎么打开微软更新服务器,怎样打开win10的更新服务器地址
  4. 点石关键词排名优化软件_重庆关键词优化排名
  5. java 类一定要声明成public_类和对象练习题
  6. hp代码改成linux代码,HP Database Archiving Software远程任意代码执行漏洞
  7. oracle 慕课课程_“慕课”在Oracle数据库课程中的应用探讨
  8. java代码中加log_Java LogManager addLogger()用法及代码示例
  9. mysql c 多线程封装_mysqlConnectorC/C++多线程封装_MySQL
  10. 技术晋升的评定与博弈