互联网海量视频数据的存储
原文链接：http://www.docin.com/p-86312184.html?docfrom=rrela
一、背景
互联网内容提供方式转变：用户创造内容。视频应用、网络游戏、搜索引擎等互联网衍生业务迅速发展，使得海量数据存储、管理和处理成为当今互联网公司面临的严峻问题。这些信息保存在存储设备上，便是高膨胀的海量数据，表1是不同互联网应用的规模。
互联网应用海量数据的共性：
1）用户群体大，增长速度快；
2）数据总量大，增长速度快；
3）数据类型多样，大小不一；
4）数据操作模式较为固定，一致性要求较弱，对读写延时有一定要求；
互联网应用的海量数据特性，对数据存储和处理提出了新的挑战，如下：
1）TB级甚至PB级的存储系统，以适应海量数据的需求；
2）良好的扩展性。在不中断服务的情况下，通过简单添置机器或者磁盘存储来扩展系统，满足不断增长的数据和用户群体需求；
3）低时延、高吞吐的存储系统性能；
4）丰富的存储类型，以满足互联网应用中结构化、半结构化甚至非结构数据的存储需求；
5）灵活简单的并行编程模型进行海量数据处理，隐藏分布式环境下数据分布、容错等复杂性；
二、数据存储
1、 传统技术：传统关系型数据库
局限性：应用场景局限，着眼于面向结构化的数据，致力于事务处理，要求保持严格的一致性；关系模型束缚对海量数据的快速访问能力；缺乏对非结构化数据的处理能力；扩展性差。
2、新兴数据存储系统：集中式数据管理系统、非集中式数据管理系统
三、数据处理
快速从海量数据中抽取出关键信息用以提高互联网应用的质量、用户体验等，已经成为互联网企业之间竞争的关键技术问题。同时，大规模数据处理的研究，也是DISC应用研究的关键问题。
并行计算
解决大规模数据处理的方法就是并行计算。将大量数据分散到多个节点上，将计算并行化，利用多机的计算资源，从而加快数据处理的速度。目前，这种并行计算主要分为3大类：一类是广泛应用于高性能计算的MPI技术，一类是以Google、Yahoo为代表的互联网企业兴起的Map/Reduce计算，一类是微软提出的Dryad并行计算模型。
互联网海量视频数据的存储相关推荐
- 海量时序数据低成本存储架构设计
导读 近些年来得益于传感器技术.无线网络技术.云计算和人工智能技术的发展,物联网的基础设施日益完善,并应用到了新能源.智能家居.车联网.智慧工业等众多领域中,实现了"人与物".&q ...
- 用 Python 带你游览女神世界，海量视频数据一键保存
前言 嗨喽!大家好,这里是魔王~ 今天某人在偶然之间发现了一个久远的网站,好东西当然是要分享出来了(‾◡◝) 网站网址 看了不要激动,这种时候视频当然要保存下载喽~不然不见了咋办 本次目的: 用 Py ...
- 星方案｜StarFS文件系统支持海量视频媒体业务存储
概述 视频媒体内容日常分发是为了确保视频媒体数据在您需要的时间和地点以应用程序所需的方式和接口随时可以调用,这就需要一个文件&对象存储解决方案,并且该解决方案需要对媒体工作流有深入的了解和全面 ...
- 设计海量key-value数据的存储查询模块
http://www.cnblogs.com/iamzhaiwei/archive/2012/09/02/2689653.html 单机存储100亿大数据量的key-value数据,要求能够支持插入和 ...
- 海量视频监控数据存储和管理是大数据最重要的命题
海量视频数据的存储和管理 维基百科全书的定义:"大数据是飞速增长的,用现有数据库管理工具难以管理的数据集合".这些数据包括:社交媒体.移动设备.科学计算和城市中部署的各类传感器等等 ...
- 基于云上分布式NoSQL的海量气象数据存储和查询方案
前言 气象数据是一类典型的大数据,具有数据量大.时效性高.数据种类丰富等特点.气象数据中大量的数据是时空数据,记录了时间和空间范围内各个点的各个物理量的观测量或者模拟量,每天产生的数据量常在几十TB到 ...
- 面对海量的监控视频数据应该如何存储？
面对有些行业及工作特殊性,监控摄像头是必不可免的,面对成千上万的摄像头,每时每秒产生的视频数据,选择一个合理的存储方式,将会为您节省一大笔费用.而且,有些监控摄像头视频数据还需要按照国家要求存储30天 ...
- IoT 物联网海量时序数据存储最佳实战
随着 5G/IoT 物联网技术的飞速发展,IoT 设备产生的时序数据也呈爆炸式增长,数据的总量(Volume).数据类型(Variety)越来越多.访问速度(Velocity)要求越来越快.对数据价值 ...
- COS云存储有哪些优势？基于EasyCVR平台的两种监控视频数据存储方案
随着物联网.AI.云计算.大数据等新兴技术的发展.海量设备的接入.视频质量的不断提升,监控视频存储也面临着巨大的挑战.当前用户对视频监控数据的存储问题,主要考虑到以下三个因素: 1)数据的安全性和稳定 ...
最新文章
- 1.3 更多边缘检测内容-深度学习第四课《卷积神经网络》-Stanford吴恩达教授
- boost::container模块实现节点句柄的测试程序
- JVM性能调优监控工具使用详解
- matlab 中 eps 的分析
- adb android源码分析,Android源码分析（十六）----adb shell 命令进行OTA升级
- 厉害了！厦门大学“嘉庚一号”火箭成功发射 问鼎九天
- nodejs参数的接收（post和get）
- python按行读取excel文件_python3读取excel文件只提取某些行某些列的值方法
- 【转载】分层开发思想与小笼包
- c++游戏编程100事列_C/C++编程笔记：C语言开发经典游戏项目《五子棋》，内含源码...
- office 论文 页码_还在花钱找人排版？这份最全攻略，让你论文一次过！
- 终极算法-机器学习和人工智能如何重塑世界：电子书
- eCos configtool 在ubuntu 10.10以后菜单消失的解决
- 树莓派——TSL2561获取光强数值(C语言)
- 漏刻有时云守护数据可视化画质感知状态迭代说明文档
- 画爱心代码 python
- 复现文件上传漏洞（靶场练习）
- latex中lstlisting使用
- Yeelight LED智能灯泡（彩光版）代码控制（含pdf资料）
- 【造轮子/更新】打造一个简单的万能Excel读写工具