图片，视频，文件等非结构化数据存储建议
最近想了解下图片等非结构化数据是存储 在哪里更适合。
参考链接如下：
https://baike.baidu.com/item/%E9%9D%9E%E7%BB%93%E6%9E%84%E5%8C%96%E6%95%B0%E6%8D%AE/309808?fr=aladdin
非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML, HTML、各类报表、图像和音频/视频信息等等。
传统关系数据库主要面向事务处理和数据分析应用领域，擅长解决结构化数据管理问题，在管理非结构化数据方面存在某些先天不足之处，尤其在处理海量非结构化信息时更是面临巨大挑战。为了应对非结构化数据管理的挑战，出现了各种非结构化数据管理系统，例如基于传统关系数据库系统扩展的非结构化数据管理系统，基于NoSQL的非结构化数据管理系统等。
非结构化查询处理过程中除了结构化数据查询处理所包含的操作外，还有两个重要的操作相似性检索和相似性连接。相似性检索是指给定一个元素，在由该种类元素组成的集合中寻找与之相似的元素。例如论文查重系统用到文本的相似性检索，谷歌的以图搜图的功能用到图像的相似性检索，手机上根据哼唱匹配音乐是音频的相似性检索等。相似性连接是数据库连接操作在非结构化数据上的一种扩展，它寻找两个元素种类相同的集合之间满足相似性约束的元素对，在数据清洗、数据查重、抄袭检测等领域有着重要的作用。非结构化查询处理框架要针对这两种非结构化数据特有的查询操作对结构化查询处理框架进行改进。
https://blog.csdn.net/zht666/article/details/34825743
数据库尽量不要存储较大的二进制数据，如图片、视频、文件等
后来对项目做修改，将照片存储在文件中，数据库只保存照片路径，结果速度立马上去了，恢复到了之前的1秒以内响应。
因此，我暂时得出这样的经验结论：（但是不知道是否正确，因为没有大量的项目经验论证）
数据库表中添加二进制字段后，即使二进制字段为NULL，即使查询的时候不查询二进制字段，查询速度仍然会下降很多，SQL语句怎么优化都无济于事。因此建议，如果要存储图片、文件、视频等大文件对象，还是存成文件吧，不要直接存储到数据库中，不然会严重影响查询速度。
如果网站有大量的图片,是存在数据库好?还是存文件?
https://blog.csdn.net/mituan1234567/article/details/11652873
数据库的好处是便于批量查询和返回结果，适用于查询方面的需求。
文件的好处是便于直接访问，适用于直接显示方面的需求。
如果你是想作为像百度图片和google图片一样的一个图片搜索系统，那么当然是数据库优先啦，不过需要注意的是，并不是把图片存入数据库，而是在数据库中存储从图片中提取的特征，便于查询，图片作为最终数据需要存储在另外一个数据库中，当然，特征数据库和图片实体数据库之间可以通过图片的编号来进行一一对应。
存文件，而且最好用单独的服务器，原因如下:
1、图片内容一般不会做搜索，没必要放数据库
2、图片传送比较占用带宽，如果数据库和应用分离（即不再同一台服务器），那么去得一个图片需要从客户端到应用端取数据，应用又需要从数据库去取，这样会占用大量的带宽，同时这也会在数据库服务器和应用服务器两处IO上形成瓶颈。
如果图片单独放在服务器上，取图片的时候，则只需要客户端通过HTTP协议去图片服务器上取，减少带宽占用。并且，这里的IO瓶颈只存在图片服务器上，会快很多。
图片，视频，文件等非结构化数据存储建议相关推荐
- 【C/C++13】天气APP：数据挖掘/HTTP协议/非结构化数据存储（filetoblob.cpp），数据管理/监控告警（hsmtable.cpp，tbspaceinfo.cpp）
文章目录 1. 数据挖掘:/etc/rc.local,sudo su 2.HTTP协议:优先wget 3.非结构化数据存储:blob,pzhrain24file 4.数据管理子系统:数据字典表 5.监 ...
- NetApp FAS 存储管理软件，海量非结构化数据存储
NetApp FAS 存储管理软件,海量非结构化数据存储 在 NetApp® ONTAP® 数据管理软件的支持下,帮助您构建简单.安全且值得信赖的存储基础架构.NetApp FAS 存储阵列可让客户同 ...
- 传统存储方式_海量非结构化数据存储方案
方案背景 数字化转型推动着数据的快速增长.新摩尔定律表明,全球数据总量每过 18 个月就会增长一倍,预计到 2020年全球数据总量将达到 3,5000EB.其中,在高速增长的数据中,非结构化数据占比超 ...
- 非结构化数据存储方案
ceph 官方网站:http://docs.ceph.org.cn/ 简单介绍: Ceph是一个开源的分布存储系统,同时提供对象存储.块存储和文件存储.linux内核2.6.34将ceph加入到内核中 ...
- 5G NGC — UDR 统一数据存储库，UDSF 非结构化数据存储功能
目录 文章目录 目录 计算与存储分离 增强网络执行效率 增强网元容灾冗余 UDR 与 UDSF UDR UDSF 计算与存储分离 增强网络执行效率 在 4G EPC 中,用户签约信息被存储在 HSS ...
- 非结构化数据的相关知识
一.出现原因 信息社会化时代,各行各业在处理相关业务的过程中,都累计了海量的数据信息,随着IT应用的普及和发展,传统的纸质资料存储方式在不断缩减,更多的采用电子信息的存储方式存放在计算机中.这些信息数 ...
- 非结构化数据的定义及处理方法
一.非结构化数据的定义 结构化数据指有完整规则的数据模型定义,高度组织格式化,可用统一的结构逻辑表达的数据.如:日期.电话号码等. 非结构化数据指数据定义不完整或不规则,没有预定义的数据模型,无法用数 ...
- 结构化数据和非结构化数据有何区别？
员工离职,老板最关心的可能并不是工作交接是否滴水不漏,而是离职员工会如何处理他手里的数据. 例如设计人员的设计图纸.项目经理的项目文档等,这些文档属于企业珍贵的资产,而大部分企业却从未真正管控过这部分 ...
- 非结构化数据怎么存？
IDC 预测,2018年到2025年间,全球产生的数据量将会从33 ZB增长到175 ZB,其中超过80%为非结构化数据,并且每年将以指数级趋势递增. 数字化汪洋之上,海雾弥漫,遮天蔽日,组织如何冲破 ...
- 技术20期：结构化数据与非结构化数据：有什么区别？
查看结构化和非结构化数据.它们的主要区别以及哪种形式最能满足您的业务需求. 并非所有数据都是平等的.有些数据是结构化的,但大部分是非结构化的.结构化和非结构化数据以不同的方式获取.收集和扩展,并且每一 ...
最新文章
- linux怎么修改vdo的名字,linux中VDO的使用
- 期待flash三剑客
- python 封装函数_python:函数数据封装
- Spring,SpringMvc初始化监听配置
- php webp decode.h,HCTF两道web题目
- 在Debian 6 安装pptpd ×××。
- 【文献学习】DeepReceiver: A Deep Learning-Based Intelligent Receiver for Wireless Communications in the Ph
- python的cvtcolor_Python cv.CvtColor方法代碼示例
- 轻量级神经网络架构综述
- 计算机考研复试-《数据库》篇
- Java中的上界与下界(? extends/super T)
- 2021年中国皮卡产销量及竞争格局分析，市场迎来新发展机遇「图」
- Ubuntu18.04安装显卡驱动重启后出现黑屏问题
- Kotlin高仿微信-第20篇-个人信息
- （六）图数据neo4j之cypher(一)
- 推荐五款很实用却比较冷门的电脑软件
- 七骑士android版上线时间,七骑士新版本登场 开启征服樱之国度旅程
- UNIX网络编程unp.h配置
- Lambda表达式和SteamAPI
- 网络嗅探器(Sniffer)的原理与实现(1)