音视频基础认知——ISP与DSP
很多人在学习完linux后不知道应该学什么，并且对于音视频领域的认知只限于道听途说。
这里介绍两个音视频的方向——ISP与DSP
ISP
ISP——Image Signal Process图像信号处理
我们先来看这张图
当看到系统框架图的时候千万不要害怕，一个块一块，一个功能一个功能去看，就可以清晰很多。
image sensor core——图像传感器核心
这一部分主要是用于视频采集，就是sensor把拍到的东西（模拟信号）转化成电子设备看得懂的东西（数字信号），此时的数字信号是视频流，格式为rawRGB。这个就是模数转换
摄像头后面有个感光元器件，这个感光元器件就被称为sensor。image sensor processor——图像传感器处理
这一部分就是将数字信号进行一系列的处理。
这一个模块收到的信号就是由sensor模块转换过的rawRGB的视频流。
ISP处理的就是这个rawRGB流，主要工作就是视频调优。内容有线性纠正、噪声去除、黑电平矫正、坏点去除、颜色插补、Gamma矫正、RGB2YUV转换、主动白平衡处理、主动曝光控制、3A算法等
等等。
ISP处理完后就是compression压缩，和format转换。这是因为rawRGB占用空间很大，不利于传输和存储，也不能用于后面的DSP。
若想了解这其中的格式转换，需要先分别了解它们各自的存储方式 。
这些格式我都做了整理，放在下面供大家学习
详解YUV数据格式
详解RGB数据格式
image output interface——图像输出接口
将ISP处理完的视频流输出给下一个模块DSP，或者直接输出为图像
这里的FIFO是一个缓冲机制，以免右边的输出停止或者左边断了
图像输出接口将视频流输出给DSP
DSP
DSP通常有两个含义。
数字信号处理（Digital Signal Processing，DSP），是一门学科技术，使用数值计算的方式对信号进行加工处理的理论和技术。
数字信号处理器（Digital Signal Processor，DSP），是一种专门用于数字信号处理领域的微处理器芯片。
这里说的是DSP——Digital Signal Process数字信号处理
这里的数字信号，指的是将由sensor采集，ISP处理后的rawRGB视频流压缩转换的YUV格式视频流。
DSP是我选择的方向，介绍在下面两篇博文中
音视频项目中的DSP流程
音视频DSP中的IVS算法处理流程
音视频基础认知——ISP与DSP相关推荐
- 音视频基础认知——音视频开发常规流程
目录 视频从产生到被消费的流程 视频行业的商业角度分段 几个疑问点 总结 视频从产生到被消费的流程 视频和图像的区别: 视频是由单帧图像以每秒x帧的速率连续组成的,单帧图像类似位图. 原始视频的产生: ...
- ffmpeg音视频基础知识
ffmpeg音视频基础知识 前言 一.图像的基础知识 二.视频编码基础知识 1.视频和图片之间的关系 2.为什么要编码? 3.什么是编码? 视频相关专业术语 提示:文章写完后,目录可以自动生成,如何生 ...
- 【音视频基础】视频基础理论
[音视频基础]视频基础理论 图像基本概念 图像 屏幕 图像码流如何计算? 分辨率 帧率 码流计算 图像显示 YUV YUV格式 RGB与YUV的转换 YUV存储 YUV查看工具 参考资料 个人简介
- 音视频基础学习之【01.基于ffmpeg的简单播放器demo实现】
目录 1.项目配置 2.显示界面设计 3.视频解码显示 流程描述 4.演示 最近在学习音视频基础知识,在这里感谢雷神留下的一系列指引新手入门的宝贵资源,虽然他英年早逝,但他的硕果永存.不由感慨真是天妒 ...
- 音视频基础（1）音视频处理流程
文章目录 音视频基础(1)音视频处理流程 1. 概要 2. 音频处理流程 3. 视频处理流程 4. 直播客户端处理流程 5. 音频数据流转 音视频基础(1)音视频处理流程 理解音频处理流程对我们做音视 ...
- 音视频基础知识---音频编码格式
音视频基础知识汇总: 音视频基础知识---协议相关RTSP RTMP HLS 音视频基础知识---封装格式 音视频基础知识---视频编码格式 音视频基础知识---音频编码格式 音视频基础知识---像素 ...
- 音视频开发--音视频基础
音视频基础 一.音视频录制原理 视频录制流程 1.准备摄像头 2.图像帧阶段 从摄像头采集视频数据(图像帧),采集数据格式:YUV或者RGB,YUV和RGB细分的话还包括YUV 4:4:4.YUV 4 ...
- 视频编码（3）：H.266 编码性能比 H.265 再提升 49% 的关键丨音视频基础
我们在前文视频编码(2):H.265 如何比 H.264 提升 40% 编码效率丨音视频基础_音视频开发老马的博客-CSDN博客中探讨了 H.264 视频编码的基本概念.编码工具.编码流程及码流结 ...
- 音视频基础（2）声音的三要素，模数转换
文章目录 音视频基础(2)声音的三要素,模数转换 音视频基础(2)声音的三要素,模数转换
最新文章
- Redis: Redis Desk Manager Setup
- iOS网络传输Delegate不被触发的本质原因
- 如何修改IE的默认标题
- 视图计算背后的技术架构思考
- 谈谈重要的TCP、UDP
- ChaosConf 2018：混沌实验的演变
- SVD分解.潜语义分析.PythonCode
- 施一公：中国还缺乏真正的世界顶尖大学，研究生该听听这些建议
- SQL Server遗失管理权限账号密码怎么办？
- 《Python Cookbook 3rd》笔记（4.13）：创建数据处理管道
- spring--打印hello--注解component--自动创建对象
- mysql查询默认排序规则_深究 mysql 默认排序， order by 的顺序【收藏】
- 2020计算机原理组成1254,1254计算机科学与技术专业计算机组成原理A科目2020年09月国家开 放大学(中央广播电视大学)考试试题及答案.pdf...
- 列表的修改，复制，遍历，嵌套和查询
- CSS中的contenteditable属性
- 怎么让照片变年轻_做了隆鼻，至少年轻5岁
- 安卓开发经常闪退的原因及解决方法
- AI-039: Python深度学习3 - 三个Karas实例-1
- template 的 用法
- 华为服务器web界面配置文件,如何查看服务器web配置文件