APP下载
登录
视频处理
视频处理
在计算机上播放和录制视频，可以将家庭电影复制到计算机，使用视频和音频剪贴工具进行编辑、剪辑、增加一些很普通的特效效果，使视频可观赏性增强，称之为视频处理。
中文名视频处理
目 的使视频可观赏性增强
主要格式avi，rmvb，mp4
处理原因画面长宽比
目录
1处理原因
2常见格式
3常见处理数据
信息处理
复合信号
4相关技术
硬件技术
视频品质
视频压缩技术
5位元传输率
6影响
影视
去交织
缩放
去块和去振铃
其它技术
7处理器
各取所需
1处理原因
传统电视(绿)与常见的电影画面长宽比例之比较长宽比（Aspect ratio）是用来描述视频画面与画面元素的比例。传统的电视萤幕长宽比为4:3（1.33:1）。HDTV的长宽比为16:9（1.78:1）。而35mm胶卷底片的长宽比约为1.37:1。
虽然电脑萤幕上的像素大多为正方形，但是数字视频的像素通常并非如此。例如使用于PAL及NTSC讯号的数位保存格式CCIR 601，以及其相对应的非等方宽萤幕格式。因此以720x480像素记录的NTSC规格DV影像可能因为是比较“瘦”的像素格式而在放映时成为长宽比4:3的画面，或反之由于像素格式较“胖”而变成16:9的画面。
2常见格式
AVI---AVI文件
AVI是音频视频交错(Audio Video Interleaved)的英文缩写，它是Microsoft公司开发的一种符合RIFF文件规范的数字音频与视频文件格式，原先用于Microsoft Video for Windows (简称VFW)环境，已被Windows 95/98、OS/2等多数操作系统直接支持。AVI格式允许视频和音频交错在一起同步播放，支持256色和RLE压缩，但AVI文件并未限定压缩标准，因此，AVI文件格式只是作为控制界面上的标准，不具有兼容性，用不同压缩算法生成的AVI文件，必须使用相应的解压缩算法才能播放出来。常用的AVI播放驱动程序，主要是Microsoft Video for Windows或Windows 95/98中的Video 1，以及Intel公司的Indeo Video。AVI文件主要应用在多媒体光盘上，用来保存电影、电视等各种影像信息，有时也出现在Internet上，供用户下载、欣赏新影片的精彩片断。
MPEG/MPG/DAT---MPEG文件
MPEG文件格式是运动图像压缩算法的国际标准，它采用有损压缩方法减少运动图像中的冗余信息，同时保证每秒30帧的图像动态刷新率，已被几乎所有的计算机平台共同支持。MPEG标准包括MPEG视频、MPEG音频和MPEG系统(视频、音频同步)三个部分，前文介绍的MP3音频文件就是MPEG音频的一个典型应用，而Video CD (VCD)、Super VCD (SVCD)、DVD (Digital Versatile Disk)则是全面采用MPEG技术所产生出来的新型消费类电子产品。MPEG压缩标准是针对运动图像而设计的，其基本方法是：在单位时间内采集并保存第一帧信息，然后只存储其余帧相对第一帧发生变化的部分，从而达到压缩的目的，它主要采用两个基本压缩技术：运动补偿技术(预测编码和插补码)实现时间上的压缩，变换域(离散余弦变换DCT)压缩技术实现空间上的压缩。MPEG的平均压缩比为50∶1，最高可达200∶1，压缩效率非常高，同时图像和音响的质量也非常好，并且在微机上有统一的标准格式，兼容性相当好。
这里值得注意的是DIVX。DIVX视频编码技术可以说是一种对 DVD 造成威胁的新生视频压缩格式，也有人说它是 DVD 杀手，它由 Microsoftmpeg4 v3 修改而来，使用了MPEG4的压缩算法。同时它也可以说是为了打破 ASF 的种种协定而发展出来的。而使用这种据说是美国禁止出口的编码技术MPEG4 压缩一部 DVD 只需要 2 张 CDROM。这样就意味着读者不需要额外购买DVD光驱也可以得到和它差不多的视频质量。而且播放这种编码，对机器的要求也不高，CPU的最低额度只要求在300MHZ 以上，而且在CPU类型的选择方面，不论你的芯是PII、CELERON还是PIII、AMDK6/2、AMDK6III、ATHALON，就是CYRIXx86也可以统吃拿下。在配置上64 兆内存和一个 8兆显存的显卡上，DIVX便可以流畅的播放了。
RA/RM/RMVB---RealVideo文件
RealVideo文件是RealNetworks公司开发的一种新型流式视频文件格式，它包含在RealNetworks公司所制定的音频视频压缩规范RealMedia中，主要用来在低速率的广域网上实时传输活动视频影像，可以根据网络数据传输速率的不同而采用不同的压缩比率，从而实现影像数据的实时传送和实时播放。RealVideo除了可以以普通的视频文件形式播放之外，还可以与RealServer服务器相配合，在数据传输过程中边下载边播放视频影像，而不必像大多数视频文件那样，必须先下载然后才能播放。Internet上已有不少网站利用RealVideo技术进行重大事件的实况转播。
RMVB影片格式比原先的RM多了VB两字，在这里VB是VBR（Variable Bit Rate--可变比特率）的缩写。在保证了平均采样率的基础上，设定了一般为平均采样率两倍的最大采样率值，在处理较复杂的动态影像时也能得到比较良好的效果，处理一般静止画面时则灵活的转换至较低的采样率，有效的缩减了文件的大小。
MOV/QT---QuickTime文件
QuickTime是Apple计算机公司开发的一种音频、视频文件格式，用于保存音频和视频信息，具有先进的视频和音频功能，被包括Apple Mac OS、Microsoft Windows 95/98/NT在内的所有主流电脑平台支持。QuickTime文件格式支持25位彩色，支持RLE、JPEG等领先的集成压缩技术，提供150多种视频效果，并配有提供了200多种MIDI兼容音响和设备的声音装置。新版的QuickTime进一步扩展了原有功能，包含了基于Internet应用的关键特性，能够通过Internet提供实时的数字化信息流、工作流与文件回放功能，此外，QuickTime还采用了一种称为QuickTime VR (简作QTVR)技术的虚拟现实(Virtual Reality， VR)技术，用户通过鼠标或键盘的交互式控制，可以观察某一地点周围360度的景像，或者从空间任何角度观察某一物体。QuickTime以其领先的多媒体技术和跨平台特性、较小的存储空间要求、技术细节的独立性以及系统的高度开放性，得到业界的广泛认可，已成为数字媒体软件技术领域的事实上的工业标准。国际标准化组织(ISO)选择QuickTime文件格式作为开发MPEG4规范的统一数字媒体存储格式。
ASF/WMV----MICROSOFT流媒体文件
Microsoft公司推出的Advanced Streaming Format (ASF，高级流格式)，也是一个在Internet上实时传播多媒体的技术标准，Microsoft公司的野心很大，希图用ASF取代QuickTime之类的技术标准。ASF的主要优点包括：本地或网络回放、可扩充的媒体类型、部件下载、以及扩展性等。ASF应用的主要部件是NetShow服务器和NetShow播放器。有独立的编码器将媒体信息编译成ASF流，然后发送到NetShow服务器，再由NetShow服务器将ASF流发送给网络上的所有NetShow播放器，从而实现单路广播或多路广播。这和Real系统的实时转播则是大同小异。WMV又是一种独立于编码方式的在Internet上实时传播多媒体的技术标准，Microsoft公司希望用其取代QuickTime之类的技术标准以及WAV、AVI之类的文件扩展名。wmv的主要优点包括：本地或网络回放、可扩充的媒体类型、部件下载、可伸缩的媒体类型、流的优先级化、多语言支持、环境独立性、丰富的流间关系以及扩展性等。
AVI(n AVI)
如果你发现原来的播放器突然打不开这种格式的avi文件了，那你就要考虑是不是碰到了nAVI。n AVI是 newAVI 的缩写，是一个名为 ShadowRealm 的地下组织发展起来的一种新视频格式。它是由 Microsoft ASF 压缩算法的修改而来的（并不是想象中的 AVI），视频格式追求的无非是压缩率和图象质量，所以 NAVI 为了追求这个目标，改善了原始的 ASF 格式的一些不足，让 NAVI 可以拥有更高的帧率（frame rate）。当然，这是牺牲 ASF 的视频流特性作为代价的。概括来说， NAVI 就是一种去掉视频流特性的改良型 ASF 格式，也可以被视为是非网络版本的 ASF 。
ISO、BIN、IMG、TAO、DAO、CIF、FCD－镜像文件格式
镜像文件其实就是一个独立的文件，和其他文件不同，它是由多个文件通过刻录软件或者镜像文件制作工具制作而成的。
镜像文件的应用范围比较广泛，最常见的应用就是数据备份(如软盘和光盘)。随着宽带网的普及，有些下载网站也有了ISO格式的文件下载，方便了软件光盘的制作与传递。常见的镜像文件格式有ISO、BIN、IMG、TAO、DAO、CIF、FCD。
打开镜像文件可以使用WinISO或者IsoBuster，下载这些软件的地方都有相关教程，不再赘述。.
3常见处理数据
视频处理需要使用大量数据作为测试和训练集，如：Visual Object Classes Challenge 2011 (VOC2011)(PASCAL视觉目标分类挑战赛2011)、BEHAVE - Crowds(人群行为视频数据集) 、交通视频数据库（2010年-2011年间的数据）、IR Marks video data set (加利福尼亚大学圣迭戈分校脸部运动视频数据库) 、The Honda/UCSD Video Database(加利福尼亚大学圣迭戈分校脸部追踪视频数据库) 、VIRAT Video Dataset(美国国防部高级研究计划局VIRAT视频数据库) 等。
信息处理
根据三基色原理，在视频领域利用R、G、B三色不同比例的混合来表现丰富多彩的世界。由于摄像机中的原始信号和电视机、监视器、计算机显示器里的最终信号都是RGB信号，因此，使用RGB信号作为视频信号的传输和记录方式,无疑会有极高的信号质量。但在实际应用中却并非如此，因为。一则这会极大地增加视频带宽，增加相关设备的成本，二则这也与现行的黑白电视不兼容。
①视频信号
⒈YUV分量信号
按亮度方程将RGB转换生成亮度信号Y和两个色差信号U（B-Y）、V（(R-Y），就得到YUV分量信号。
YUV分量的特点
由于Y与UV是分离的，只有Y而没有U、V的图就是黑白灰度的。黑白电视机能接收彩色电视信号正是利用了YUV的分离特性。
可利用人眼的特性来降低数字彩色图像需要的存储容量。人眼对彩色细节的分辨能力远比对亮度细节的分辨能力低，把N个相邻像素不同彩色值当作相同彩色值来处理（降低彩色分量的分辨率）可以减少存储容量，而不明显影响图像质量。
Y/C信号
把YUV信号中的U、V信号进一步合成为一个色度信号C，得到Y/C信号。由于对色度信号进行了将频处理，这种记录方式又称为彩色降频方式。
复合信号
把Y/C信号中的Y信号和C信号进一步合成，得到复合视频，也就是彩色全电视信号。应用复合视频主要是为了方便传输以及电视信号的发射。
②采样
③量化
④压缩
有损压缩/无损压缩
硬件压缩/软件压缩
压缩比
⑤计算机显示系统
4相关技术
硬件技术
①视频处理硬件的发展方向
与网络通信技术结合，由视频采集卡附加网络通信卡构成多媒体视频会议、可视电话、视频邮件、多媒体通信终端等。
与影视制作技术结合，构成压缩/解压缩、合成输出、特技效果于一体的影视制作非线性编辑系统。
②视频采集卡
③视频输出卡（电视编码卡）
④MPEG1 压缩/解压缩卡
⑤电视接收卡
⑥非线性编辑卡
⑦MPEG2压缩/解压缩卡
视频品质
视频品质（或译为“画质”，“影像质素”）可以利用客观的峰值信噪比（peak signal-to-noise ratio, PSNR）来量化，或借由专家的观察来进行主观视频品质的评量。
对一套视频处理系统（例如压缩算法或传输系统），典型的主观画质评量通常包含下列几个步骤：
选择一组未处理的视频片段（称为SRC）作为比较基准。
选择处理或传输系统的设定值（称为HRC） 。
订定如何将处理过的视频呈现给评估者并且收集其评价的科学方法。
邀请足够数量的评估者，通常不少于15人 。
实施评量。
计算每个评估者给予每组不同HRC所打的分数（通常取平均值） 。
在ITU-T建议书 BT.500当中描述了许多种进行主观画质评量的方法。其中一种标准化的作法是DSIS（Double Stimulus Impairment Scale）。在DSIS评量中，评估者会先观看一段未处理过的视频片段，再观看处理过的视频片段。最后再针对处理过的视频片段做出评价，从“与原始影像分不出差异”到“与原始影像相比严重劣化”。
视频压缩技术
视频压缩技术（仅适用数位讯号），自从数位信号系统被广泛使用以来，人们发展出许多方法来压缩视频串流。由于视频资料包含了空间的与时间的冗余性，所以使得未压缩的视频串流以传送效率的观点来说是相当糟糕的。
总体而言，空间冗余性可以借由“只记录单帧画面的一部份与另一部份的差异性”来减低；这种技巧被称为帧内压缩（intraframe compression）。并且与图像压缩密切相关。而时间冗余性则可借由“只记录两帧不同画面间的差异性”来减低；这种技巧被称为帧间压缩（interframe compression），包括运动补偿以及其他技术。目前最常用的视频压缩技术为DVD与卫星直播电视所采用的MPEG-2，以及因特网传输常用的MPEG-4。
5位元传输率
位元传输率(仅适用于数位讯号)，位元传输率（又译为位元速率或比特率或码率）是一种表现视频串流中所含有的资讯量的方法。其数量单位为bit/s（每秒间所传送的位元数量，又写为bps）或者Mbit/s（每秒间所传送的百万位元数量，又写为Mbps）。较高的位元传输率将可容纳更高的视频品质。例如DVD格式的视频（典型位元传输率为5Mbps）的画质高于VCD格式的视频（典型位元传输率为1Mbps）。HDTV格式拥有更高的（约20Mbps）位元传输率，也因此比DVD有更高的画质。
可变位元速率（Variable bit rate，简写为VBR）是一种追求视频品质提升并同时降低位元传输率的手段。采用VBR编码的视频在大动态或复杂的画面时段会自动以较高的速率来记录影像，而在静止或简单的画面时段则降低速率。这样可以在保证画面品质恒定的前提下尽量减少传输率。但对于传送带宽固定，需要即时传送并且没有暂存手段的视频串流来说，固定位元速率（Constant bit rate，CBR）比VBR更为适合。视频会议系统即为一例。
6影响
多数消费类视频产品是以解压过程中和解压后所采用的视频处理技术以及算法来区分的。一些视频处理技术可能会采用不同于下面所列举的方式来实现，而且下列技术在不同的应用场合可能有不同的名称。
影视
电影通常以每秒24帧的速率进行录制，在电视上观看需要将视频转换为每秒多少场，这种过程称为电视电影(telecine)，或者X:Y折叠。将电影胶片转换为NTSC电视制式被称为3:2折叠，它是将每秒24帧转换为大约每秒60场。 这个转换过程包含两个步骤：首先将电影的速率降低1%。其次将电影中的4帧画面转换为10场NTSC制式的画面，这个转换过程是利用NTSC制式的交织性质将4帧画面扩展到5帧实现的。作为电视电影的3:2 (或实际上是2:3)其实就是电影的第一帧显示2场，然后第二帧显示3场，第三帧再显示2场，这样交替下去。 在任何电影向电视的转换过程中都会产生一些被称为“抖动”的失真。为了消除这种抖动并再生原始信号，需要采用反转电影电视(反转3:2折叠)方式将转换后的信号转换回24帧/秒。反转电影电视是一种去交织的方式。
去交织
为了充分利用HD电视和显示非交织(或逐行扫描)视频的其它显示器的优势，视频广播流必须从交织方式转换成非交织方式，这个转换过程被称为去交织。必须对从NTSC等复合信号转换成RGB或YCbCr等分量信号时实施去交织。 去交织算法通常有几种不同的方式(名称也不同)，包括电影模式、视频模式、运动补偿、场合并(交织、混合、选择性混合)以及场扩展(尺寸减半，双线技术)等。每种方式各有利弊，最好的去交织办法是将这些方法结合起来。MPEG解码器有时仍使用3:2折叠方式，这样无需使用去交织。
缩放
对于每个支持多分辨率的视频设备来说缩放(scaling)几乎都是必需的，这是因为信号必须从一种分辨率转换到适合终端设备的另一种分辨率。当采用去交织时，分量信号不能进行定标，除非先把它们转换为复合信号。 有几种定标方案，图像，而像素复制就是通过复制像素以扩大图像。正如你所想像的，这种方法会产生裕量并引入失真。 线性插值也好不了多少，它也会造成失真，特别是对于高频成分。反锯齿再取样的效果最理想，因为它能保证频率成分得到正确的定标。目前有好几种反锯齿的方法，需要根据终端设备来决定最优的方法。
去块和去振铃
视频帧通常被分成16个采样值x16行的若干个组，这样的组也称为宏块，这些宏块用于运动估计和运动矢量。当宏块被解压和再生时，相邻的宏块边缘可能不是特别匹配，因为在重建受损编解码器时会出现自然误差。 当边缘不能很好匹配时，宏块的边界就显露出来，为消除这些不良后果，必须使用低通去块滤波器进行混合和消除这些失真。H.26?包含了一个应用于宏块级的去块滤波器，对其它编解码器来说该滤波器必须另外构建。 当编码器在宏块量化过程中丢失太多信息时，图像边缘就会出现失真，这种类型的错误被称为振铃。就像去块那样，去振铃需要采用自适应低通有限脉冲响应滤波器来掩盖振铃效应。
其它技术
在广播或回放过程中可能有多种原因导致错误发生，例如，DVD常常被刮伤而无法纠错。差错隐藏方法往往能弥补不可纠正的差错。插值或用前、后帧数据替换损坏数据等技术都可以用来隐藏这种类型的差错。 边缘增强方法采用过程滤波器增加边缘两侧较亮和较暗像素的对比度来改善图像的锐利度。这种处理技术对低档显示器来说较为有用，而且远距离观看效果更好。由于边缘增强方法降低了图像的质量，所以一般不用于高端显示器。 代码转换就是从一种数字信号格式直接转换成另一种格式，它包括选取一个编码后的视频格式，将其解码或解压缩成原先的格式，就像要进行重放一样(图1)。然后，视频流又被压缩或编码成新的想要的格式。大部分编解码器是有损的，造成的差错和引起的失真会产生累积，最终导致图像质量不断恶化。 “未来几年内代码转换将成为视频系统的一项最具挑战性的功能。”TI公司流媒体事业部首席技术官Jeremiah Golston表示。 “在各种不同视频编解码格式、位速率以及分辨率之间进行转换时，必须保持高质量的视频信号，以满足家庭媒体设备间互相共享内容的需要。”Golston补充道。 “在I/O带宽和整体成本等系统预算非常紧张的情况下，要达到这些目标就必须在算法和架构上进行创新。基于DSP技术的实时HD代码转换解决方案可以同时提供高性能和灵活性，从而满足这些苛刻的要求。”专用编解码器和视频处理芯片如果优先考虑速度，具有编解码器和视频处理功能的专用芯片将是首选方案。表1列举了一系列本身具有编解码和图像处理功能的现有芯片。该表并未搜罗所有相关产品，所列举的公司也大多不只提供一种或一个系列的视频处理产品。 高清电视不只是进行数字处理。平板HDTV的单一固定式显示分辨率必须匹配多种显示标准，这样就出现了CRT电视所不曾经历的设计难题，对于PC中的图形卡来说要解决这种问题办法很多，但HDTV接收机必须比PC图形卡完成得更快更好，当HDTV必须处理来自VHS/DVD播放器的传统视频时挑战就更为严峻。 不过, 这个问题主要是针对高端系统。大众市场的HD设备只需要处理电缆输入问题，为了得到外部SD数据源，消费者必须另外付钱购买额外的连接器。模拟前端(AFE)芯片可以完成该处理，但是它们要比人们熟知的仅作为ADC信号调节器的AFE复杂得多。 一些模拟公司提供的产品设法解决了这些问题。Intersil公司的自动黑电平补偿(ABLC)功能和模拟器件公司(ADI)的视频噪声整形技术以独特的方法解决了这些挑战。 模拟视频信号包含了水平和垂直的回扫间隔，在此间隔期间CRT的电子束要重定向到新的一行或场的起始端，但是由于平板电视缺少垂直或水平回扫，它们就需要一个像素时钟。 模拟视频信号不提供像素时钟，所以要由一个锁相环(PLL)来产生时钟。HD分辨率要求用低抖动的PLL，但是HD标准所允许的范围对于模拟PLL提出了设计挑战，因为当水平分量频率在10-150kHz时环路滤波器很难得到优化。 偏移量是另一个内在的AFE挑战。AFE视频路径通常包括直流恢复钳位电路、偏移和增益修正以及模数转换电路。好的直流恢复电路可以消除AFE输入端的偏移，但是随后的有源器件还会再产生偏移。偏移量是随机的，将随着设备的不同而不同，它们通常有较大的温度系数，因此显示器发热时偏移量会产生漂移。 这里讲述有关偏移量的问题。在分量视频信号中, Y信号(亮度、灰度级信息)和Pb、Pr信号(色度，颜色信息)通过三个独立的通道发送出去。Y信号是单极性的，Y通道上Y偏移量将会影响亮度。Pb和Pr信号是双极性的，它们形成了正交色彩空间。 Pb和Pr的随机偏移量会将该空间的中心从0伏移走，这样就会在本该是灰色的图像上添加颜色，从而移动了整个颜色空间，导致颜色显示不正确。过去，显示器生产商在显示产品测试时只做一次校正或对这一问题根本不作处理，交付的设备具有很大的黑电平和颜色变化。这样做的结果是需要用户手动调整设置值。
7处理器
主流视频处理器
为了创造一个成功的数字视频产品，你需要选择合适的处理器。听起来简单，当然，实际上并不简单。其中的一个大问题是，有太多的处理器款式供你选择：通用CPU，FPGA，DSP，可配置处理器，固定功能芯片以及其它类型的处理器等。
令问题更加复杂的是，数字视频是一个迅速发展的领域，标准不断发展和变化。因此，在数字视频领域，处理器适应变化的能力比在其它应用中显得更加重要，但是，这种灵活性通常是以降低效率为代价的。
选择处理器的时候，难免要作一些折衷，但关键是要知道，如何选择处理器，才不至于使产品的成功打折扣。
各取所需
由于有这么多的处理器供你选择，实际上不可能挨个都看一遍——甚至无法详细了解各个主要大类，可以采用分级方法：利用对你来说最重要的筛选标准先排除不适合的候选者。
进行初选时普遍采用的标准包括：
* 速度。数字视频任务，像许多其它类型的信号处理任务一样，都要求处理器承担沉重的计算任务。针对目标应用，仔细分析处理器是否具有足够的速度，最好使用BDTI Video Benchmarks等面向视频的测试基准。
* 价格。虽然芯片价格很重要，但每通道成本或者总体系统成本可能更加重要。
* 能源效率。在多数情况下，评估能源效率比功耗更有意义，因为能源使用情况决定着电池寿命。
* 灵活性。有些种类的处理器比其它种类的处理器更加灵活，可以适应未来产品特点的变化，或者允许现场升级，如增加对新压缩算法的支持。但是，一般来说，处理器灵活性越高，其成本和能源使用效率越低。
* 开发工具质量。处理器是否拥有用于支持信号处理应用(或者更进一步，视频应用)开发的工具，可能对于开发时间产生重大影响，并进而影响产品上市时间。
* 与早期处理器型号的兼容性。如果你期望重复使用早期产品所用的软件，这点通常很重要。
* 供应商路线图。供应商的产品路线图，是否非常符合你的后续产品开发计划在你的产品寿命期内，处理器能否得到支持或者升级
* 以芯片或者可授权内核形式销售。有些处理器是作为封装好的现成芯片出售的；有些是作为可授权知识产权出售的――通常被称为可授权内核，用于制造定制芯片。本文所讨论的多数处理器种类都既包括封装式芯片，也包括可授权内核。
各类处理器优劣
重点介绍数字视频所普遍采用的六类处理器：固定功能引擎，专用标准产品(ASSP)，媒体处理器，DSP，嵌入式RISC处理器和FPGA。这些范围覆盖了最专业的和最灵活的产品，讨论各类处理器的优劣，并对每类中的一个具体产品进行分析。
首先谈谈固定功能引擎。它采用硬布线处理器结构，以获得最大效率；它们不使用指令流，不可以编程。硬布线逻辑牺牲了灵活性，以换取非凡的处理速度、能源效率，而且经常能够取得成本效益。
采用固定功能引擎可以简化系统设计和测试。由于固定功能引擎不可编程，产品开发人员就不必学习编程工具，也不必集成多个软件模块。而且他们不需要考虑，处理器所执行的多个任务是否可能以其不希望的方式相互影响，是否会干扰系统的实时特点等问题。
固定功能引擎一般以可授权知识产权(IP)的方式提供，以便于集成到定制芯片之中。采用这种形式，固定功能引擎最适合于手机等大批量应用。固定功能引擎有时也可以芯片的形式提供。固定功能视频芯片，如MPEG-2解码
主流视频处理器特点及代表产品
器芯片，能够以较低的成本给现有产品增加功能，特别是当产品具有能够处理需求控制和用户接口功能的主机处理器的时候。
比如Hantro公司的5150 MPEG-4视频解码器，这是以IP形式出售的固定功能引擎的例子。该引擎准备用作协处理器，附属于一个通用处理器，后者处理一些MPEG-4解码所需要的要求不太高的子任务。
固定功能硬件的主要缺点是缺乏灵活性。由于它不可编程，产品开发人员就不能很容易地修改固定功能硬件，使其支持新标准或者不同的功能。这点很令人关切，因为许多视频应用目前来看仍然不够成熟，标准和功能变化很快。
因此，固定功能引擎经常被用作专用标准产品的一部分，下面就说一说ASSP。
专用标准产品(ASSP)是集成度很高的专用芯片。可以与专用集成电路(ASIC)作一番比较。ASIC是由系统公司设计的，并用于它们自己的产品之中。而ASSP是由芯片公司设计的，作为现成的芯片提供给多家系统开发商。由于开发一种复杂芯片又费钱又耗时，ASSP通常用于已达到大批量的已定型产品，或者预计会有较高的批量的产品。
比如卓然公司的Vaddis 5R，是面向DVD录像机中音频和视频处理的高度专业化的芯片。所需要的关键算法都已确定：最突出的是MPEG-2视频压缩与解压缩。
然Vaddis 5R包含两个RISC处理器，但它在执行计算量最大的任务时使用固定功能硬件加速器，如MPEG-2视频解码和彩色空间转换。出于上述原因，Vaddis 5R (和其它类似的ASSP)也具有固定功能引擎的优缺点：拥有良好的性能和能源效率，但灵活性有限。
灵活性有限，意味着系统设计人员在设计产品时，使其产品与采用同样ASSP的其它产品容易雷同。它还意味着，系统设计人员高度依赖芯片供应商的路线图，因为需要新款芯片支持显著不同的功能。
还有一种是主要依赖可编程处理器执行繁重视频任务的ASSP，为获得灵活性而牺牲了能源效率和成本效率。这类ASSP通常与视频解码器和硬件驱动器等关键软件相捆绑，使系统开发人员不必从事许多低级软件的开发工作。但是，与采用基于固定功能硬件的ASSP相比，仍可能需要在软件开发和集成方面花费很大的精力。
媒体处理器在专业化/灵活性方面处于ASSP与数字信号处理器(DSP)之间。媒体处理器针对与音频和视频处理相关的任务进行了优化，不象DSP那样面向广泛的信号处理任务进行优化。媒体处理器通常要采用多个处理器，包括一个类似于DSP的主处理引擎、两个或三个专用协处理器，以及音频与视频专用外设。
飞利浦的PNX1500就是一款媒体处理器。像典型的媒体处理器一样，PNX1500基于一个功能强大的、高度并行的处理器内核，该内核在执行视频处理任务时具有较高的效率。PNX1500还包含几个固定功能硬件加速器和专用外设器件，这也是典型的媒体处理器的特点。主处理器内核处理压缩等复杂的视频任务，系统设计人员可以对该内核进行编程。
与卓然公司的Vaddis 5R类似， PNX1500非常适合于MPEG-2解码。但与卓然的ASSP不同的是，PNX1500具有足够的灵活性，可以与H.264等其它视频压缩标准一同使用。当然，这种灵活性也是有代价的：与固定功能硬件相比，软件视频解码器的能源与成本效率通常较低。由于媒体处理器采用多个不同的处理器，与其它可编程处理器相比，给软件开发造成极大的困难。例如，为了执行一项特定的视频任务，一般必须给两个或更多的处理单元编程，并对它们加以协调。为了帮助弥补这个缺点，媒体处理器供应商经常提供优化的软件构件库。
媒体处理器供应商通常强调在开发软件时使用C或C++，不推荐或支持汇编语言。之所以强调用高级语言开发软件，是为了使程序员不需面对处理器架构方面的许多复杂问题。但不足之处是，程序员必须依赖编译器来生成有效代码，而这不总是现实的。开发人员可能需要投入很大的精力，手工调整其高级语言代码，以获得最佳性能。
数字信号处理器(DSP)是为一系列信号处理应用所设计。与媒体处理器相比，DSP所采用的规格不太偏重于视频处理，而且并行性较低。为了弥补并行性较低的弱点，在给定的应用中，DSP的指令执行速度通常必须高于媒体处理器。较高的指令速度可能导致系统设计复杂化，并增加能耗。另一方面，与嵌入RISC处理器(下面将会说到)相比，DSP在处理视频任务时需要的时钟速度较低。DSP的关键优势在于其灵活性和强大的应用开发工具。
在计算机上播放和录制视频，可以将家庭电影复制到计算机，使用视频和音频剪贴工具进行编辑、剪辑、增加一些很普通的特效效果，使视频可观赏性增强，称之为视频处理。
中文名视频处理
目 的使视频可观赏性增强
主要格式avi，rmvb，mp4
处理原因画面长宽比
目录
1处理原因
2常见格式
3常见处理数据
信息处理
复合信号
4相关技术
硬件技术
视频品质
视频压缩技术
5位元传输率
6影响
影视
去交织
缩放
去块和去振铃
其它技术
7处理器
各取所需
1处理原因
传统电视(绿)与常见的电影画面长宽比例之比较长宽比（Aspect ratio）是用来描述视频画面与画面元素的比例。传统的电视萤幕长宽比为4:3（1.33:1）。HDTV的长宽比为16:9（1.78:1）。而35mm胶卷底片的长宽比约为1.37:1。
虽然电脑萤幕上的像素大多为正方形，但是数字视频的像素通常并非如此。例如使用于PAL及NTSC讯号的数位保存格式CCIR 601，以及其相对应的非等方宽萤幕格式。因此以720x480像素记录的NTSC规格DV影像可能因为是比较“瘦”的像素格式而在放映时成为长宽比4:3的画面，或反之由于像素格式较“胖”而变成16:9的画面。
2常见格式
AVI---AVI文件
AVI是音频视频交错(Audio Video Interleaved)的英文缩写，它是Microsoft公司开发的一种符合RIFF文件规范的数字音频与视频文件格式，原先用于Microsoft Video for Windows (简称VFW)环境，已被Windows 95/98、OS/2等多数操作系统直接支持。AVI格式允许视频和音频交错在一起同步播放，支持256色和RLE压缩，但AVI文件并未限定压缩标准，因此，AVI文件格式只是作为控制界面上的标准，不具有兼容性，用不同压缩算法生成的AVI文件，必须使用相应的解压缩算法才能播放出来。常用的AVI播放驱动程序，主要是Microsoft Video for Windows或Windows 95/98中的Video 1，以及Intel公司的Indeo Video。AVI文件主要应用在多媒体光盘上，用来保存电影、电视等各种影像信息，有时也出现在Internet上，供用户下载、欣赏新影片的精彩片断。
MPEG/MPG/DAT---MPEG文件
MPEG文件格式是运动图像压缩算法的国际标准，它采用有损压缩方法减少运动图像中的冗余信息，同时保证每秒30帧的图像动态刷新率，已被几乎所有的计算机平台共同支持。MPEG标准包括MPEG视频、MPEG音频和MPEG系统(视频、音频同步)三个部分，前文介绍的MP3音频文件就是MPEG音频的一个典型应用，而Video CD (VCD)、Super VCD (SVCD)、DVD (Digital Versatile Disk)则是全面采用MPEG技术所产生出来的新型消费类电子产品。MPEG压缩标准是针对运动图像而设计的，其基本方法是：在单位时间内采集并保存第一帧信息，然后只存储其余帧相对第一帧发生变化的部分，从而达到压缩的目的，它主要采用两个基本压缩技术：运动补偿技术(预测编码和插补码)实现时间上的压缩，变换域(离散余弦变换DCT)压缩技术实现空间上的压缩。MPEG的平均压缩比为50∶1，最高可达200∶1，压缩效率非常高，同时图像和音响的质量也非常好，并且在微机上有统一的标准格式，兼容性相当好。
这里值得注意的是DIVX。DIVX视频编码技术可以说是一种对 DVD 造成威胁的新生视频压缩格式，也有人说它是 DVD 杀手，它由 Microsoftmpeg4 v3 修改而来，使用了MPEG4的压缩算法。同时它也可以说是为了打破 ASF 的种种协定而发展出来的。而使用这种据说是美国禁止出口的编码技术MPEG4 压缩一部 DVD 只需要 2 张 CDROM。这样就意味着读者不需要额外购买DVD光驱也可以得到和它差不多的视频质量。而且播放这种编码，对机器的要求也不高，CPU的最低额度只要求在300MHZ 以上，而且在CPU类型的选择方面，不论你的芯是PII、CELERON还是PIII、AMDK6/2、AMDK6III、ATHALON，就是CYRIXx86也可以统吃拿下。在配置上64 兆内存和一个 8兆显存的显卡上，DIVX便可以流畅的播放了。
RA/RM/RMVB---RealVideo文件
RealVideo文件是RealNetworks公司开发的一种新型流式视频文件格式，它包含在RealNetworks公司所制定的音频视频压缩规范RealMedia中，主要用来在低速率的广域网上实时传输活动视频影像，可以根据网络数据传输速率的不同而采用不同的压缩比率，从而实现影像数据的实时传送和实时播放。RealVideo除了可以以普通的视频文件形式播放之外，还可以与RealServer服务器相配合，在数据传输过程中边下载边播放视频影像，而不必像大多数视频文件那样，必须先下载然后才能播放。Internet上已有不少网站利用RealVideo技术进行重大事件的实况转播。
RMVB影片格式比原先的RM多了VB两字，在这里VB是VBR（Variable Bit Rate--可变比特率）的缩写。在保证了平均采样率的基础上，设定了一般为平均采样率两倍的最大采样率值，在处理较复杂的动态影像时也能得到比较良好的效果，处理一般静止画面时则灵活的转换至较低的采样率，有效的缩减了文件的大小。
MOV/QT---QuickTime文件
QuickTime是Apple计算机公司开发的一种音频、视频文件格式，用于保存音频和视频信息，具有先进的视频和音频功能，被包括Apple Mac OS、Microsoft Windows 95/98/NT在内的所有主流电脑平台支持。QuickTime文件格式支持25位彩色，支持RLE、JPEG等领先的集成压缩技术，提供150多种视频效果，并配有提供了200多种MIDI兼容音响和设备的声音装置。新版的QuickTime进一步扩展了原有功能，包含了基于Internet应用的关键特性，能够通过Internet提供实时的数字化信息流、工作流与文件回放功能，此外，QuickTime还采用了一种称为QuickTime VR (简作QTVR)技术的虚拟现实(Virtual Reality， VR)技术，用户通过鼠标或键盘的交互式控制，可以观察某一地点周围360度的景像，或者从空间任何角度观察某一物体。QuickTime以其领先的多媒体技术和跨平台特性、较小的存储空间要求、技术细节的独立性以及系统的高度开放性，得到业界的广泛认可，已成为数字媒体软件技术领域的事实上的工业标准。国际标准化组织(ISO)选择QuickTime文件格式作为开发MPEG4规范的统一数字媒体存储格式。
ASF/WMV----MICROSOFT流媒体文件
Microsoft公司推出的Advanced Streaming Format (ASF，高级流格式)，也是一个在Internet上实时传播多媒体的技术标准，Microsoft公司的野心很大，希图用ASF取代QuickTime之类的技术标准。ASF的主要优点包括：本地或网络回放、可扩充的媒体类型、部件下载、以及扩展性等。ASF应用的主要部件是NetShow服务器和NetShow播放器。有独立的编码器将媒体信息编译成ASF流，然后发送到NetShow服务器，再由NetShow服务器将ASF流发送给网络上的所有NetShow播放器，从而实现单路广播或多路广播。这和Real系统的实时转播则是大同小异。WMV又是一种独立于编码方式的在Internet上实时传播多媒体的技术标准，Microsoft公司希望用其取代QuickTime之类的技术标准以及WAV、AVI之类的文件扩展名。wmv的主要优点包括：本地或网络回放、可扩充的媒体类型、部件下载、可伸缩的媒体类型、流的优先级化、多语言支持、环境独立性、丰富的流间关系以及扩展性等。
AVI(n AVI)
如果你发现原来的播放器突然打不开这种格式的avi文件了，那你就要考虑是不是碰到了nAVI。n AVI是 newAVI 的缩写，是一个名为 ShadowRealm 的地下组织发展起来的一种新视频格式。它是由 Microsoft ASF 压缩算法的修改而来的（并不是想象中的 AVI），视频格式追求的无非是压缩率和图象质量，所以 NAVI 为了追求这个目标，改善了原始的 ASF 格式的一些不足，让 NAVI 可以拥有更高的帧率（frame rate）。当然，这是牺牲 ASF 的视频流特性作为代价的。概括来说， NAVI 就是一种去掉视频流特性的改良型 ASF 格式，也可以被视为是非网络版本的 ASF 。
ISO、BIN、IMG、TAO、DAO、CIF、FCD－镜像文件格式
镜像文件其实就是一个独立的文件，和其他文件不同，它是由多个文件通过刻录软件或者镜像文件制作工具制作而成的。
镜像文件的应用范围比较广泛，最常见的应用就是数据备份(如软盘和光盘)。随着宽带网的普及，有些下载网站也有了ISO格式的文件下载，方便了软件光盘的制作与传递。常见的镜像文件格式有ISO、BIN、IMG、TAO、DAO、CIF、FCD。
打开镜像文件可以使用WinISO或者IsoBuster，下载这些软件的地方都有相关教程，不再赘述。.
3常见处理数据
视频处理需要使用大量数据作为测试和训练集，如：Visual Object Classes Challenge 2011 (VOC2011)(PASCAL视觉目标分类挑战赛2011)、BEHAVE - Crowds(人群行为视频数据集) 、交通视频数据库（2010年-2011年间的数据）、IR Marks video data set (加利福尼亚大学圣迭戈分校脸部运动视频数据库) 、The Honda/UCSD Video Database(加利福尼亚大学圣迭戈分校脸部追踪视频数据库) 、VIRAT Video Dataset(美国国防部高级研究计划局VIRAT视频数据库) 等。
信息处理
根据三基色原理，在视频领域利用R、G、B三色不同比例的混合来表现丰富多彩的世界。由于摄像机中的原始信号和电视机、监视器、计算机显示器里的最终信号都是RGB信号，因此，使用RGB信号作为视频信号的传输和记录方式,无疑会有极高的信号质量。但在实际应用中却并非如此，因为。一则这会极大地增加视频带宽，增加相关设备的成本，二则这也与现行的黑白电视不兼容。
①视频信号
⒈YUV分量信号
按亮度方程将RGB转换生成亮度信号Y和两个色差信号U（B-Y）、V（(R-Y），就得到YUV分量信号。
YUV分量的特点
由于Y与UV是分离的，只有Y而没有U、V的图就是黑白灰度的。黑白电视机能接收彩色电视信号正是利用了YUV的分离特性。
可利用人眼的特性来降低数字彩色图像需要的存储容量。人眼对彩色细节的分辨能力远比对亮度细节的分辨能力低，把N个相邻像素不同彩色值当作相同彩色值来处理（降低彩色分量的分辨率）可以减少存储容量，而不明显影响图像质量。
Y/C信号
把YUV信号中的U、V信号进一步合成为一个色度信号C，得到Y/C信号。由于对色度信号进行了将频处理，这种记录方式又称为彩色降频方式。
复合信号
把Y/C信号中的Y信号和C信号进一步合成，得到复合视频，也就是彩色全电视信号。应用复合视频主要是为了方便传输以及电视信号的发射。
②采样
③量化
④压缩
有损压缩/无损压缩
硬件压缩/软件压缩
压缩比
⑤计算机显示系统
4相关技术
硬件技术
①视频处理硬件的发展方向
与网络通信技术结合，由视频采集卡附加网络通信卡构成多媒体视频会议、可视电话、视频邮件、多媒体通信终端等。
与影视制作技术结合，构成压缩/解压缩、合成输出、特技效果于一体的影视制作非线性编辑系统。
②视频采集卡
③视频输出卡（电视编码卡）
④MPEG1 压缩/解压缩卡
⑤电视接收卡
⑥非线性编辑卡
⑦MPEG2压缩/解压缩卡
视频品质
视频品质（或译为“画质”，“影像质素”）可以利用客观的峰值信噪比（peak signal-to-noise ratio, PSNR）来量化，或借由专家的观察来进行主观视频品质的评量。
对一套视频处理系统（例如压缩算法或传输系统），典型的主观画质评量通常包含下列几个步骤：
选择一组未处理的视频片段（称为SRC）作为比较基准。
选择处理或传输系统的设定值（称为HRC） 。
订定如何将处理过的视频呈现给评估者并且收集其评价的科学方法。
邀请足够数量的评估者，通常不少于15人 。
实施评量。
计算每个评估者给予每组不同HRC所打的分数（通常取平均值） 。
在ITU-T建议书 BT.500当中描述了许多种进行主观画质评量的方法。其中一种标准化的作法是DSIS（Double Stimulus Impairment Scale）。在DSIS评量中，评估者会先观看一段未处理过的视频片段，再观看处理过的视频片段。最后再针对处理过的视频片段做出评价，从“与原始影像分不出差异”到“与原始影像相比严重劣化”。
视频压缩技术
视频压缩技术（仅适用数位讯号），自从数位信号系统被广泛使用以来，人们发展出许多方法来压缩视频串流。由于视频资料包含了空间的与时间的冗余性，所以使得未压缩的视频串流以传送效率的观点来说是相当糟糕的。
总体而言，空间冗余性可以借由“只记录单帧画面的一部份与另一部份的差异性”来减低；这种技巧被称为帧内压缩（intraframe compression）。并且与图像压缩密切相关。而时间冗余性则可借由“只记录两帧不同画面间的差异性”来减低；这种技巧被称为帧间压缩（interframe compression），包括运动补偿以及其他技术。目前最常用的视频压缩技术为DVD与卫星直播电视所采用的MPEG-2，以及因特网传输常用的MPEG-4。
5位元传输率
位元传输率(仅适用于数位讯号)，位元传输率（又译为位元速率或比特率或码率）是一种表现视频串流中所含有的资讯量的方法。其数量单位为bit/s（每秒间所传送的位元数量，又写为bps）或者Mbit/s（每秒间所传送的百万位元数量，又写为Mbps）。较高的位元传输率将可容纳更高的视频品质。例如DVD格式的视频（典型位元传输率为5Mbps）的画质高于VCD格式的视频（典型位元传输率为1Mbps）。HDTV格式拥有更高的（约20Mbps）位元传输率，也因此比DVD有更高的画质。
可变位元速率（Variable bit rate，简写为VBR）是一种追求视频品质提升并同时降低位元传输率的手段。采用VBR编码的视频在大动态或复杂的画面时段会自动以较高的速率来记录影像，而在静止或简单的画面时段则降低速率。这样可以在保证画面品质恒定的前提下尽量减少传输率。但对于传送带宽固定，需要即时传送并且没有暂存手段的视频串流来说，固定位元速率（Constant bit rate，CBR）比VBR更为适合。视频会议系统即为一例。
6影响
多数消费类视频产品是以解压过程中和解压后所采用的视频处理技术以及算法来区分的。一些视频处理技术可能会采用不同于下面所列举的方式来实现，而且下列技术在不同的应用场合可能有不同的名称。
影视
电影通常以每秒24帧的速率进行录制，在电视上观看需要将视频转换为每秒多少场，这种过程称为电视电影(telecine)，或者X:Y折叠。将电影胶片转换为NTSC电视制式被称为3:2折叠，它是将每秒24帧转换为大约每秒60场。 这个转换过程包含两个步骤：首先将电影的速率降低1%。其次将电影中的4帧画面转换为10场NTSC制式的画面，这个转换过程是利用NTSC制式的交织性质将4帧画面扩展到5帧实现的。作为电视电影的3:2 (或实际上是2:3)其实就是电影的第一帧显示2场，然后第二帧显示3场，第三帧再显示2场，这样交替下去。 在任何电影向电视的转换过程中都会产生一些被称为“抖动”的失真。为了消除这种抖动并再生原始信号，需要采用反转电影电视(反转3:2折叠)方式将转换后的信号转换回24帧/秒。反转电影电视是一种去交织的方式。
去交织
为了充分利用HD电视和显示非交织(或逐行扫描)视频的其它显示器的优势，视频广播流必须从交织方式转换成非交织方式，这个转换过程被称为去交织。必须对从NTSC等复合信号转换成RGB或YCbCr等分量信号时实施去交织。 去交织算法通常有几种不同的方式(名称也不同)，包括电影模式、视频模式、运动补偿、场合并(交织、混合、选择性混合)以及场扩展(尺寸减半，双线技术)等。每种方式各有利弊，最好的去交织办法是将这些方法结合起来。MPEG解码器有时仍使用3:2折叠方式，这样无需使用去交织。
缩放
对于每个支持多分辨率的视频设备来说缩放(scaling)几乎都是必需的，这是因为信号必须从一种分辨率转换到适合终端设备的另一种分辨率。当采用去交织时，分量信号不能进行定标，除非先把它们转换为复合信号。 有几种定标方案，图像，而像素复制就是通过复制像素以扩大图像。正如你所想像的，这种方法会产生裕量并引入失真。 线性插值也好不了多少，它也会造成失真，特别是对于高频成分。反锯齿再取样的效果最理想，因为它能保证频率成分得到正确的定标。目前有好几种反锯齿的方法，需要根据终端设备来决定最优的方法。
去块和去振铃
视频帧通常被分成16个采样值x16行的若干个组，这样的组也称为宏块，这些宏块用于运动估计和运动矢量。当宏块被解压和再生时，相邻的宏块边缘可能不是特别匹配，因为在重建受损编解码器时会出现自然误差。 当边缘不能很好匹配时，宏块的边界就显露出来，为消除这些不良后果，必须使用低通去块滤波器进行混合和消除这些失真。H.26?包含了一个应用于宏块级的去块滤波器，对其它编解码器来说该滤波器必须另外构建。 当编码器在宏块量化过程中丢失太多信息时，图像边缘就会出现失真，这种类型的错误被称为振铃。就像去块那样，去振铃需要采用自适应低通有限脉冲响应滤波器来掩盖振铃效应。
其它技术
在广播或回放过程中可能有多种原因导致错误发生，例如，DVD常常被刮伤而无法纠错。差错隐藏方法往往能弥补不可纠正的差错。插值或用前、后帧数据替换损坏数据等技术都可以用来隐藏这种类型的差错。 边缘增强方法采用过程滤波器增加边缘两侧较亮和较暗像素的对比度来改善图像的锐利度。这种处理技术对低档显示器来说较为有用，而且远距离观看效果更好。由于边缘增强方法降低了图像的质量，所以一般不用于高端显示器。 代码转换就是从一种数字信号格式直接转换成另一种格式，它包括选取一个编码后的视频格式，将其解码或解压缩成原先的格式，就像要进行重放一样(图1)。然后，视频流又被压缩或编码成新的想要的格式。大部分编解码器是有损的，造成的差错和引起的失真会产生累积，最终导致图像质量不断恶化。 “未来几年内代码转换将成为视频系统的一项最具挑战性的功能。”TI公司流媒体事业部首席技术官Jeremiah Golston表示。 “在各种不同视频编解码格式、位速率以及分辨率之间进行转换时，必须保持高质量的视频信号，以满足家庭媒体设备间互相共享内容的需要。”Golston补充道。 “在I/O带宽和整体成本等系统预算非常紧张的情况下，要达到这些目标就必须在算法和架构上进行创新。基于DSP技术的实时HD代码转换解决方案可以同时提供高性能和灵活性，从而满足这些苛刻的要求。”专用编解码器和视频处理芯片如果优先考虑速度，具有编解码器和视频处理功能的专用芯片将是首选方案。表1列举了一系列本身具有编解码和图像处理功能的现有芯片。该表并未搜罗所有相关产品，所列举的公司也大多不只提供一种或一个系列的视频处理产品。 高清电视不只是进行数字处理。平板HDTV的单一固定式显示分辨率必须匹配多种显示标准，这样就出现了CRT电视所不曾经历的设计难题，对于PC中的图形卡来说要解决这种问题办法很多，但HDTV接收机必须比PC图形卡完成得更快更好，当HDTV必须处理来自VHS/DVD播放器的传统视频时挑战就更为严峻。 不过, 这个问题主要是针对高端系统。大众市场的HD设备只需要处理电缆输入问题，为了得到外部SD数据源，消费者必须另外付钱购买额外的连接器。模拟前端(AFE)芯片可以完成该处理，但是它们要比人们熟知的仅作为ADC信号调节器的AFE复杂得多。 一些模拟公司提供的产品设法解决了这些问题。Intersil公司的自动黑电平补偿(ABLC)功能和模拟器件公司(ADI)的视频噪声整形技术以独特的方法解决了这些挑战。 模拟视频信号包含了水平和垂直的回扫间隔，在此间隔期间CRT的电子束要重定向到新的一行或场的起始端，但是由于平板电视缺少垂直或水平回扫，它们就需要一个像素时钟。 模拟视频信号不提供像素时钟，所以要由一个锁相环(PLL)来产生时钟。HD分辨率要求用低抖动的PLL，但是HD标准所允许的范围对于模拟PLL提出了设计挑战，因为当水平分量频率在10-150kHz时环路滤波器很难得到优化。 偏移量是另一个内在的AFE挑战。AFE视频路径通常包括直流恢复钳位电路、偏移和增益修正以及模数转换电路。好的直流恢复电路可以消除AFE输入端的偏移，但是随后的有源器件还会再产生偏移。偏移量是随机的，将随着设备的不同而不同，它们通常有较大的温度系数，因此显示器发热时偏移量会产生漂移。 这里讲述有关偏移量的问题。在分量视频信号中, Y信号(亮度、灰度级信息)和Pb、Pr信号(色度，颜色信息)通过三个独立的通道发送出去。Y信号是单极性的，Y通道上Y偏移量将会影响亮度。Pb和Pr信号是双极性的，它们形成了正交色彩空间。 Pb和Pr的随机偏移量会将该空间的中心从0伏移走，这样就会在本该是灰色的图像上添加颜色，从而移动了整个颜色空间，导致颜色显示不正确。过去，显示器生产商在显示产品测试时只做一次校正或对这一问题根本不作处理，交付的设备具有很大的黑电平和颜色变化。这样做的结果是需要用户手动调整设置值。
7处理器
主流视频处理器
为了创造一个成功的数字视频产品，你需要选择合适的处理器。听起来简单，当然，实际上并不简单。其中的一个大问题是，有太多的处理器款式供你选择：通用CPU，FPGA，DSP，可配置处理器，固定功能芯片以及其它类型的处理器等。
令问题更加复杂的是，数字视频是一个迅速发展的领域，标准不断发展和变化。因此，在数字视频领域，处理器适应变化的能力比在其它应用中显得更加重要，但是，这种灵活性通常是以降低效率为代价的。
选择处理器的时候，难免要作一些折衷，但关键是要知道，如何选择处理器，才不至于使产品的成功打折扣。
各取所需
由于有这么多的处理器供你选择，实际上不可能挨个都看一遍——甚至无法详细了解各个主要大类，可以采用分级方法：利用对你来说最重要的筛选标准先排除不适合的候选者。
进行初选时普遍采用的标准包括：
* 速度。数字视频任务，像许多其它类型的信号处理任务一样，都要求处理器承担沉重的计算任务。针对目标应用，仔细分析处理器是否具有足够的速度，最好使用BDTI Video Benchmarks等面向视频的测试基准。
* 价格。虽然芯片价格很重要，但每通道成本或者总体系统成本可能更加重要。
* 能源效率。在多数情况下，评估能源效率比功耗更有意义，因为能源使用情况决定着电池寿命。
* 灵活性。有些种类的处理器比其它种类的处理器更加灵活，可以适应未来产品特点的变化，或者允许现场升级，如增加对新压缩算法的支持。但是，一般来说，处理器灵活性越高，其成本和能源使用效率越低。
* 开发工具质量。处理器是否拥有用于支持信号处理应用(或者更进一步，视频应用)开发的工具，可能对于开发时间产生重大影响，并进而影响产品上市时间。
* 与早期处理器型号的兼容性。如果你期望重复使用早期产品所用的软件，这点通常很重要。
* 供应商路线图。供应商的产品路线图，是否非常符合你的后续产品开发计划在你的产品寿命期内，处理器能否得到支持或者升级
* 以芯片或者可授权内核形式销售。有些处理器是作为封装好的现成芯片出售的；有些是作为可授权知识产权出售的――通常被称为可授权内核，用于制造定制芯片。本文所讨论的多数处理器种类都既包括封装式芯片，也包括可授权内核。
各类处理器优劣
重点介绍数字视频所普遍采用的六类处理器：固定功能引擎，专用标准产品(ASSP)，媒体处理器，DSP，嵌入式RISC处理器和FPGA。这些范围覆盖了最专业的和最灵活的产品，讨论各类处理器的优劣，并对每类中的一个具体产品进行分析。
首先谈谈固定功能引擎。它采用硬布线处理器结构，以获得最大效率；它们不使用指令流，不可以编程。硬布线逻辑牺牲了灵活性，以换取非凡的处理速度、能源效率，而且经常能够取得成本效益。
采用固定功能引擎可以简化系统设计和测试。由于固定功能引擎不可编程，产品开发人员就不必学习编程工具，也不必集成多个软件模块。而且他们不需要考虑，处理器所执行的多个任务是否可能以其不希望的方式相互影响，是否会干扰系统的实时特点等问题。
固定功能引擎一般以可授权知识产权(IP)的方式提供，以便于集成到定制芯片之中。采用这种形式，固定功能引擎最适合于手机等大批量应用。固定功能引擎有时也可以芯片的形式提供。固定功能视频芯片，如MPEG-2解码
主流视频处理器特点及代表产品
器芯片，能够以较低的成本给现有产品增加功能，特别是当产品具有能够处理需求控制和用户接口功能的主机处理器的时候。
比如Hantro公司的5150 MPEG-4视频解码器，这是以IP形式出售的固定功能引擎的例子。该引擎准备用作协处理器，附属于一个通用处理器，后者处理一些MPEG-4解码所需要的要求不太高的子任务。
固定功能硬件的主要缺点是缺乏灵活性。由于它不可编程，产品开发人员就不能很容易地修改固定功能硬件，使其支持新标准或者不同的功能。这点很令人关切，因为许多视频应用目前来看仍然不够成熟，标准和功能变化很快。
因此，固定功能引擎经常被用作专用标准产品的一部分，下面就说一说ASSP。
专用标准产品(ASSP)是集成度很高的专用芯片。可以与专用集成电路(ASIC)作一番比较。ASIC是由系统公司设计的，并用于它们自己的产品之中。而ASSP是由芯片公司设计的，作为现成的芯片提供给多家系统开发商。由于开发一种复杂芯片又费钱又耗时，ASSP通常用于已达到大批量的已定型产品，或者预计会有较高的批量的产品。
比如卓然公司的Vaddis 5R，是面向DVD录像机中音频和视频处理的高度专业化的芯片。所需要的关键算法都已确定：最突出的是MPEG-2视频压缩与解压缩。
然Vaddis 5R包含两个RISC处理器，但它在执行计算量最大的任务时使用固定功能硬件加速器，如MPEG-2视频解码和彩色空间转换。出于上述原因，Vaddis 5R (和其它类似的ASSP)也具有固定功能引擎的优缺点：拥有良好的性能和能源效率，但灵活性有限。
灵活性有限，意味着系统设计人员在设计产品时，使其产品与采用同样ASSP的其它产品容易雷同。它还意味着，系统设计人员高度依赖芯片供应商的路线图，因为需要新款芯片支持显著不同的功能。
还有一种是主要依赖可编程处理器执行繁重视频任务的ASSP，为获得灵活性而牺牲了能源效率和成本效率。这类ASSP通常与视频解码器和硬件驱动器等关键软件相捆绑，使系统开发人员不必从事许多低级软件的开发工作。但是，与采用基于固定功能硬件的ASSP相比，仍可能需要在软件开发和集成方面花费很大的精力。
媒体处理器在专业化/灵活性方面处于ASSP与数字信号处理器(DSP)之间。媒体处理器针对与音频和视频处理相关的任务进行了优化，不象DSP那样面向广泛的信号处理任务进行优化。媒体处理器通常要采用多个处理器，包括一个类似于DSP的主处理引擎、两个或三个专用协处理器，以及音频与视频专用外设。
飞利浦的PNX1500就是一款媒体处理器。像典型的媒体处理器一样，PNX1500基于一个功能强大的、高度并行的处理器内核，该内核在执行视频处理任务时具有较高的效率。PNX1500还包含几个固定功能硬件加速器和专用外设器件，这也是典型的媒体处理器的特点。主处理器内核处理压缩等复杂的视频任务，系统设计人员可以对该内核进行编程。
与卓然公司的Vaddis 5R类似， PNX1500非常适合于MPEG-2解码。但与卓然的ASSP不同的是，PNX1500具有足够的灵活性，可以与H.264等其它视频压缩标准一同使用。当然，这种灵活性也是有代价的：与固定功能硬件相比，软件视频解码器的能源与成本效率通常较低。由于媒体处理器采用多个不同的处理器，与其它可编程处理器相比，给软件开发造成极大的困难。例如，为了执行一项特定的视频任务，一般必须给两个或更多的处理单元编程，并对它们加以协调。为了帮助弥补这个缺点，媒体处理器供应商经常提供优化的软件构件库。
媒体处理器供应商通常强调在开发软件时使用C或C++，不推荐或支持汇编语言。之所以强调用高级语言开发软件，是为了使程序员不需面对处理器架构方面的许多复杂问题。但不足之处是，程序员必须依赖编译器来生成有效代码，而这不总是现实的。开发人员可能需要投入很大的精力，手工调整其高级语言代码，以获得最佳性能。
数字信号处理器(DSP)是为一系列信号处理应用所设计。与媒体处理器相比，DSP所采用的规格不太偏重于视频处理，而且并行性较低。为了弥补并行性较低的弱点，在给定的应用中，DSP的指令执行速度通常必须高于媒体处理器。较高的指令速度可能导致系统设计复杂化，并增加能耗。另一方面，与嵌入RISC处理器(下面将会说到)相比，DSP在处理视频任务时需要的时钟速度较低。DSP的关键优势在于其灵活性和强大的应用开发工具。
相关数据
被浏览次数
编辑次数
