视频处理是目前多媒体领域最热门的技术，主要分为视频编解码和目标信息识别两大类。前者为了节省视频数据的传输带宽，主要依靠传统的信息论理论，目前已经比较成熟；后者则为了提取用户信息，是了人工智能、计算机以及信息论等多门学科研究成果的交集，目前还处于快速发展阶段。
虽然目前正在使用的视频编解码器多达数百种，但是，为了实现标准化并希望采用的编解码器能提供最佳的基准，大多数消费设备只采用了少数几种编解码器。
目前常用的3类视频编解码器如下所列：(1)MPEG-2。该技术今天仍在大量应用，主要用于广播信号和DVD电影的编码，甚至目前刻在蓝光DVD上的商业视频节目也是用MPEG-2进行编码。随着大多数的HD DVD采用VC-1和H.264标准进行编码，这种情况即将有所改变。(2)MPEG4。MPEG-1、MPEG-2标准基础上形成的MPEG-4包含了许多组成部分，算上正在批准过程中的部分，总共有22个。能以更低的速率传输与MPEG-2相同质量的视频图像，而且MPEG-4引入了描述自然的或合成的对象等新概念来构成场景并支持与用户的交互，给视频节目制作商提供了改进的内容保护功能和创建更灵活、可复用内容的能力。由于这些改进，视频可以通过宽带链路进行传输，卫星和DVB提供商也采用了MPEG-4。(3)H.264/MPEG-4 AVC。H.264(MPEG-4第10部分)高级视频编码(AVC)，主要高数据压缩率和质量而出名。由国际电信联盟电信标准局(ITU-T)视频编码组开发的H.264包含了丰富的视频处理性能。
移动目标的视频检测与跟踪是图像处理、分析应用的一个重要领域，是当前相关领域的研究前沿。移动目标视频检测与跟踪技术，在机器人视觉、交通监测、可视预警、机器导航等民用领域有着的应用，同时在火力拦截、导弹电视和红外视频制导等军用方面也有着着重要作用。可识别的视频行为包括：a. 突然入侵检测、b. 移动物体检测、c. 运动路径检测、d. 遗留物体检测、e. 指向接近检测、f. 移走物体检测这6大类。
其中，各类编解码算法，特别是视频处理算法对计算性能的要求已经远远超出了传统 DSP 处理器的能力。在这些应用中，FPGA可用做协处理器来承担性能关键的处理工作，也可以作为独立的视频处理引擎。与标准数字信号处理器相比，FPGA构造的并行计算特性可支持更高的采样速率和更大的数据吞吐能力，性能可达3至4倍，同时计算功效也更高。
在实现中，视频处理涉及到多相网络视频服务器转换器、二维FIR滤波器和屏幕显示到覆盖、阿尔法混合等简单效果以及格式和颜色空间转换等复杂处理。对于这些算法，Xilinx FPGA是其理想的开发平台，其强大的DSP处理能力意味着有可能支持非常高的分辨率(画质高达1080p)，并且可以缩小大型DSP阵列的尺寸。并且FPGA是可重新编程的硬件，可灵活尝试新颖、高性能、基于硬件的视频和图像算法。除了FPGA器件这一并行、灵活的优势外，Xilinx还提供了一下三方面的资源。
1．大量的IP
Xilinx提供了视频IP模块组，以供在视频监控系统中快速设计、仿真、实现和验证视频和图像处理算法。其中包括设计DVR用的基本基元和高级算法。Xilinx及其合作伙伴提供了一系列压缩编码、解码和编解码解决方案，从为需要快速实现的人提供现成的内核，为希望得到高质量和更低比特率的用户提供构造模块参考设计和硬件平台。将Xilinx FPGA用于某些编解码模块中的极其繁重的处理任务，可以灵活支持多通道HD编码，通过减少或排除DSP处理器阵列大量节约成本，并轻松地将从接口到进一步视频处理的更多功能和能力集成到系统中，从而能在相同的系统中支持不同的配置、额外的通道或新的编解码方案。Xilinx FPGA可通过强化系统逻辑和实现新外设进一步降低DVR系统成本。Xilinx及其合作伙伴还为网络视频服务器监控系统的快速发展提供系统接口：先进的存储器接口、PCIExpress、德州仪器的VLYNQ和EMIF接口、硬盘接口和ITU-RBT656接口。
2．Xilinx工具简化设计
Xilinx System Generator for DSP允许使用Xilinx视频IP模块组构建和调试Simulink中的高性能DVR系统。使用System Generator开发并实现视频处理算法，可以获得经过彻底验证和可以轻松执行的设计。 Xilinx已开发出各种经过预测试的新型视频IP模块组，用户可以在System Generator内拖放模块来轻松构建视频/影像系统，从而省下用HDL语言编写这些基本构建模块的宝贵时间。
为了处理从开发板到PC的庞大的视频数据流，System Generator for DSP引入了另新颖的高速硬件协同仿真(通过以太网接口)，实现低延迟的高流量，在System Generator环境中构建视频/影像系统极其有用。
另基于MATLAB语言的设计工具是Xilinx开发的AccelDSP综合工具，这是基于高级MATLAB语言的工具，用于为Xilinx FPGA设计DSP模块。此工具可实现浮点到定点的自动转换，能生成可综合的VHDL或Verilog语言，并且可以为验证创建测试平台。并且可以直接利用MATLAB算法生成定点C++模型或System Generator模块。AccelDSP是Xilinx XtremeDSP解决方案的一个关键组件，集最先进的FPGA、设计工具、知识产权内核、合作伙伴关系于一体。
3．开发板资源
为了加速用户实现所需的视频处理资源，Xilinx提供了大量的开发板资源，还公开相应开发板的原理图和PCB图，指南提供了视频入门套件的内容简介，并描述了该套件提供的Xilinx 软件的安装方法。在Xilinx提供的开发板上，可通过先进的设计工具和现成的IP核快速开发相应的视频处理产品
