基于GPU机群的视频大数据流处理系统
技术成熟度： (1) 2010年获得上海科委验收； (2) 该系统已经用于3G视频的质量分析。该集群由2个功能集群构成：6台高性能计算机构成I/O任务密集型CPU集群，6台流处理器（GPU）机器构成计算密集型GPU集群，所有节点用MPI通信协议互联。GPU采用NVIDIA GTX480。该并行集群可以对5000个~7000个3G视频流进行视频质量分析，运用CPU集群可以把3G视频流H.264参数提取，然后GPU集群对5000~7000个视频参数进行计算（图像还原成YUV、模糊度、块效应、平滑度分析）。该并行处理环境已经满足电信对3G视频的分析规模的要求和性能的要求。主要性能指标：（1）5000个352x288 (CIF)视频，5秒内分析完成；（2）6000个 320x240 (QVGA)视频, 5秒内分析完成；（3）7000个176x144(QCIF)视频，0.5秒内完成。用若干个这样的集群单元，可以构建对数万3G视频电话的处理，该系统具备线性的可扩展性，适合大规模并行处理的需要。经上海科学技术情报研究所查新得知，该系统达到世界先进水平（基于流处理器并行环境的3G网络视频质量监测系统, 编号20110800SH,上海科学技术情报研究所,2011.6.13）。
适用推广的地区： 无限制。
关键字 ：
对合作单位的基本要求：
有0人咨询过本成果
分享
联系人:
职务:
利用多个GPU构成的并行计算环境，实现对上万个数据流的实时处理问题。主要核心技术： 构建了基于MPI的并行通信系统，该系统由动态缓冲池、动态管道、MPI三者融合实现了大规模数据流处理所需的通信问题； 利用多级聚类，实现多数据流的并行处理，充分发挥了GPU的大规模处理能力； 利用NVIDIA CUDA开发工具实现了H264的视频解码、平滑度、分析、模糊度分析。
