奖项等级：

一等奖

奖项类别：

自然科学奖

主要完成单位：

浙江大学

主要完成人：

庄越挺 吴飞 潘云鹤 杨易 肖俊

媒体语义理解是新一代搜索引擎、 数字内容产业和公共安全等国家重大需求的共性基础。传统媒体语义理解研究一般针对单一类型媒体数据展开研究， 缺乏对不同渠道、 不同平台涌现的不同类型媒体数据进行有效智能处理手段。从1997年起， 经过近20年刻苦研究， 在对单一类型媒体数据深入研究的基础上， 项目组首次提出了"跨媒体"原创性特色理论， 其利用不同类型媒体数据综合表达高层语义这一新思路来解决"异构鸿沟"和"语义鸿沟"科学难点问题。遵循"模态互补、 逐层抽象、 结构约束"思想， 创造性提出了跨媒体语义学习新方法， 形成了完善的跨媒体计算新模型和新方法。主要发现点为：1.结合人脑对视觉运动和听觉音乐等信息的感知机理， 针对视频、 音频和动画等复杂媒体， 创新性提出了无监督聚类视频帧提取、 音乐旋律轮廓和运动索引树等经典特征描述方法及其相似度计算函数。2.在国际上首次提出了不同类型媒体数据关联建模方法， 从本质上揭示了不同类型媒体数据内在本征维度和关联模式， 解决了不同类型媒体数据之间相似度计算这一难题。3.在跨媒体语义理解中创新性提出了 “底层特征、 属性描述和隐性结构” 逐层抽象和结构约束的学习新方法， 揭示了底层特征共享和稀疏判别选择等认知机理， 拓展了机器学习算法处理不同类型数据的体系。4.开辟了不同类型媒体数据交叉检索的新方向， 突破了传统单纯针对单一类型媒体数据检索方法的局限性， 为此创新性提出了跨媒体哈希索引、 排序和相关反馈等新思想。