北大腾讯打造多模态15边形战士!语言作“纽带”,拳打脚踢各模态,超越Imagebind 北大联合腾讯打造了一个多模态15边形战士!以语言为中心,“拳打脚踢”视频、音频、深度、红外理解等各模态。具体来说,研究人员提出了一个叫做LanguageBind的多模态预训练框架。用语言作为与其它模态之间的纽带,冻结语言编码器,然后用对比学习方法,将各个模态映射到一个共享的特征空间, 2023-11-15 10:39