阿里达摩院开源Video-LLaMA 帮大语言模型加上“眼睛”“耳朵”

阿里达摩院的研究人员提出了Video-LLaMA，一个具有综合视听能力大模型。Video-LLaMA能够感知和理解视频中的视频和音频信号，并能理解用户输入的指令，完成一系列基于音视频的复杂任务，例如音/视频描述，写作，问答等。目前论文，代码，交互demo都已开放。另外，在Video-LLaMA的项目主页中，该研究团队还提供了中文版本的模型，让中文用户的体验更好。（科创板日报）