厂家：英伟达

简介：

VILA是一种视觉语言模型（VLM），使用大规模的交错图像文本数据进行预训练，具有视频理解和多图像理解能力。通过AWQ4比特量化和TinyChat框架，VILA可以部署在边缘。
Vila认为：
（1）图像-文本对是不够的，交错的图像-文本是必不可少的；
（2） 在交错图像-文本预训练期间解冻LLM使得能够进行上下文学习；
（3） 重新混合纯文本指令数据对于提高VLM和纯文本性能至关重要；
（4） 令牌压缩扩展了#视频帧。
因此，VILA推出了吸引人的功能，包括：视频推理、上下文学习、视觉思维链和更好的世界知识。