据 Arxiv 网站，Meta 近日发表论文，介绍旗下自研的混合模态基座模型 Chameleon。

Meta 表示，Chameleon 有助于生成交错的文本和图像序列并进行推理，从而实现全面的多模式文档建模。与传统模型不同，Chameleon 采用了统一的Transformer 架构，通过对图像进行类似文本的标记化处理（tokenization），将两种模态合二为一。

这种方法称为早期融合，可以实现跨模态的无缝推理，但也带来了优化方面的挑战。为了解决这些问题，研究人员提出了架构改进和训练技术。通过调整转换器架构和微调策略来解决这些问题。

论文地址：https://arxiv.org/pdf/2405.09818

不过，目前Chameleon模型支持生成的模态，主要是图像文本，缺少了GPT-4o中的语音能力。但据 Meta 的产品总监表示，也许用不了多久，我们就可以得到一个开源版的GPT-4o了。