在这项工作中，英伟达团队推出了 ChatQA，它是一套在检索增强生成（RAG）和对话式问题解答（QA）方面好过 GPT-4 的模型。

为了提高生成能力，他们提出了一种两阶段指令微调方法，该方法显著提高了 RAG 的性能。为了有效检索，他们提出了针对会话式 QA 优化的密集检索器，其结果可与其他先进的查询重写模型相媲美，同时大大降低了部署成本。他们还介绍了 ChatRAG Bench，其中包括十个数据集，涵盖了对 RAG、表格相关 QA、算术计算和涉及无法回答问题的场景的全面评估。

ChatQA-1.0-70B（得分：54.14）是基于 Llama2（性能比 GPT-4 差的基础模型）构建的，在 ChatRAG Bench 上略微优于 GPT-4-0613（得分：53.90）和 GPT-4-Turbo-2024-04-09 （得分：54.03），而无需依赖 OpenAI GPT 模型的任何合成数据。值得注意的是，Llama3-ChatQA-1.5-70B 模型的准确度超过了 GPT-4-Turbo-2024-04-09，提高了 4.4%。

此外，为了推动这一领域的研究，他们向社区开源了模型权重、指令微调数据、ChatRAG Bench 和 retriever。

论文链接：https://arxiv.org/abs/2401.10225

项目地址：https://chatqa-project.github.io/