Octopus-V2-2B是一个拥有20亿个参数的高级开源语言模型，代表了Nexa AI在应用大型语言模型（LLM）进行函数调用方面的研究突破，专门为Android API量身定制。与检索增强生成（RAG）方法不同，后者需要对潜在的函数参数进行详细描述，有时需要多达数万个输入令牌。Octopus-V2-2B为其训练和推理阶段引入了一种独特的函数令牌策略。这种方法不仅使其能够达到与GPT-4相当的性能水平，而且显著提高了其推理速度，超过了基于RAG的方法，使其对边缘计算设备特别有利。

📱 设备上的应用程序：Octopus-V2-2B设计用于在Android设备上无缝操作，将其实用性扩展到从Android系统管理到多个设备的协调等广泛的应用程序。

🚀 推理速度：当进行基准测试时，Octopus-V2-2B表现出非凡的推理速度，在单个A100 GPU上比“Llama7B+RAG解决方案”的组合高出36X。此外，与依赖于A100/H100 GPU集群的GPT-4-turbo（GPT-4-0125-preview）相比，Octopus-V2-2B的速度快168%。这种效率归功于我们的功能性代币设计。

🐙 准确度：Octopus-V2-2B不仅速度快，而且准确度高，在函数调用准确度上超过“Llama7B+RAG解决方案”31%。它实现了与GPT-4和RAG+GPT-3.5相当的函数调用精度，在基准数据集中的得分在98%到100%之间。

💪 函数调用功能：Octopus-V2-2B能够在各种复杂场景中生成单独、嵌套和并行的函数调用。

论文:https://arxiv.org/abs/2404.01744