厂家：xAI

简介：

Grok-1 有以下特点：

参数: 314B
架构: Mixture of 8 Experts (MoE)
会话专家数: 2 experts used per token
层数: 64
注意事项: 48 for queries, 8 for keys/values
嵌入大小： 6,144
标记化：具有131072个标记的句子片段标记化器
其它功能：
Rotary embeddings (RoPE)
Supports activation sharding and 8-bit quantization
Maximum Sequence Length (context): 8,192 tokens