AMD首款“小语言模型”Llama-135m发布，具备推测解码能力

9月30日消息，据报道。AMD 近日在 Huggingface 平台发布了其首款“小语言模型”——AMD-Llama-135m。该模型基于 Apache 2.0 开源许可，拥有 6700 亿个 token，并具备推测解码功能。

据报道。推测解码的核心原理是通过小型草稿模型生成候选token，再由较大的目标模型进行验证。此过程在性能不受影响的前提下，每次前向传递可以生成多个token。减少内存（RAM）占用，并提高处理效率。

AMD透露，AMD-Llama-135m在四个AMD Instinct MI250节点上训练了六天，此外还推出了“编程专用版本”——变体AMD-Llama-135m-code，该版本经过额外四天的微调训练，以适应编程任务。