微软将推出自研 5000 亿个参数的大模型：MAI-1，领先AI技术发展趋势

2024 年 5 月 7 日，《The Information》报道，微软正在开发一个拥有大约 5000 亿个参数的大语言模型（LLM）。

这标志着微软自从往 OpenAI 投资逾 100 亿美元，以便可以重复使用这家初创公司的 AI 模型以来，首次自行开发这等规模的 AI 模型。

该 LLM 在微软内部被称为 MAI-1，预计最早将于本月首次亮相。

OpenAI 在 2020 年年中推出 GPT-3 时，详细说明该模型的初始版本有 1750 亿个参数。该公司透露，GPT-4 更庞大，拥有更多的参数，但尚未透露具体数字。

一些报道显示，OpenAI 的旗舰 LLM 拥有 1.76 万亿个参数，而谷歌的 Gemini Ultra 据称拥有 1.6 万亿个参数，性能与 GPT-4 旗鼓相当。

微软的 MAI-1 拥有 5000 亿个参数，这表明它可能被定位为介于 GPT-3 和 GPT-4 之间的某种中档模型。这样的配置将允许模型提供高响应准确度，但耗用的功率比 OpenAI 的旗舰 LLM 低得多。言外之意，这将为微软带来更低的推理成本。

开发 MAI-1 的工作由 LLM 开发商 Inflection AI Inc.的创始人 Mustafa Suleyman 监管。

Mustafa Suleyman

今年 3 月，通过一笔价值 6.25 亿美元的交易，Suleyman 和这家初创公司的大多数员工一起加入了微软。这位高管早些时候与他人共同创立了谷歌的DeepMind AI 研究部门。

微软可能使用 Inflection AI 的训练数据及另外某些资产来驱动 MAI-1。

据称，该模型的训练数据集还包含多种类型的信息，包括 GPT-4 和互联网内容生成的文本。

为《The Information》提供信源的知情人士表示，微软尚未决定它将如何使用 MAI-1。如果这个模型确实拥有 5000 亿个参数，那么它太过复杂了，无法在消费级设备上运行。这意味着微软很可能会将 MAI-1 部署在其数据中心，那样 LLM 可以集成到必应和 Azure 之类的服务中。

据信，微软可能会在 5 月 16 日召开的 Build 开发者大会上展示MAI-1，如果到时候该模型的表现足够令人满意的话。这暗示该公司预计会在几周内推出该模型的工作原型（如果目前还没有工作原型的话）。

就在不到两周前，微软刚刚开源了一种名为 Pi-3 Mini 的语言模型。据微软声称，这种模型仅拥有 38 亿个参数，但性能却比参数多 10 倍的 LLM 更胜一筹。Pi-3 是一个 AI 系列的一部分，该系列还包括另外两个更庞大的、性能略胜一筹的神经网络。

开发 MAI-1表明微软内部对 AI采取了双管齐下的做法，既关注面向移动设备的本地运行的小型语言模型。也关注由云支持的大型先进模型。据报道，苹果也在探索类似的做法。这也凸显了微软不依赖OpenAI 探索 AI 开发的意愿，OpenAI的技术目前支持微软最雄心勃勃的生成式 AI 功能，包括嵌入到 Windows 中的聊天机器人。