马斯克Grok开源 大模型开源

马斯克Grok开源。
Grok-1是马斯克xAI自2023年7月12日成立以来发布的首个自研大模型。此前马斯克刚刚“怒喷”OpenAI不够“Open”，后脚这就开源了自家的顶级3410亿参数自研大模型Grok-1。
GitHub地址：
https://github.com/xai-org/grok-1?tab=readme-ov-file
目前Grok-1的源权重数据大小大约为300GB，这显然不是个人玩家能用的，这要多大的显卡、内存等硬件。

--

Grok1源码解读

3月17号，马斯克开源了Gork-1，拥有3140亿参数，是目前世界上最大的开源大语言模型。Gork-1是一个在大量文本数据上进行训练的基础模型，没有经过任何微调。推理时25% 的权重被激活，实际激活的参数量是86B，单看这激活的参数量，就已经超过了Llama 2的70B。这个模型是2023年10月在 JAX 和 Rust 的基础上使用定制训练栈从头训练完成。我们做了源码的分析与解读，供大家参考。

从公布的测试数据来看，强于gpt-3.5的。

--

马斯克突然开源 Grok ：3140亿参数，打脸OpenAI，免费可商用，点击下载，安装史上最大模型！