IT商业新闻-通信网
当前位置: 首页 > 资讯 > 正文

马斯克的XAI大模型Grok-1正式开源

2024-03-19 16:39:17     

  据外媒报道,马斯克领导的人工智能公司xAI当地时间周日在官网宣布,他们的大语言模型Grok-1已正式开源,发布了基本模型的权重和网络架构,有兴趣的用户可通过github.com/xai-org/grok上的指引使用。

  从xAI在官网公布的消息来看,Grok-1是拥有3140亿参数的混合专家模型。在目前已开源的大语言模型中,Grok-1的参数是最多的。

  XAI官网的信息还显示,Grok-1是由他们从头开始训练的模型,此次发布的是预训练阶段结束时的原始基础模型检查点,预训练阶段在去年10月份完成。这也就意味着他们开源的模型,没有进行针对对话等任何具体应用的微调。

  在官网上,xAI披露Grok-1是在大量文本数据上训练的基础模型,是xAI团队使用JAX和Rust编程语言自定义训练栈从零开始训练的成果,权重和架构均依照Apache 2.0开源许可协议发布。

  虽然Grok-1已正式开源,但在开源时间上,还是要晚于马斯克此前所宣布的时间。

  马斯克是上周一,在他所收购的社交媒体上宣布Grok大模型将开源的,当时他公布的开源时间是上周,xAI官网宣布开始发布的时间是周日。而包括美国在内的诸多国家,仍习惯将周日作为一周的开始,止于周六,3月17日是新一周的第一天,这也就意味着Grok-1并未如马斯克此前在社交媒体上所公布的那样,在上周开源。

  不过,按照国际标准化组织在ISO 8601国际标准中给出的日历星期表示方法,每个日历星期是始于周一,止于周日。如果按照这一标准,Grok-1的开源时间仍是在马斯克所说的那一周内。

免责声明: IT商业新闻网遵守行业规则,本站所转载的稿件都标注作者和来源。 IT商业新闻网原创文章,请转载时务必注明文章作者和来源“IT商业新闻网”, 不尊重本站原创的行为将受到IT商业新闻网的追责,转载稿件或作者投稿可能会经编辑修改或者补充, 如有异议可投诉至:post@itxinwen.com
微信公众号:您想你获取IT商业新闻网最新原创内容, 请在微信公众号中搜索“IT商业网”或者搜索微信号:itxinwen,或用扫描左侧微信二维码。 即可添加关注。
标签:

品牌、内容合作请点这里: 寻求合作 ››

相关阅读RELEVANT