-
马斯克开源Grok-1,3140亿参数迄今最大
当地时间3月17日,特斯拉首席执行官(CEO)马斯克的AI创企xAI正式发布3140亿参数的混合专家模型Grok-1。xAI官方网站称,其遵照Apache 2.0协议开放模型权重和架构。
xAI官方网站截图
据第一财经报道,Grok-1参数量远超OpenAI GPT-3.5的1750亿,是迄今参数量最大的开源大语言模型。
17日,马斯克还在社交平台上发文对OpenAI进行了嘲讽:“告诉我们更多关于OpenAI开放部分的信息。”
2023年11月,xAI官网发布文章,公布了Grok的详细进展。
文章称,Grok是一款仿照《银河系漫游指南》设计的AI,几乎可以回答任何问题,它甚至可以建议要问什么问题。“Grok回答问题时略带机智和叛逆,所以如果你讨厌幽默,请不要使用它”。
xAI官方网站截图
文章介绍说,Grok的一个独特且基本的优势是,它可以通过X平台实时了解世界。它还将回答被其它大多数AI系统拒绝的尖锐问题。
文章指出,Grok仍然是一个非常早期的测试版产品,是“我们在2个月的训练中所能做到的最好产品,期望在您的帮助下每周都能快速改进”。
文章表示,Grok-1的研发经历了四个月。期间,Grok-1经历了多次迭代。“宣布创立xAI后,我们训练了一个330亿参数的LLM原型(Grok-0)。这个早期模型在标准LM测试基准上接近LLaMA 2(70B)的能力,但只使用了一半的训练资源。在过去两个月里,我们在模型的推理和编码能力方面取得了显著进步,Grok-1终于诞生。”
文章称,这是一款功能更为强大的SOTA语言模型,在HumanEval编码任务中达到了63.2%,在MMLU中达到了73%。
为了了解对Grok-1所做的性能改进,xAI使用了一些旨在衡量数学和推理能力的标准机器学习基准,对其进行一系列评估。
在这些基准测试中,Grok-1显示出了强劲的性能,超过了其计算类别中的所有其它模型,包括ChatGPT-3.5和Inflection-1。只有使用大量训练数据和计算资源训练的模型,例如GPT-4,才能超越它。“这展示了我们在高效训练LLM方面取得的快速进展”。
同时,文章也指出,由于这些基准可以在网上找到,并且他们不能排除模型无意中进行了相应的训练。因此,他们在收集完数据集之后,根据去年5月底公布的2023年匈牙利全国高中数学期末考试题,对他们的模型(以及Claude-2和GPT-4模型)进行了人工评分。结果,Grok以C级(59%)通过考试,Claude-2也取得了类似的成绩(55%),而GPT-4则以68%的成绩获得了B级。文章称,他们没有为应对这个考试而特别准备或调整模型。
本文系观察者网独家稿件,未经授权,不得转载。
- 责任编辑: 房佶宜 
-
台湾长荣客机一外籍乘客试图在厕所轻生
2024-03-18 10:37 -
“美国都动用国家力量对付特朗普了,那能叫民主?”
2024-03-18 10:04 俄罗斯之声 -
普京首度回应纳瓦利内之死:美国监狱没死过人吗?
2024-03-18 09:37 俄罗斯之声 -
中企承建,孟加拉国这个石油大工程全面运营
2024-03-18 09:09 一带一路 -
以总理:以军或在几周后进攻加沙南部城市拉法
2024-03-18 07:28 巴以恩仇录 -
俄总统选举选票已统计60.01%,普京得票率为87.26%
2024-03-18 07:07 俄罗斯之声 -
“波音遇到大麻烦了,但怎么解决,仍毫无头绪”
2024-03-17 22:56 航空安全 -
马克龙称将要求俄“奥运停火”,扎哈罗娃:建议向中东冲突各方提出
2024-03-17 20:46 俄罗斯之声 -
岸田文雄向日本国民道歉
2024-03-17 19:56 日本 -
斯里兰卡逮捕21名印度渔民
2024-03-17 19:23 -
“几乎没男人了,人们像狗一样当街被抓去当兵”
2024-03-17 19:10 乌克兰之殇 -
拜登:两个候选人,有一个太老了...
2024-03-17 17:33 美国政治 -
特朗普谈移民:在我看来,某些情况下他们不是人
2024-03-17 16:37 特朗普 -
首次!朝中社这样称呼金正恩女儿
2024-03-17 16:30 朝鲜现状 -
威尔士工党选出新任党魁,“欧洲将产生首位黑人领导人”
2024-03-17 16:04 不列颠 -
他再放话:将对中企在墨西哥生产汽车征收100%关税
2024-03-17 14:58 美国大选 -
马克龙再提派兵,她附和上了
2024-03-17 14:45 乌克兰之殇 -
“美国警告欧盟:若重启对美诉讼,别怪我…”
2024-03-17 14:34 欧洲乱局 -
“我从小就被教育要讨厌中国”
2024-03-17 11:40 -
特朗普:若我败选,对美国是场“大屠杀”
2024-03-17 10:11 美国政治
相关推荐 -
习近平抵达贝尔格莱德,塞空军战机为专机护航 评论 168习近平抵达塔布,马克龙总统夫妇机场迎接 评论 68习近平将抵达塔布,继续对法国进行国事访问 评论 8中法关于中东局势的联合声明 评论 106最新闻 Hot
-
5名中国游客在泰国遭绑架勒索,多名警察涉案
-
美“艾森豪威尔”号航母再入红海:执勤超200天
-
“欧洲战略自主正触底反弹,对华合作能更好认清方向”
-
“我们不是一个无法无天的国家…”
-
美国撤销高通、英特尔对华为出口许可,声称它俩跟中国关系太近
-
TikTok和字节跳动“出手”
-
上汽回应欧盟“警告”:不会提供商业敏感信息
-
配合俄罗斯,白俄罗斯也将突击检查战术核武部队
-
可能引起脑血栓等罕见副作用,这款新冠疫苗全球下架
-
马克龙:不寻求俄罗斯政权更迭
-
今年全球贸易增速将增长1倍以上,“中国和东亚将成主要推动力”
-
以色列国防军控制拉法口岸,多国谴责
-
加州高铁局被群嘲:人类史上最了不起的成就……
-
普京就职演说全文:不会拒绝与西方对话,但选择权在他们手上
-
美学者无语:连中国大蒜都害怕,我们的政府患上了“这种病”
-
华为苹果同日对决,背后还有中韩面板之争
-