免责声明:78财经所有资讯仅代表作者个人观点,不构成任何投资理财建议。
主页 > 全部资讯 > 财经新闻 > 马斯克用行动反击 开源自家顶级大模型

马斯克用行动反击 开源自家顶级大模型

时间:2024-03-18 来源:未知 作者:Gushan

似乎是为了表明自己始终坚持对AI模型开源,马斯克做出了与阿尔特曼全然不同的选择。3月17日,马斯克宣布开源Grok-1,这使得Grok-1成为当前参数量最大的开源大语言模型,拥有3140亿参数,远超OpenAI GPT-3.5的1750亿。有意思的是,Grok-1宣布开源的封面图为Midjourney生成,可谓“AI helps AI”。 一直吐槽OpenAI不open的马斯克,自然要在社交平台上含沙射影一番,“我们想了解更多OpenAI的开放部分。”

马斯克用行动反击 开源自家顶级大模型

Grok-1遵照Apache 2.0协议开放模型权重和架构。这意味着它允许用户自由地使用、修改和分发软件,无论是个人还是商业用途。这种开放性鼓励了更广泛的研究和应用开发。项目发布至今,已经在GitHub上揽获6.5k星标,热度还在持续增加。项目说明中明确强调,由于Grok-1是一个规模较大(314B参数)的模型,需要有足够GPU内存的机器才能使用示例代码测试模型。网友表示这可能需要一台拥有628 GB GPU内存的机器。

此外,该存储库中MoE层的实现效率并不高,之所以选择该实现是为了避免需要自定义内核来验证模型的正确性。目前已开源的热门大模型包括Meta的Llama2、法国的Mistral等。通常来说,发布开源模型有助于社区展开大规模的测试和反馈,意味着模型本身的迭代速度也能加快。

Grok-1是一个混合专家(Mixture-of-Experts,MOE)大模型,由马斯克旗下的AI创企xAI在过去4个月里开发。回顾该模型的开发历程: 在宣布成立xAI之后,相关研究人员首先训练了一个330亿参数的原型语言模型(Grok-0),这个模型在标准语言模型测试基准上接近LLaMA2(70B)的能力,但使用了更少的训练资源;之后,研究人员对模型的推理和编码能力进行了重大改进,最终开发出了Grok-1并于2023年11月发布,这是一款功能更为强大的SOTA语言模型,在HumanEval编码任务中达到了63.2%的成绩,在MMLU中达到了73%,超过了其计算类中的所有其他模型,包括ChatGPT-3.5和Inflection-1。

与其他大模型相比,Grok-1的优势在哪呢?

xAI特别强调,Grok-1是他们自己从头训练的大模型,即从2023年10月开始使用自定义训练堆栈在JAX和Rust上训练,没有针对特定任务(如对话)进行微调;Grok-1的一个独特而基本的优势是,它可以通过X平台实时了解世界,这使得它能够回答被大多数其他AI系统拒绝的辛辣问题。Grok-1发布版本所使用的训练数据来自截至2023年第三季度的互联网数据和xAI的AI训练师提供的数据;

3140亿参数的Mixture-of-Experts模型,其对于每个token,活跃权重比例为25%,这一庞大的参数量为其提供了强大的语言理解和生成能力。xAI此前介绍,Grok-1将作为Grok背后的引擎,用于自然语言处理任务,包括问答、信息检索、创意写作和编码辅助。未来,长上下文的理解与检索、多模态能力都是该模型将会探索的方向之一。

相关阅读
4月8日黄金股ETF复牌跌停!紧急提醒 6分钟前发布

伴随着国际金价节节攀升,黄金类ETF成为全市场的焦点。部分黄金ETF的大起大落也受到市场关注。在放宽一级市场申购额度之后,黄金股ETF4月8日10点30分复牌跌停。该ETF节前曾连续3个交易日涨停,溢价率一度高达30%,尽管目前处于跌停状态,溢价率仍超过12%。受金价飙升刺激,场内资金持续流入黄金类ETF。据银行证券基金研究中心数据统计,截至4月3日,全市场黄金ETF已经连续三周净流入,合计净流入金额超过55亿元。

阿里云海外市场全线降价 平均降幅23% 11分钟前发布

4月8日,继一个月前中国区全线降价后,阿里云开始卷到海外:海外市场全线降价,覆盖全球13个地域节点部署的核心云产品、500多个产品规格,平均降幅23%,最高降幅59%。降价后,阿里云海外市场云产品价格全面低于其他国际主流云厂商。

金价继续暴涨!每克逼近730元 黄金股现涨停潮! 15分钟前发布

8日早盘,沪指盘中震荡上扬,临近午盘翻绿;深成指、创业板指走低,北证50指数跌超2%;北向资金半日净卖出近30亿元。截至午间收盘,沪指跌0.17%报3063.95点,深成指跌0.75%,创业板指跌0.96%,科创50指数跌1.24%,北证50指数跌2.41%;两市合计成交6007亿元,北向资金净卖出29.67亿元。

4月8日消息称理想新offer全部暂定审批 19分钟前发布

尽管在社交媒体上低调了很多,但关于李想和理想汽车的传闻却始终热度不减。“目前公司状态是新offer全部暂定审批,17岗以上会有少量股票,但可能与绩效等考评等级挂钩,低绩效无法套现。”一位自称理想汽车内部人员近日在某论坛上爆料称,公司全部预算缩减30%以上。

“白银帝国”正接过王冠!现货白银升穿28美元 23分钟前发布

对于贵金属市场的投资者而言,黄金或许并非他们眼下唯一、也并不是最好的选择——因为白银近来闪耀的星光,甚至要比黄金更为“夺目”……行情数据显示,现货白银价格日内早间一度升穿28美元/盎司关口,刷新了近三年来的最高位。而在国内市场,银价走势甚至要更为疯狂——沪银日内高开高走,开盘后不久便一路直接封死了7%的涨停位。

2024年4月8日股市收评:全市场超4500股下跌,周期股持续走强 26分钟前发布

4月8日讯,市场全天震荡调整,三大指数均收跌,创业板指领跌。盘面上,周期股继续逆势活跃,其中黄金股领涨,莱绅通灵、金贵银业、西部黄金、中润资源涨停;电力股集体走强,华银电力、深南电A、闽东电力、西昌电力等涨停。智能驾驶概念股一度冲高,豪恩汽电、兴民智通、路畅科技、瑞玛精密等涨停。食品股午后异动,惠发食品、海欣食品涨停。下跌方面,光伏概念股陷入调整,江苏华辰等多股跌超5%。总体上个股跌多涨少,全市场超4500只个股下跌,逾80股跌超9%。沪深两市今日成交额9314亿,较上个交易

2024年4月目前超4000应用加入鸿蒙生态 23小时前发布

记者获悉,目前已有超4000个应用加入鸿蒙生态。华为2024年的目标打造5000个“纯血”鸿蒙原生应用。最终实现50万个原生应用。今年四季度,HarmonyOS NEXT鸿蒙星河版面向消费者的商用版本将发布。伴随着4月P70手机发布、华为分析师大会的召开,以及年中鸿蒙星河Beta版可能发布,鸿蒙产业有望迎来新一轮催化。

华为门店接受P70盲订?4月将启动“先锋计划”线上开卖 23小时前发布

近日,华为部分线下门店接受P70盲订的消息冲上热搜。南都·湾财社记者从一名参与盲订的消费者侧面了解到,参与盲订没有订单凭证,而是直接在门店销售人员处排队。“销售嘴很严,问啥都是以官方信息为准。”

2024年恒大汽车突发消息 纽顿集团不投了! 1天前发布

清明假期,恒大汽车发布公告,公司此前拟议的交易及债转股的条款修订尚未取得任何进一步进展。根据此前的公告,纽顿集团向恒大汽车实施战略投资约5亿美元,并提供6亿元人民币过渡资金;债转股协议则是指,恒大集团、许家印等债权人通过认购恒大汽车新股份抵消恒大汽车结欠的208.95亿港元债务。

滴滴入局!25年量产 推出首款商业化L4车型 1天前发布

4月7日,广汽埃安与滴滴自动驾驶宣布合资公司——广州安滴科技有限公司获批工商执照。两大巨头强强联合,拟斥资4.2亿元剑指Robotaxi(无人驾驶出租车)领域,发力B端打通L4规模化商业闭环。据悉,首款车型已完成产品定义,正在进行设计造型的联合评审,计划2025年实现量产。

2024年存款利率又降了!多家银行已官宣“降息” 1天前发布

日前,又有多家银行“降息”。来自河南、陕西、山西、云南等地的中小银行密集发布公告,宣布下调定期存款执行利率。据不完全统计,存款利率下调幅度从5个基点至45个基点不等。

2024年华为将于4月11日在鸿蒙春季沟通会上发布车和PC类产品 1天前发布

随着华为P70的发布时间靠近,外界持续关注P70的相关动态。此次华为P70的关注度,无论是其“未发先火”冲上热搜,还是在资本市场引发相关概念股的异动,均说明这款新机的高关注度。华为将于4月11日举办鸿蒙春季沟通会,届时将发布车和PC类相关产品,但官方并未透露是否会在会上发布外界关心的P70以及智界。

“AI手机”搅动一池秋水 销售市场反响平平 1天前发布

智能终端加速拥抱AI,一直被诟病创新乏力的智能手机,迎来了难得的炒作题材。新年伊始,魅族宣布“all in AI”,而后发布的智能手机新品无不贴上“AI”,以此作为最大卖点。更有研究报告惊呼,AI手机已经“改变手机形态”,智能手机市场即将迎来“拐点”,并对2024年的市场行情给予颇高的期待。

2024年4月3日收评:沪指跌0.18% 黄金股、有色股延续强势表现 5天前发布

4月3日最新消息,沪深两市主要股指3日早间低开,各股指盘初震荡下行,盘中有所反弹,午后窄幅整理,收盘时普遍下跌,创业板指数和科创50指数跌幅相对较大。盘面来看,黄金和有色板块在高开后震荡上行,煤炭板块显著回暖,农林牧渔和石油板块延续近期升势;3月份的热门板块继续调整,Sora概念、飞行汽车等跌幅靠前。

澄清低空经济业务 9连板牛股华生科技跌停! 5天前发布

澄清低空经济概念,华生科技股价跌停周期股崛起,前期热炒的科技类题材陷入调整。飞行汽车、铜缆高速连接、Sora概念、小米汽车、低空经济等题材早盘跌幅靠前。因低空经济题材大热的华生科技,今日早盘低开后被封住跌停板。3月21日至4月2日的9个交易日内,该股均录得涨停板。

Copyright © 2021-2022 78Game. All rights reserved. 鄂ICP备16015848号-9