免责声明:78财经所有资讯仅代表作者个人观点,不构成任何投资理财建议。
主页 > 全部资讯 > 财经新闻 > DeepSeek发布FlashMLA代码库 加速大语言模型推理

DeepSeek发布FlashMLA代码库 加速大语言模型推理

时间:2025-02-25 来源: 作者:78小编

2月24日,DeepSeek启动“开源周”,发布了首个代码库FlashMLA。这个代码库是针对Hopper GPU优化的高效MLA解码内核,专为处理可变长度序列设计,现已投入生产使用。在H800 GPU上,FlashMLA能实现3000 GB/s的内存带宽和580 TFLOPS的计算性能。

DeepSeek发布FlashMLA代码库 加速大语言模型推理

简单来说,FlashMLA能让大语言模型在GPU上运行更快、更高效,特别适用于高性能AI任务。它加速了大语言模型的解码过程,提高了响应速度和吞吐量,对实时生成任务如聊天机器人和文本生成尤为重要。MLA是一种改进的注意力机制,通过多个头并行计算,让模型更好地捕捉长距离依赖关系和复杂语义结构。

此前有分析称,MLA通过对KV缓存的有损压缩提高存储效率,首次在DeepSeek-V2中引入,目前是开源模型中减小KV缓存的最佳方法。DeepSeek表示,这一代码像给AI推理引擎装上了“涡轮增压器”,不仅提升了处理速度,还降低了技术门槛,打破了算力垄断,推动AI普及。

具体来说,FlashMLA通过动态调度和内存优化,充分利用Hopper GPU的算力,减少了资源浪费。这意味着企业可以用更少的服务器完成同样任务,直接降低成本。此外,FlashMLA支持动态处理变长输入,让AI应用响应更快、用户体验更好,加速商业化落地。以前高效解码内核多由科技巨头闭源垄断,现在开发者可以免费获得工业级优化方案,促进更多创新应用的诞生。

有网友在DeepSeek的帖子下留言称:“鲸鱼正在掀起波浪!”还有人希望DeepSeek开源网页搜索相关代码,并称赞其为真正的开放人工智能。上周2月21日,DeepSeek宣布将陆续开源五个代码库,以完全透明的方式分享进展。这些代码已在生产环境中经过实战检验。DeepSeek自称为探索AGI的小公司,每分享一行代码都会成为加速AI行业发展的集体动力。没有高不可攀的象牙塔,只有纯粹的车库文化和社区驱动的创新。

相关阅读
DeepSeek发布FlashMLA代码库 加速大语言模型推理 刚刚发布

DeepSeek推出针对Hopper GPU优化的FlashMLA代码库,大幅提升大语言模型的解码速度和效率,降低技术门槛。

央行逆回购操作2925亿元 股市震荡 刚刚发布

央行进行2925亿元逆回购操作,中标利率1.50%。A股三大指数震荡,农业和低空经济概念股表现抢眼。

盛通股份股价异动 与宇树科技合作影响有限 1分钟前发布

盛通股份股价连续四个交易日涨停,公司称与宇树科技的合作对业绩影响很小,提醒投资者注意风险。

阿里未来三年将投入超3800亿建AI基础设施 1分钟前发布

阿里巴巴宣布未来三年将投入超过3800亿元用于云和AI硬件基础设施建设,总额超过过去十年总和,创下中国民企纪录。

高盛看好中国股市 A股有望反弹 2分钟前发布

高盛最新研报显示,人工智能驱动和流动性支持下,A股未来三个月内有望反弹,估值优势和政策预期支撑市场表现。

安克创新去年奖金分红达8亿 494人年收入超百万 4分钟前发布

安克创新2022年奖金分红达8亿元,494名员工年收入超过百万元,公司预计2025年分红将超10亿元。

DeepSeek大模型助力智慧政府建设 5分钟前发布

多地政府接入DeepSeek大模型,提升政务效率和服务精准度,推动智能化治理。

尼龙材料助力家用机器人发展 6分钟前发布

挪威1X公司发布家用机器人Neo Gamma,采用尼龙材质提升安全性,多家机构看好尼龙在机器人领域的应用前景。

虚假信息污染AI模型引发市场操纵担忧 6分钟前发布

多家公司被错误列为投资方,虚假信息通过AI模型传播,可能构成新型市场操纵,监管部门将严厉打击。

多地土地市场回暖 高溢价地块频现 6分钟前发布

上海、杭州等地接连出现高溢价地块成交,全国房价跌幅收窄,二线城市新房价格环比上涨。

姚振华再增36.7亿被执行金额 8分钟前发布

姚振华新增一笔36.7亿元的被执行人信息,总被执行金额已达489亿元。宝能系因资金链问题,多个资产被拍卖处置。

美股尾盘跳水 英伟达市值缩水超千亿美元 8分钟前发布

美股三大指数尾盘下跌,纳斯达克指数跌超1%,英伟达市值缩水1016亿美元,三合智能逆势大涨159.55%。

万达商管高层变动 张春远接任总裁 9分钟前发布

大连万达商业管理集团宣布,张春远接替因个人原因辞职的张霖担任总裁,这是五年内第三位老臣离开。

上海GDC 2025展现AI产业强劲势头 10分钟前发布

2025年上海全球开发者先锋大会展示AI产业链潜力,吸引众多观众和投资机构,多家独角兽企业崛起,推动上海成为国际AI竞争的重要力量。

A股市场震荡调整 成交额缩量 14小时前发布

周一A股三大指数小幅下跌,成交额缩至2.08万亿,农业、机场航空等板块领涨。

Copyright © 2021-2022 78Game. All rights reserved. 闽ICP备2024058879号-7