超聚变FusionOne AI单机跑满血DeepSeek,吞吐性能飙升60%

软硬协同调优,打破 H20 性能天花板

如今,人工智能发展迅猛,大模型更是成为推动AI技术进步的“引擎”。然而,随着模型参数量的激增,算力需求也呈指数级增长,如何高效、低成本地运行大模型成为行业面临的共同挑战。

以DeepSeek R1满血大模型为例,其参数量高达6710亿,由于其采用了前沿的MLA注意力机制、共享专家和路由专家共同组成的混合专家(MoE)架构,在提升推理效能方面成果显著,但是企业在实际应用过程中,对大模型的性价比有着更为极致的追求。

近日,超聚变FusionOne AI大模型一体机通过软硬协同,深度调优,成功打破了H20运行DeepSeek满血大模型的性能天花板。在模拟问题对话场景(上下文序列长度1K/1K)下,仅需1台FusionServer G8600搭载8张H20硬件,即可流畅运行DeepSeek R1满血版,支持1024并发访问数,总吞吐量高达6335 token/s,性能领先业内H20方案60%。其中,TPOT(Time per Output Token)时延相比业内H20方案减少40%,单台FusionOne AI大模型一体机即可支撑数千人规模企业使用,将单机H20运行大模型的性能推向新高度。

超聚变FusionOne AI单机跑满血DeepSeek,吞吐性能飙升60%

软硬协同调优,打破 H20 性能天花板

  • 算力释放,显存最优分配:通过内核优化,提升显存空间利用率20%,KV cache池使用率提升至93%,保障模型参数、过程KV高效运行
  • 数据、模型并行调度:通过DP数据并行、TP模型张量并行技术,调度多卡分布式并行计算,提升token产生的吞吐效率50%,有效提升计算效能
  • 推理任务切片混合调度:Prefill阶段(首token输出阶段任务)长文本切片, 加速初始内容生成速度,同时在每个切片计算过程中,混合调度Decode任务(后续token迭代生成任务)并行运行, 无需串行等待,提高资源利用率,降低TTFT(Time to First Token)和TPOT(Time per Output Token )。

超聚变FusionOne AI大模型一体机以极致成本、性能跃升的双重突破,大幅降低DeepSeek-R1 671B模型的部署门槛,以普惠形态让更多企业和科研机构能够轻松应用。未来,超聚变将持续加大研发投入,聚焦AI算力优化与应用拓展,加速企业AI应用落地。

*本文图片均来源于网络

仅代表个人观点,未经授权,任何人不得以任何方式使用,包括转载、摘编、复制或建立镜像。

部分图片来自网络,且未核实版权归属,不作为商业用途,如有侵犯,请作者与我们联系。

•AI产业新媒体;

•澎湃新闻科技榜单月度top5;

•文章长期“霸占”钛媒体热门文章排行榜TOP10;

•著有《人工智能 十万个为什么》

•【重点关注领域】智能家电(含白电、黑电、智能手机、无人机等AIoT设备)、智能驾驶、AI+医疗、机器人、物联网、AI+金融、AI+教育、AR/VR、云计算、开发者以及背后的芯片、算法等。

本文来自投稿,不代表创造权威IP 赋能创业者——IP百创立场,如若转载,请注明出处:创造权威IP 赋能创业者——IP百创

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年3月24日 下午6:39
下一篇 2025年3月24日

相关推荐

  • 松绑烟花禁燃令,把烟火还给人间

    导读:烟花是国人关于天人思考的最灿烂花朵与结晶。烟花爆竹所蕴含的哲学思想、人文精神、价值理念等,涵养出中华民族的文化精神、文化胸怀。这些,恰恰是我们不断坚定文化自信的根源所在。 火树银花合,星桥铁锁开。 唐朝大诗人苏味道这两句诗,我们可以分析出很多东西,既有烟花的绚烂,也呈现了政府的态度与作为:大开城门,取消宵禁。 这与今天各地禁放烟花,或者羞答答的限区域燃…

    2024年2月8日
  • 单依纯的《珠玉》破圈,《歌手2025》刷出“新王诞生”副本?

    作者 | 赤木瓶子 编辑 | Mia 《歌手2024》的开篇以“老将守国门”带动民族情绪,《歌手2025》却用“新王诞生”叙事为自己开了个难度副本。 即便单依纯此前已多次出现在各大音综上,拿下好声音总冠军、在《天赐的声音》《说唱听我的》《我们的歌》第诸多音综亮相,但获得#00后那英、#神似王菲等网络评价,仅仅是在《歌手2025》播出了一期之后。 这一方面源于…

    文娱 2025年5月21日
  • 从3000赞到7亿播放,这档“没底”的综艺怎么就杀疯了?|专访

    作者| 赤木瓶子 当一档行至第五季的短综决定“向短”,从主创到平台无一不是“没底儿”的。 《闪亮的日子》第五季首期在抖音上线半个小时后,前期负责人赵文文忐忑一看,3000赞,“也不知道算高还是低”。10000赞了,总导演“绿头鱼”已经开始思考,“是短视频用户不喜欢吗”? 第二周的复盘会上,这些忐忑和没底,迅速被平台“超出预期”的定调取代。在那之后的每次复盘会…

    2025年6月22日
  • 《小丑2》的导演才是真正的Joker

    富有行为艺术气质的奥利给

  • 张兰汪小菲封号事件后,麻六记能否走出“流量困境”?

    作者| 吴玖玖 编辑| 赤木瓶子 2025年2月,张兰、汪小菲的抖音账号被无限期封禁。 抖音官方指出,此次封禁事件的导火索是账号利用徐熙媛(大S)逝世一事进行恶意炒作,发布不实信息,违背公序良俗和道德底线。其中,“我是夏小健”等利用逝者进行炒作的账号,同样被封禁处理。 此外,微博平台宣布暂停张兰微博账号的直播功能。 麻六记的销售与张兰母子深度绑定,如今的账号…

    文娱 2025年2月10日

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

联系我们

邮件:939297903@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信