DeepSeek揭秘如何突破软硬件瓶颈|科创要闻
人工智能军备竞赛在国内外持续迭代演进。揭秘OpenAI、何突谷歌、破软瓶颈微软、硬件阿里巴巴等不断推出新应用,科创MCP协议、揭秘AI编程、何突具身智能机器人、破软瓶颈芯片自研等场景多样拓展。硬件自从年初引起全球震动并激发诸多领域AI变革以来,科创DeepSeek的揭秘一举一动都备受关注,但其最新R2模型千呼万唤仍未推出。何突
5月14日,破软瓶颈DeepSeek团队发表最新论文,硬件解释其DeepSeek-V3模型在硬件架构和模型设计方面的科创关键创新,公开大规模训练和推理的降本秘诀,令人瞩目的效率突破是如何做到的,又给业内很大启发。
这篇发表在arXiv平台的论文Insights into DeepSeek-V3:Scaling Challenges and Reflections on Hardware for AI Architectures,DeepSeek创始人兼CEO梁文锋出现在合著名单中。
相较此前的DeepSeek-V3技术报告,本篇论文的重点不在算法,而是从硬件架构和模型设计双重视角出发,探讨了硬件和模型两者如何相互配合,以实现低成本的大规模训练和推理,主要涵盖五方面内容,包括DeepSeek模型的设计原则、低精度驱动设计、以互联为驱动的设计、大规模网络驱动设计、面向未来的硬件架构设计。
论文重点介绍了多头潜在注意力(MLA)以提高内存效率、混合专家(MoE)架构以优化计算与通信权衡、FP8混合精度训练以充分发挥硬件潜力,以及多平面网络拓扑以最小化集群级网络开销等关键创新,还为未来AI硬件与模型协同设计提出了建议。
大模型的迅猛扩张暴露了硬件的架构瓶颈:内存容量不足、计算效率低下、互连带宽受限等。DeepSeek研究团队通过基础设施与算法团队的深度合作,开发了一个适用于MoE模型的FP8混合精度训练框架。在混合精度训练中,模型的权重和激活值可以使用FP8进行计算,而关键的梯度计算和优化步骤则使用更高的精度(如FP32)来保证训练的稳定性,从而在不损失模型性能的前提下,充分发挥硬件的计算能力,加速训练过程,降低训练成本和内存占用。
论文披露了对通信架构的重构。DeepSeek提出多平面双层胖树网络(MPFT),将传统三层网络拓扑压缩为两层,通过8个独立网络平面实现流量隔离和成本下降。这是DeepSeek首次披露超大规模集群的网络优化方案。
他们还提出了未来硬件架构设计的前瞻性方
- ·XGP四月下旬阵容公布!《Kiln》《远日点》等新作入库
- ·当割草机器人遇见世界杯:MOVA打造了一场庭院足球挑战赛
- ·绿色建筑新宠“Low
- ·颁奖台上直接动手 《反恐精英》选手因袭击对手被禁赛10年
- ·胭脂山社区关工委暖心“护苗”助成长_
- ·中国机器人大脑引爆海外,蚂蚁灵波全栈2.0模型定义具身智能“新大脑”
- ·赛场夺金,场外“护航”_
- ·魔怪大咖强化维生素C果味饮料,何以分食国内千亿功能饮料市场?
- ·短信下单,农资送上门_
- ·乳酸菌加果汁打破传统,初饮复合乳酸菌果汁引发饮料市场大震动!
- ·《尼尔》系列15周年PV温情回顾 玩家最期待的新作依旧成谜
- ·可不可以只买重疾险?买保险只买重疾险可以吗?
- ·世界冠军爆冷出局 国乒女双无缘欧洲大满贯半决赛
- ·索尼称玩家不拥有数字游戏 消权组织盘点其过往反例
- ·支付宝发布AIS开发套件:让Agent自动发现、调用、计费
- ·好评不断,市场新宠!三大优势,助力天惠奶啤畅销市场!
