字节豆包团队推出稀疏模型架构UltraMem：推理成本可降83%

根据德国媒体《踢球者》的报道，8月份受伤的斯塔尼希奇最快有望在11月底复出。现年24岁的斯塔尼希奇今夏结束在勒沃库森的租借回到了拜仁，不过赛季刚开始这位克罗地亚国脚就遭遇了右膝外侧韧带撕裂，并因此接受了手术。

2月13日消息，据报道，豆包大模型Found ion团队近日宣布了一项重要创新成果UltraMem。

这一架构通过将计算和参数解耦，在保证模型效果的同时，有效 了推理过程中的访存问题，为人工智能领域带来了新的突破。

据了解，UltraMem架构巧妙地将计算与参数分离，不仅确保了模型的卓越性能，更针对推理过程中的访存瓶颈提出了革命性 方案。

这一设计直击要害，有效应对了混合专家（MoE）模型在推理阶段长期遭遇的高访存成本挑战，该挑战以往极大地限制了MoE模型的广泛应用。

得益于其独到的架构设计，UltraMem显著提升了推理速度，相较于传统MoE架构，提升幅度惊人地达到了2至6倍。更令人振奋的是，该架构还实现了推理成本的大幅度削减，最高降幅可达83%。

实验数据彰显了UltraMem架构的强大实力：在训练规模达到2000万value的条件下，在同等级别的计算资源上，展现了业界顶尖的推理速度和性能表现。这一突破为构建规模达到数十亿value或expert的模型铺平了道路，预示着人工智能领域将迎来更加 、经济的新发展模式。