3月24日晚，DeepSeek发布了模型更新——DeepSeek-V3-0324。本次更新为DeepSeek V3模型的版别更新，并非商场此前一向等待的DeepSeek-V4或R2。现在，其开源版别已上线Hugging Face。据悉，其开源版别模型体积为6850亿参数。

  同日，DeepSeek在其官方沟通群宣告称，DeepSeek V3模型已完结小版别晋级，欢迎前往官方网页、App、小程序试用体会（封闭深度考虑），API接口和运用办法坚持不变。

  此前于2024年12月发布的DeepSeek-V3模型曾以“557.6万美金比肩Claude 3.5作用”的超高的性价比著称，其多项评测成果逾越了Qwen2.5-72B和Llama-3.1-405B等其他开源模型，并在功能上和国际顶尖的闭源模型GPT-4o以及Claude-3.5-Sonnet不分伯仲。但到现在，还没有一点关于新版DeepSeek-V3的才能基准测验榜单呈现。

  这以后，DeepSeek于2025年1月发布了功能比肩OpenAI o1正式版的DeepSeek-R1模型，该模型在后练习阶段大规模运用了强化学习技能，在仅有很少标示数据的情况下，极大提高了模型推理才能。

  V3是一个具有6710亿参数的专家混合模型（Moe），其间370亿参数处于激活状态。

  在传统的大模型中，通常会选用密布的神经网络结构，模型需要对每一个输入token都会被激活并参加核算，会消耗很多算力。

  此外，传统的混合专家模型中，不平衡的专家负载是一个很大难题。当负载不均衡时，会引发路由溃散现象，这就比如交通拥堵时路途瘫痪相同，数据在模型中的传递遭到阻止，导致核算功率大幅下降。

  为了处理这一个问题，惯例的做法是依靠辅佐丢失来平衡负载。但是，这种办法存在一个坏处，那就是辅佐丢失一旦设置过大，就会对模型功能发生负面影响，就像为了疏通交通而设置过多约束，却影响了全体的通行功率。

  DeepSeek对V3进行了斗胆立异，提出了辅佐丢失免费的负载均衡战略，引进“误差项”。在模型练习过程中，每个专家都被赋予了一个误差项，它会被添加到相应的亲和力分数上，以此来决议top-K路由。

  此外，V3还选用了节点受限的路由机制，以约束通讯本钱。在大规模分布式练习中，跨节点的通讯开支是一个重要的功能瓶颈。经过保证每个输入最多只能被发送到预设数量的节点上，V3可以明显削减跨节点通讯的流量，来提高练习功率。