住宅风格如何选择 DeepSeek一天能赚若干钱？官方瞬息揭秘！潞晨科技暂停DeepSeek API管事
一谈蔼然一下对于DeepSeek的最新音信！
DeepSeek初度表现：表面本钱利润率545%
当市集合计DeepSeek的开源周内容发布完了之后，3月1日，DeepSeek文告了“One More Thing”，瞬息揭秘V3/R1推理系統，公开了大边界部署本钱和收益。
字据《DeepSeek-V3/R1推理系统概览》的著述，假设GPU租借本钱为2好意思元/小时，总本钱为87072好意思元/天；要是整个tokens全部按照DeepSeek R1的订价筹划，表面上一天的总收入为562027好意思元/天，本钱利润率为545%。
据官方表现，DeepSeek-V3/R1推理系统的优化认识是：更大的朦拢，更低的蔓延。
为了收尾这两个认识，DeepSeek使用大边界跨节点众人并行（Expert Parallelism / EP）。领先EP使得batch size大大加多，从而普及GPU矩阵乘法的效能，普及朦拢。其次EP使得众人辩认在不同的GPU上，每个 GPU 只需要筹划很少的众人（因此更少的访存需求），从而裁汰蔓延。
但EP同期也加多了系统的复杂性。复杂性主要体咫尺两个方面：
EP引入跨节点的传输。为了优化朦拢，需要联想适合的筹划历程使得传输和筹划不错同步进行。
EP波及多个节点，因此自然需要Data Parallelism（DP），不同的DP之间需要进行负载平衡。
因此，DeepSeek先容了何如使用EP增大batch size，何如瞒盛传输的耗时，何如进行负载平衡。
大边界跨节点众人并行（Expert Parallelism / EP）
由于DeepSeek-V3/R1的众人数目繁密，何况每层256个众人中仅激活其中8个。模子的高度稀少性决定了必须遴荐很大的overall batch size，才能给每个众人提供富有的expert batch size，从而收尾更大的朦拢、更低的延时。需要大边界跨节点众人并行（Expert Parallelism / EP）。
遴荐多机多卡间的众人并行政策来达到以下认识：
Prefill：路由众人EP32、MLA和分享众人DP32，一个部署单位是4节点，32个冗余路由众人，每张卡9个路由众人和1个分享众人。
Decode：路由众人EP144、MLA和分享众人DP144，一个部署单位是18 节点，32个冗余路由众人，每张卡2个路由众人和1个分享众人。
筹划通讯重复
多机多卡的众人并行会引入比拟大的通讯支出，是以使用了双batch重复来粉饰通讯支出，普及合座朦拢。
对于prefill阶段，两个batch的筹划和通讯交错进行，一个batch在进行筹划的手艺不错去粉饰另一个batch的通讯支出；
对于decode阶段，不同阶段的扩充手艺有所判袂，是以把attention部分拆成了两个stage，所有5个stage的活水线来收尾筹划和通讯的重复。
尽可能地负载平衡
由于遴荐了很大边界的并行（包括数据并行和众人并行），要是某个GPU的筹划或通讯负载过重，将成为性能瓶颈，拖慢整个这个词系统；同期其他GPU因为恭候而空转，形成合座诈欺率下落。因此需要尽可能地为每个GPU分拨平衡的筹划负载、通讯负载。
PrefillLoadBalancer
中枢问题：不同数据并行（DP）实例上的申请个数、长度不同，导致core-attention筹划量、dispatch发送量也不同。
优化认识：各GPU的筹划量尽量疏浚（core-attention筹划负载平衡）、输入的token数目也尽量疏浚（dispatch发送量负载平衡），幸免部分GPU处理手艺过长。
DecodeLoadBalancer
中枢问题：不同数据并行（DP）实例上的申请数目、长度不同，导致core-attention筹划量（与KVCache占用量相干）、dispatch发送量不同。
优化认识：各GPU的KVCache占用量尽量疏浚（core-attention筹划负载平衡）、申请数目尽量疏浚（dispatch发送量负载平衡）。
Expert-ParallelLoadBalancer
中枢问题：对于给定MoE模子，存在一些自然的高负载众人（expert），导致不同GPU的众人筹划负载不平衡。
优化认识：每个GPU上的众人筹划量平衡（即最小化整个GPU的dispatch承袭量的最大值）。
线上系统的内容统计数据
DeepSeekV3和R1的整个管事均使用H800GPU，使用和检会一致的精度，即矩阵筹划和dispatch传输遴荐和检会一致的FP8才略，core-attention筹划和combine传输遴荐和检会一致的BF16，最猛进程保证了管事效能。
另外，由于日间的管事负荷高，晚上的管事负荷低，因此收尾了一套机制，在日间负荷高的手艺，用整个节点部署推理管事。晚上负荷低的手艺，减少推理节点，以用来作念研究和检会。在最近的24小时里（北京手艺2025/02/27 12:00至2025/02/28 12:00），DeepSeek-V3和R1推理管事占用节点总和，峰值占用为278个节点，平均占用226.75个节点（每个节点为8个H800GPU）。假设GPU租借本钱为2好意思金/小时，总本钱为87072好意思元/天。
在24小时统计时段内，DeepSeek-V3和R1：
输入token总额为608B，其中342Btokens（56.3%）掷中KVCache硬盘缓存。
输出token总额为168B。平均输出速度为20~22tps，平均每输出一个token的KVCache长度是4989。
平均每台H800的朦拢量为：对于prefill任务，输入朦拢约73.7ktokens/s（含缓存掷中）；对于decode任务，输出朦拢约14.8ktokens/s。
以上统计包括了网页、APP和API的整个负载。要是整个tokens全部按照DeepSeek-R1的订价筹划，表面上一天的总收入为562027好意思元，本钱利润率为545%。虽然内容上莫得这样多收入，因为V3的订价更低，同期收费管事只占了一部分，另外夜间还会有扣头。
有网友将DeepSeek与OpenAI进行对比，示意：“‘本钱利润率545%’，等一下，是以你是说我被OpenAI抢劫了？”
潞晨科技暂停DeepSeek API管事
就在DeepSeek表现大边界部署本钱和收益之后，潞晨科技瞬息文告：“尊敬的用户，潞晨云将在一周后罢手提供DeepSeek API管事，请尽快用完您的余额。要是没用完，咱们全额退款。”
此前2月4日晚间，华为筹划微信公众号发文示意，DeepSeek-R1系列模子的开源，因其出色的性能和便宜的缔造本钱，已激发民众的迂回盘问和蔼然。潞晨科技联袂昇腾，接洽发布基于昇腾算力的DeepSeek-R1系列推理API，及云镜像管事。
但近期潞晨科技CEO尤洋指出，满血版DeepSeek-R1每百万token（输出）订价16元，要是逐日输出1000亿token，一个月算下来接入方企业可得回4800万元收入。据他测算，完成1000亿token的输出，需要约4000台搭载H800的机器，以咫尺H800的市价未必折旧来筹划，每月仅机器本钱就达4.5亿元，因此企业方可能濒临每月4亿元的死亡，“用户越多，管事本钱越高，死亡越多”。
3月1日下昼4点，潞晨科技CEO尤洋发文回话DeepSeek公布的表面本钱利润率。
公开云尔剖析，潞晨科技是一家竭力于“平安AI分娩力”的民众性企业，团队中枢成员来自好意思国加州大学伯克利分校，斯坦福大学，清华大学，北京大学等国表里驰名高校。主贸易务包括散布式软件系统，大边界东谈主工智能平台，以及企业级云筹划惩办有筹算。公司旨在打造一个开源低本钱AI大模子缔造系统Colossal-AI，行动深度学习框架的内核，匡助企业最大化东谈主工智能检会效能的同期最小化东谈主工智能的检会本钱。