DeepSeek第二炸!开源首个用于MoE模型训练通信库
DeepSeek 的“开源周”活动今日已经来到第二天,今天发布的是首个开源的用于 MoE 模型训练和推理的 EP 通信库 ——DeepEP。
官方表示其具备如下特征:
高效优化的全到全通信方式
支持节点内外通信,兼容 NVLink 和 RDMA 技术
提供高吞吐量的内核,提升训练和推理前期填充效率
提供低延迟内核,优化推理解码速度
完全支持 FP8 数据格式调度
提供灵活的 GPU 资源管理,支持计算与通信的重叠执行
据介绍,DeepEP 是一款专为混合专家(MoE)和专家并行(EP)设计的通信库,提供了高吞吐量和低延迟的 all-to-all GPU 内核,常用于 MoE 派发和合并操作。该库还支持低精度计算,包括 FP8。
为了与 DeepSeek-V3 论文中提出的组限制门控算法兼容,DeepEP 提供了一些针对不对称带宽转发优化的内核,比如将数据从 NVLink 域转发到 RDMA 域。这些优化的内核能够提供高吞吐量,适合用于训练和推理的预填充任务,同时支持 SM(流式多处理器)数量控制。
对于延迟敏感型的推理解码任务,DeepEP 提供了一套低延迟内核,采用纯 RDMA 技术以最大程度减少延迟。此外,该库还采用了一种基于 Hook 的通信与计算重叠方法,不会占用任何 SM 资源。
-
《传说之下》作者新作《三角符文》IGN 9分:剧情精彩绝伦 配乐一流!
曾创作过人气RPG独立游戏《传说之下》的制作人tobyfox最新作品《三角符文》(Deltarune)现已正式发售,目前游戏只有1-4章,后续章节未来将免费追加更新。IGN给出了9分的高分,认为本作虽
-
泡泡玛特创始人王宁财富跻身中国第十 股价2024年至今涨幅超11倍
继6月8日以203亿美元身家超越牧原股份的秦英林,登顶“河南新首富”之后,泡泡玛特(09992.HK)创始人王宁9日财富排名再度攀升。根据福布斯实时富豪榜6月9日上午的最新数据,王宁目前身家为208亿
-
《剑星》丰满伊芙MOD:各部位都大了好几圈!
WaterWeightMate制作了一款《剑星》的MOD,将游戏主角伊芙的07 Planet战衣的各个部位包括胸部、臀部、大腿进行了放大膨胀处理,让伊芙的整个形态看起来都非常的丰满。
关注公众号:拾黑(shiheibook)了解更多
友情链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
安全、绿色软件下载就上极速下载站:https://www.yaorank.com/

随时掌握互联网精彩
- 2NE1朴春狂贴李敏镐照片称“老公”又说自己单身,男神终发声割席
- 张艺谋新华社采访谈到《黑神话》 夸赞游戏剧本和音乐
- 外媒测试:iPhone15ProMax 80%充电限制作用不大
- 抖音、微信等公布微短剧备案细则:须获得备案号后才能播出
- 韩元汇率对人民币2024年05月01日
- NVIDIA警告后果严重:未来可能会从中国市场永久消失
- 互动拼音输入法 6.6最新版本2022下载地址
- 豆瓣8.1分!《三体》主创:能拍中国科幻大作 此生无憾
- 罗翔:违反疫情规定获刑者怎么办
- 四国争霸 2.0.4.7最新版本2022下载地址
- 国金看研报app V1.0.3最新版本2022下载地址
- 天九云平台tojoy v4.0.3最新版本2022下载地址