成视频免费在线看_成人免费视频网址_奇米第四影视_欧美日本不卡视频_91精品国产自产在线观看_国产一区无

DeepSeek開源第四彈“教”優化,梁文鋒參與研發
來源:第一財經作者:劉曉潔2025-02-27 15:42

通過這些分享可以清晰了解DeepSeek是如何最大限度利用GPU能力的。

2月27日,DeepSeek開源周(OpenSourceWeek)第四彈來了,DeepSeek在X上宣布這次開源的是三項優化并行策略,并在Github上詳細展開了DeepSeek-V3和R1模型背后的并行計算優化技術,通過這些闡述可以清晰了解團隊是如何精細地優化計算和通信,最大限度利用GPU能力的。

這三項優化并行策略其中包括DualPipe,這是一種用于V3/R1模型訓練中計算與通信重疊的雙向流水線并行算法,這種算法能夠完全重疊前向和后向計算通信階段,與傳統方法相比減少了“流水線氣泡”(設備在某些時刻的空閑等待)。 在DualPipe的開發團隊署名中,包括創始人梁文鋒。

優化并行策略第二項是EPLB(Expert Parallelism Load Balancer,專家并行負載均衡器),它針對V3/R1模型,解決MoE(混合專家)模型在分布式訓練和推理中的負載不平衡問題。

當使用專家并行(EP)時,不同的專家被分配到不同的GPU。由于不同專家的負載可能會根據當前的工作負載而變化,因此保持不同GPU的負載平衡非常重要。DeepSeek曾在V3論文中提到,團隊采用冗余專家策略來重復重載專家,他們創新地將重復的專家打包到GPU上,以確保不同GPU之間的負載平衡。

在第三部分, DeepSeek直接分享了來自訓練和推理框架的性能分析數據,以幫助社區更好地了解通信計算重疊策略和低級實現細節。這些數據是用PyTorch Profiler采集的,下載后可以直接在 Chrome或 Edge 瀏覽器中打開,進行可視化分析,DeepSeek還模擬了絕對平衡的MoE 路由策略用于性能分析。

DeepSeek這四天的發布都與Infra層的算法有關,分享團隊最大限度利用GPU能力的技術細節。大模型生態社區OpenCSG(開放傳神)創始人陳冉此前對第一財經舉例表示,“相當于以前DeepSeek是直接給一輛車,告訴大家這輛車續航900公里,但是現在DeepSeek在深挖,用什么方式能夠開到900公里?!盌eepSeek的模型為什么能夠實現較好的效果,對應有一些算法和相應的框架,而這些“腳手架”的開源有利于之后的生態搭建。

陳冉判斷,DeepSeek的代碼開源或許會影響一批做AI Infra層的從業者,“AI Infra層的人要找新的方向。”但他同時表示,這種開源是一把雙刃劍,如果能將DeepSeek開源的內容用好可能也會得利,“用不好就被沖擊”。

此前三日,DeepSeek陸續開源了讓大模型在GPU上跑得更快的MLA解碼核FlashMLA,用于MoE模型訓練和推理的DeepEP通信庫,以及可支持MoE的FP8 GEMM代碼庫DeepGEMM。

從GitHub上獲得的星標來看,這些項目頗受歡迎,截至發稿,FlashMLA已在GitHub獲得超過1萬星標,DeepEP的星標已有6000,DeepGEMM目前超過3700,最新發布的DualPipe星標超過700。

就在昨日,DeepSeek還在海內外同時宣布了API 錯峰優惠,自2月26日起,北京時間每日00:30至08:30的夜間空閑時段,API 調用價格大幅下調:DeepSeek-V3 降至原價的 50%,DeepSeek-R1 更低至 25%。DeepSeek鼓勵用戶充分利用這一時段,享受更經濟更流暢的服務體驗。

另外,也有消息稱,DeepSeek正尋求鞏固自身優勢,盡早推出R2模型,消息提到DeepSeek原本計劃在5月初發布R2模型,目前會加快這一速度。DeepSeek目前并未對此回應。

此前DeepSeek在R1論文中提到,R1 的性能將在下一個版本得到改善,因為相關的RL(強化學習)訓練數據還很少。隨著RL數據的增加,模型解決復雜推理任務的能力持續穩定提升,且會自然涌現出一些復雜行為能力。

業界認為,DeepSeek-R2的發布可能是AI行業的一個關鍵節點。

責任編輯: 鄧衛平
聲明:證券時報力求信息真實、準確,文章提及內容僅供參考,不構成實質性投資建議,據此操作風險自擔
下載“證券時報”官方APP,或關注官方微信公眾號,即可隨時了解股市動態,洞察政策信息,把握財富機會。
網友評論
登錄后可以發言
發送
網友評論僅供其表達個人看法,并不表明證券時報立場
暫無評論
為你推薦
時報熱榜
換一換
    熱點視頻
    換一換
    主站蜘蛛池模板: 色柚视频网站ww色 | 别揉我奶头~嗯~啊~视频在线观看 | 2018日日夜夜操| 欧美一级黑人 | 亚洲成AV人影院在线观看网 | 国产成人午夜精品福利视频 | 国产精品成人麻烦视频 | 99热在线精品播放 | 91久久精品综合 | 国产精品一区二区三区不卡视频 | 国内自拍99| 欧美高清第一页 | 日产欧产va高清 | 欧美一级一区二区三区高清 | 久久精品视频在线播放 | 国产精品一级黄色片 | 久久爽久久爽久久av东京爽 | 国产又色又爽又黄又刺激视频一 | 好吊色午夜免费在线观看 | 国产欧美日韩三级 | 搡老熟女老女人一区二区 | 国产精品亚洲一区二区三区在线 | 国产一级黄色大片 | 精品国产一区二区三区久久久蜜 | 亚洲女人自慰精品久久久自慰 | 久久91精品国产一区二区三区 | 国产精品久久久久久麻豆一区 | 亚洲?V无码专区在线观看成人 | 日韩欧精品无码三级片 | 亚洲色大成网站www久久九 | 国产亚洲AV人片在线观看 | 日日碰狠狠躁久久躁 | 米奇7777| 中文字幕在线亚洲日韩码 | 精品国产乱码久久久人妻 | 狠狠干狠狠操 | 国产在线一在线二 | 97人人做人人人难人人做 | 成人资源在线 | 国产99精品视频 | 一区二区免费网站 |