28/01/2025 13:05

【FOCUS】螺絲殼裏做道場,DeepSeek致勝啟示

  【FOCUS】「算力出奇跡」VS「螺絲殼裏做道場」,到底哪個技高一籌?AI股王英
偉達輝周一(27日)市值蒸發5890億美元,如對前者的當頭棒喝,盛行多年的AI核心假
設--資金多即是強、算力高即是好,遭奉行後者的DeepSeek徹底打破。
 
*AI多年核心假設一朝打破*
 
  Meta的朱克伯格上周拋出「2025年資本支出高達650億美元」、「年底擁有
130萬顆GPU」的震撼彈,短短三天後,AI界的「大躍進」敘事即畫風驟變,皆因跟
OpenAI O1大模型分庭抗禮的DeepSeek-R1大模型,被揭訓練成本低至
560萬美元,使用的英偉達GPU數量僅2048顆,且型號是上一代H800。
 
  OpenAI首席執行官Sam Altman周二最新表示,DeepSeek-R1大
模型令人印象深刻,但堅稱「現在比以往任何時刻,都需要更強的算力來完成使命。」
 
*強化學習+混合專家架構*
 
  面對有「AI界拼多多」之稱的中國「黑馬」公司,何解Sam Altman仍執著算力
?答案指向其大模型訓練路徑。據OpenAI創始成員Andrej Karpathy解釋
,訓練分為4個階段:一,預訓練(「投喂」大量文字並設定權重),建立基礎LLM模型;二
,監督微調(以少量高品質的資料提示完成特定任務),建立SFT模型;三,獎勵模型(對回
應進行打分並相應調整權重);強化學習(在獎勵模型下不斷調整以獲得更高分數),最終獲得
RLHF(人類反饋強化學習)模型。
 
  DeepSeek則選擇跳過監督微調,而依賴大規模強化學習(RL),而這種方法允許
模型自行探索思維鏈(CoT),以直接獲得更好表現。此外,DeepSeek採用MoE(
混合專家)架構,即每個任務只激活相應的「專家(參數)」,意味顯著減少計算時間和算力需
求。
 
*借分享突破邊界吸引人才*
 
  令人尤為驚訝的是,這兩大「殺手鐧」,DeepSeek都將相關研究論文--19頁《
通過強化學習激勵大模型的推理能力》、33頁《在MoE語言模型中邁向終極專家專業化》經
Arxiv學術平台公開分享。
 
  如此「慷慨」的原因何在?據DeepSeek自己的回答:「在快速發展的AI領域,合
作和開放式的思想交流對於快速創新至關重要」,「是否擔心他人『趕上』並非主要考量,相反
,重點在於突破可能的邊界,並分享這些進步,讓所有人受惠」,「通過分享研究成果,
DeepSeek也能建立自己的思想領袖地位,並吸引人才和合作夥伴,以進一步實現其目標
。」
 
  相比之下,名為「開放」的OpenAI拒絕如DeepSeek一樣開源,格局無疑小得
多。聯想河南鄭州的一家連鎖餐廳,面對每月僅700元的廣告預算,靠免費派發每個成本僅幾
毫子的氣球,做出了月租數萬元廣告牌沒有的效果,所謂「螺螄殼裏做道場」,即是不信邪、不
拘泥地靈活變通,終能出奇制勝。
 
   那麼,Nvidia的神話有無結束?看看黃仁勳月初在「國際消費電子展CES 
2025」上的展示,RTX 50 GPU、低價AI超級電腦Project 
Digits、人形機器人Cosmos……答案同樣是否。

【香港好去處】2025去邊最好玩?etnet為你提供全港最齊盛事活動,所有資訊盡在掌握!► 即睇

專業版
HV2
精裝版
SV2
串流版
IQ 登入
強化版
TQ
強化版
MQ

【etnet 30周年】多重慶祝活動一浪接一浪,好禮連環賞!

【蛇年行大運 新年好賞「飾」】etnet賞太歲開運趨吉避凶神器

etnet榮獲HKEX Awards 2023 「最佳證券數據供應商」大獎

大國博弈

貨幣攻略

說說心理話

聖誕新年特輯

Watch Trends 2024

北上食買玩

Art Month 2024

秋天養生食療

山今養生智慧

輕鬆護老