硬體限制通常是大家首先遇到的問題?記憶體(RAM)。



讓我們來拆解不同模型大小的規格。運行一個7B到13B參數的模型通常需要16到32GB的記憶體。升級到20B參數,你大約需要48到64GB。對於像120B這樣的重型模型,準備好120GB或更多。

事情是這樣的——我們在硬體設置上投資了$15k ,現在幾乎可以部署任何模型。這才是真正的能力。令人振奮的是?隨著市場成熟和硬體變得更容易取得,這些成本應該會下降。越來越多的人將能夠在本地運行高階模型,而不必破費。
查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 讚賞
  • 6
  • 轉發
  • 分享
留言
0/400
假设性清算vip
· 17小時前
花15k就想進場?等等,120B模型一開始就要120G顯存,這健康因子太危險了。後面成本下降?說得容易,真的嗎?
查看原文回復0
Liquidity_Surfervip
· 17小時前
我能玩任何模型了,但這15k花得值不值還真說不好
查看原文回復0
gas_fee_therapyvip
· 17小時前
15k真的不算啥了,主要看能跑什么模型值不值
回復0
MeaninglessApevip
· 17小時前
15k砸下去就能隨便跑模型了,這才叫玩家啊
查看原文回復0
社群潜伏者vip
· 17小時前
15k真的不便宜啊...一般人玩本地部署還得等硬件價格再跌跌
查看原文回復0
StakeWhisperervip
· 18小時前
15k砸下去就能隨便跑模型,這買賣值不值得啊…我還在用16G的破機器摸魚呢
查看原文回復0
交易,隨時隨地
qrCode
掃碼下載 Gate App
社群列表
繁體中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)