看板PC_Shopping
作者jeff85898 ()
標題[菜單] 45K LLM模型微調伺服器升級
時間2023-12-18 15:06:42
已買/未買/已付訂金（元)：未買 預算/用途：原有的單張3090 24GB顯卡微調較大的語言模型已經不太夠用，需要再加一張30 90。家用平台PCIE頻寬似乎最多只支援到兩組PCIE 4.0 x8，希望直接升級到EPYC平台較不 會有頻寬瓶頸的問題，不過電源、機殼不太知道如何選擇，再麻煩大家推薦一下了，謝謝！ CPU (中央處理器)：AMD EPYC 7302 $4387 (淘寶拆機) MB (主機板)：技嘉 MZ32-AR0 E-ATX $6983 (淘寶拆機) RAM (記憶體)：美光16G 2RX8 PC4-3200AA ECC REG *8 $6258 (淘寶拆機，QVL支援) VGA (顯示卡)：EVGA 3090 FTW3 沿用EVGA 3090 FTW3 $20000 (二手) Cooler (散熱器)：待填 SSD (固態硬碟)：沿用 HDD (硬碟)：無 PSU (電源供應器)：待填 CHASSIS (機殼)：待填 MONITOR (螢幕)：沿用 Mouse/KB (鼠鍵)：沿用 OS (作業系統)：Ubuntu 其它 (自填)：無 總價 (未稅/含稅)：37628+待填 ----- Sent from JPTT on my OnePlus IN2015. -- ※ 發信站: 批踢踢實業坊(ptt-club.com.tw), 來自: 223.138.135.117 (臺灣)
推 bhmagic: 感覺CPU跟記憶體都省過頭了76.82.233.154 12/18 15:22
→ bhmagic: 怎麼說你ram比Vram小那麼多 那裡出瓶頸76.82.233.154 12/18 15:28
→ bhmagic: 都不奇怪 而且Epyc的核心常常需要做一些76.82.233.154 12/18 15:29
→ bhmagic: 打雜的IO 還是多一點比較好76.82.233.154 12/18 15:30
推 mrme945: 他的RAM應該是16G*8吧111.71.216.6 12/18 15:30
→ bhmagic: err..應該是76.82.233.154 12/18 15:34
推 mrme945: 電源機殼你可以考慮兩顆1000W加條雙電源111.71.216.6 12/18 15:38
→ mrme945: 啟動線配雙電源倉的機殼，或是直接買有連111.71.216.6 12/18 15:38
→ mrme945: 動啟動功能的雙電源(Antec OC-link之類的111.71.216.6 12/18 15:38
→ mrme945: )111.71.216.6 12/18 15:38
推 E7lijah: 有ATX3.0的1600W應該夠39.14.64.70 12/18 15:46
推 mrme945: 兩顆1000W非ATX3.0應該比一顆1600W ATX3.111.71.216.6 12/18 15:50
→ mrme945: 0便宜啦111.71.216.6 12/18 15:50
→ jeff85898: 那1U機殼配伺服器電源不知道會不會更划223.138.135.117 12/18 15:51
→ jeff85898: 算223.138.135.117 12/18 15:51
→ jeff85898: 但原有那張顯卡不是鼓風扇可能會有風道223.138.135.117 12/18 15:53
→ jeff85898: 的問題？223.138.135.117 12/18 15:53
→ mrme945: 有1U機殼放得下兩張3090的？111.71.216.6 12/18 15:53
→ E7lijah: 1U高度才4.4公分 怎麼可能裝得下39.14.64.70 12/18 15:55
→ mrme945: 如果你有機櫃的話，往伺服器機殼找是沒問111.71.216.6 12/18 15:55
→ mrme945: 題啊，不過新品都很貴，大概就還是要去用111.71.216.6 12/18 15:55
→ mrme945: 淘的吧111.71.216.6 12/18 15:55
→ mrme945: 應該要找4U或5U才有機會啦111.71.216.6 12/18 15:55
→ E7lijah: 散熱找貓頭鷹NH-U9 TR4-SP3應該就能壓1639.14.64.70 12/18 16:07
→ E7lijah: 核了39.14.64.70 12/18 16:07
→ E7lijah: 如果你機殼買到5U高度 散熱器可以看U12S39.14.64.70 12/18 16:09
→ E7lijah: 或U14S，4U高度我記得會差一點裝不下39.14.64.70 12/18 16:09
→ E7lijah: 不然就是一樣找對岸拆機塔散 但server塔39.14.64.70 12/18 16:10
→ E7lijah: 散轉速通常較高 很吵39.14.64.70 12/18 16:10
推 mrme945: 不過我看了一下預算，你電源加上去就差不111.71.216.6 12/18 16:13
→ mrme945: 多沒預算了，CPU散熱倒是還好，反正貓頭111.71.216.6 12/18 16:13
→ mrme945: 鷹SP3腳位的隨便挑應該都夠，反倒是顯卡111.71.216.6 12/18 16:13
→ mrme945: 散熱比較困難111.71.216.6 12/18 16:13
→ mikapauli: 你有雙槽的3090就塞得進1U42.72.145.191 12/18 16:26
→ mikapauli: 但沒事別這樣搞自己，又不是寸土寸金42.72.145.191 12/18 16:27
→ E7lijah: FTW 2.75槽 沒救39.14.64.70 12/18 16:29
→ mikapauli: 5U就裝得下幾乎所有塔散了，TS140P都行42.72.145.191 12/18 16:30
了解那就是淘寶再找看看4U 5U的機箱了，顯卡散熱可能就用高轉速的機箱風扇了
→ chang1248w: x8和x16跑不出差異吧42.73.227.187 12/18 17:06
看評測3090似乎已經達到PCIE3.0=PCIE4.0 x8的上限了，主要是也想保留升級空間，不然之 後vram不夠還要再換平台 ※ 編輯: jeff85898 (111.83.89.118 臺灣), 12/18/2023 17:42:38
→ E7lijah: 對了 你有切成x8看看是不是真的有瓶頸嗎39.14.64.70 12/18 17:42
→ E7lijah: 我記得耶穌測4090跑4.0x8也折損不到5%39.14.64.70 12/18 17:43
→ promaster: 瓶頸是在顯卡 LLM用3090遲早燒起來59.115.184.247 12/18 17:46
→ promaster: 換一張6000A吧！59.115.184.247 12/18 17:46
之後如果有預算再加一張吧 因為現在的主機板沒有支援x16拆分 第二張卡只能跑x4 想說就一次換到 mz32-ar0 了 有四 組PCIE 4.0 x16 ※ 編輯: jeff85898 (111.83.89.118 臺灣), 12/18/2023 19:35:47
推 jeffguoft: 現在3090兩萬買得到嗎？ 116.89.139.84 12/19 07:22
→ jeff85898: 看起來是買不到…先買張3060湊一下vram223.141.194.116 12/20 12:15
→ jeff85898: 吧223.141.194.116 12/20 12:15