AIR-520 LLM服務(wù)器：Nvidia四卡加持，助力DeepSeek私有化部署！
作者：
時(shí)間：2025-02-25
來(lái)源：研華嵌入式物聯(lián)網(wǎng)
收藏
加入技術(shù)交流群
掃碼加入
和技術(shù)大咖面對(duì)面交流
海量資料庫(kù)查詢
DeepSeek-R1的發(fā)布讓大家度過(guò)了一個(gè)熱鬧的春節(jié)。DeepSeek用較低的成本，取得了跟OpenAI相同的效果，這也意味我們的客戶可以私有化部署與OpenAI能力接近的基座大模型。
本文引用地址：http://www.antipu.com.cn/article/202502/467300.htm
研華AIR-520 是一款支持4卡單槽GPU或2卡雙槽GPU的桌面級(jí)LLM服務(wù)器，主要用于推理和微調(diào)兩個(gè)方向。我們已經(jīng)打包好3個(gè)推薦配置，便于大家直接選型。推薦配置如和您的應(yīng)用有差距，也可靈活調(diào)配。
（圖：AIR-520 三款配置清單）
近半年來(lái)隨著AI Agent的廣泛使用，大家對(duì)LLM服務(wù)器的推理能力比較看重，在DeepSeek發(fā)布后，我們也使用AIR-520-L70A1 RTX 4000 ADA 4卡版主機(jī)，對(duì)工業(yè)客戶最常用的DeepSeek-R1 32B、70B兩個(gè)模型進(jìn)行了測(cè)試。
系統(tǒng)配置：
DeepSeek-R1 32B 測(cè)試：
DeepSeek-R1 70B測(cè)試：
通過(guò)測(cè)試，我們可以看到AIR-520的優(yōu)異表現(xiàn)。
評(píng)論