10月18日消息，根據(jù)外媒CRN報道稱，英特爾已經(jīng)意識到，在與英偉達（NVIDIA）在云端AI大模型訓練方面競爭沒有優(yōu)勢，因此正通過Gaudi 3 轉(zhuǎn)向更注重經(jīng)濟高效的企業(yè)級和邊緣AI系統(tǒng)領(lǐng)域。

CRN稱，英特爾將旗下最新的Gaudi 3 AI加速器定位為有價值產(chǎn)品，是市場上最佳性價比的產(chǎn)品。雖然從性能角度來看，Gaudi 3 沒有追上英偉達最新的GPU，但該芯片也受到了很多企業(yè)的關(guān)注，因為這些企業(yè)需要具有成本效益的 AI 系統(tǒng)進行訓練，并在更大程度上推理更小的、基于任務的模型和開源模型。

英特爾在上個月就曾宣布，AI加速器芯片是扭虧為盈的關(guān)鍵產(chǎn)品，Gaudi 3 將于 10 月在戴爾科技和超微電腦的服務器中首次亮相。預計Gaudi 3 將在第四季度晚些時候全面上市，比英特爾在 4 月份給出的第三季度上市時間有所延遲。

惠普企業(yè)預計將在 12 月推出自己的 Gaudi 3 系統(tǒng)。包括聯(lián)想在內(nèi)的其他 OEM 的廠商可能也將會推出基于Gaudi 3 的系統(tǒng)。

在云方面，Gaudi 3 將于明年初通過 IBM Cloud 上托管的服務提供，并且很快將在 Intel Tiber AI Cloud 上提供，Intel Tiber AI Cloud 是英特爾最近更名的云服務，旨在支持商業(yè)應用程序。

在最近的一次新聞發(fā)布會上，英特爾強調(diào)了其圍繞 Gaudi 3 的競爭信息，稱與 2022 年首次亮相的英偉達H100 GPU 相比，它提供了“性價比優(yōu)勢”，尤其是在推理方面。

特別是隨著“以推理為中心”的大語言模型（LMM）的推出，英特爾稱Gaudi 3系列性能與英偉達備受歡迎的H100性能相當，尤其是在推理工作負載大幅上升的情況下。根據(jù)英特爾計算，在80億參數(shù)的Llama 3模型中，Gaudi 3比H100快約9%，性價比高80%；在Llama 2模型中，Gaudi 3速度要高19%，性價比差異則高達2倍，確實令人印象深刻。

雖然英特爾Gaudi 3在這兩項LLM測試表現(xiàn)優(yōu)于英偉達H100和H200，但在FB16和FP8格式的浮點運算的測試中，表現(xiàn)仍不如H100。Gaudi 3 可以針對每種格式執(zhí)行每秒 1835 萬億次浮點運算 （TFLOPS），而 H100 的 BF16 可以達到 1979 TFLOPS，F(xiàn)P8 可以達到 3958 TFLOPS。

這也表明，英特爾AI芯片在計算力方面仍然存在不足，更何況英偉達新一代更強的Blackwell GPU即將上市，還有AMD等人工智能計算領(lǐng)域的強有力的競爭對手的競爭。AMD上漲宣布，其即將推出的 Instinct MI325X GPU 在推理工作負載方面的性能可以超過英偉達的 H200，并誓言其下一代 MI350 芯片將性能提高一個數(shù)量級。

因此，英特爾決定不參與主流的AI模型訓練市場競爭，不打算在該領(lǐng)域與英偉達的GPU正面交鋒。

轉(zhuǎn)換賽道

在接受 CRN 采訪時，英特爾 AI 加速部門負責人 Anil Nanduri 表示，到目前為止，圍繞訓練 AI 模型的基礎設施的購買決策主要基于性能而不是成本，這一趨勢在很大程度上使英偉達受益，它使該公司能夠在 AI 開發(fā)人員中建立起強大的生態(tài)。反過來看，開發(fā)人員對英偉達的全套技術(shù)進行了大量投資，以構(gòu)建他們的應用程序，從而也提高了他們將開發(fā)轉(zhuǎn)移到另一個平臺的難度和成本。

“如果你在那個背景下思考，就會發(fā)現(xiàn)一個現(xiàn)有的好處，即所有的前沿模型研究、所有功能都是在事實上的平臺上開發(fā)的，你正在構(gòu)建它，你正在研究它，你本質(zhì)上也在潛意識中優(yōu)化它。然后使該端口轉(zhuǎn)移到 不同的平臺 是一項工作?！盢anduri 說。

至少目前，像 Meta 和 Microsoft 這樣的超大規(guī)模企業(yè)在超強大的 AI 數(shù)據(jù)中心基礎設施上投入大量資金以推動尖端功能，而無需立即產(chǎn)生利潤，這可能是有意義的。例如，據(jù) CNBC 和其他出版物上個月報道，OpenAI 今年的收入為 36 億美元，預計今年將產(chǎn)生 50 億美元的虧損，其中一部分與服務有關(guān)。

但許多企業(yè)負擔不起此類投資并接受此類損失。Nanduri 稱，他們可能也不需要大規(guī)模的 AI 模型來回答遠遠超出其關(guān)注領(lǐng)域的主題的問題?！拔覀冮_始看到的世界是，人們正在質(zhì)疑 投資回報、成本、電力和其他一切。但我們認為，客戶真的想要一個無所不知的巨型模型嗎？”Nanduri 說。

Nanduri 認為，對于許多企業(yè)來說，答案是否定的，他們會將選擇更小、基于特定任務的模型，這些模型具有更輕的性能需求。雖然從正面性能的角度來看，Gaudi 3 “沒有趕上”英偉達的最新 GPU，但加速器芯片非常適合為代表企業(yè)運行基于任務的模型和開源模型提供更具經(jīng)濟效益的系統(tǒng)，而這正是英特爾的“傳統(tǒng)優(yōu)勢”所在。

“對于我們有很多牢固關(guān)系的企業(yè)來說，他們并不是 AI 的第一批快速采用者。他們實際上對如何部署都非常深思熟慮。所以我認為這就是促使我們評估產(chǎn)品市場契合度以及我們的客戶群的原因，我們傳統(tǒng)上在這些領(lǐng)域有著牢固的關(guān)系?！彼f。

今年年初成為英特爾數(shù)據(jù)中心和人工智能集團負責人的 前HPE 資深人士賈斯汀·霍塔德 （Justin Hotard） 表示，他和其他領(lǐng)導者在聽到企業(yè)客戶想要更經(jīng)濟的人工智能系統(tǒng)后確定了這一戰(zhàn)略，這有助于讓英特爾相信此類產(chǎn)品可能有很大的市場。

“我們覺得我們在產(chǎn)品方面所處的位置、參與的客戶、我們正在解決的問題，這就是我們的賽道?？梢钥隙ǖ氖?，市場將在那個領(lǐng)域開放，并且會有一群人構(gòu)建自己的推理解決方案，”他在新聞發(fā)布會上回答 CRN 的問題時說。

在今年 8 月的一次金融會議上，英特爾CEO帕特·基辛格也承認，該公司不會“很快與高端AI訓練競爭”，其競爭對手已經(jīng)“遙遙領(lǐng)先”，因此英特爾將押注于企業(yè)和邊緣的 AI 部署。

“如今，70% 的計算是在云中完成的。80% 以上的數(shù)據(jù)仍保留在本地或由企業(yè)控制。仔細想想，這是一個非常鮮明的對比。因此，任務關(guān)鍵型業(yè)務數(shù)據(jù)已經(jīng)到此為止，對 AI 的所有熱情都已到此為止。我會爭辯說，過去 25 年的云數(shù)據(jù)還沒有轉(zhuǎn)移到云中，我也不認為它會轉(zhuǎn)移到云中，”他在德意志銀行分析師會議上這樣說道。

押注開放生態(tài)系統(tǒng)

英特爾還希望通過跨硬件基礎設施、軟件平臺和應用程序采用開放式生態(tài)系統(tǒng)方法來幫助 Gaudi 3 贏得客戶。英特爾的高管們表示，這與英偉達的“圍墻花園”戰(zhàn)略形成鮮明對比。

英特爾數(shù)據(jù)中心和人工智能事業(yè)部產(chǎn)品管理副總裁 Saurabh Kulkarni表示，客戶和合作伙伴可以選擇將 Gaudi 3 從一個具有 8 個加速器芯片的系統(tǒng)擴展到一個具有 8000 多個芯片的 1024 節(jié)點集群，中間有多個配置選項，所有這些都意味著不同的性能水平。

他說，為了實現(xiàn)硬件生態(tài)系統(tǒng)，英特爾正在通過為 OEM 提供參考架構(gòu)和設計來降低使用門檻，“然后可以將其用作我們的客戶以模塊化方式復制和構(gòu)建基礎設施的藍圖”。

這些參考架構(gòu)將由各種開放標準提供支持，從用于連接的以太網(wǎng)和 PCIe 到用于分布式存儲的 DAOS 和用于編程的 SYCL，英特爾表示這有助于防止供應商鎖定。

在軟件方面，英特爾高管 Bill Pearson 表示，該公司的開放方法意味著合作伙伴和客戶可以從不同供應商的各種工具中進行選擇，以滿足 AI 系統(tǒng)的各種軟件需求。他將此與英偉達的方法進行了對比，后者創(chuàng)建了許多僅適用于英偉達自己GPU的工具。

“我們不是創(chuàng)建客戶或開發(fā)人員可能需要的所有工具，而是依靠我們的生態(tài)系統(tǒng)合作伙伴來做到這一點。我們與他們合作，然后幫助客戶選擇對他們的特定企業(yè)有意義的產(chǎn)品?！庇⑻貭枖?shù)據(jù)中心和 AI 集團軟件副總裁 Pearson 說。

這種開放式生態(tài)系統(tǒng)軟件方法的一個關(guān)鍵方面是企業(yè) AI 開放平臺 （OPEA），該組織于今年早些時候在 Linux 基金會下成立，旨在作為可用于 AI 系統(tǒng)的微服務的基礎。該小組的成員包括 AMD、英特爾 和 Rivos 等芯片公司，以及各種軟件提供商，包括 VMware 和 Red Hat 等虛擬化提供商，以及 Domino、Clarifai 和 Intel 支持的 Articul8 等 AI 和機器學習平臺。

“當我們研究如何利用這些微服務實施解決方案時，堆棧的每個組件都有多個產(chǎn)品/服務，因此您需要非常具體地說明什么最適合您的產(chǎn)品/服務。你有偏好嗎？它是采購協(xié)議嗎？這是技術(shù)偏好嗎？有關(guān)系偏好嗎？”

“然后客戶可以選擇對他們的業(yè)務有意義的部分、組件和成分。對我來說，這是我們開放式生態(tài)系統(tǒng)最好的一點，就是我們不會把答案交給你。相反，我們?yōu)槟峁┕ぞ撸屇x擇最佳答案，“他補充道。

英特爾面向 AI 系統(tǒng)的軟件方法的關(guān)鍵是專注于檢索增強生成 （RAG），它允許 LLM 對專有企業(yè)數(shù)據(jù)執(zhí)行查詢，而無需微調(diào)或重新訓練這些模型。

“這最終使組織能夠更快、更經(jīng)濟高效地定制和啟動 GenAI 應用程序，”Pearson 說。

為了幫助客戶設置基于 RAG 的 AI 應用程序，英特爾計劃在今年晚些時候推出面向企業(yè) RAG 的英特爾 AI，這是由英特爾和第三方開發(fā)的解決方案目錄，將于今年年底前首次亮相。這些解決方案適用于從代碼生成和代碼轉(zhuǎn)換到內(nèi)容摘要和問答等各種使用案例。

Pearson 表示，英特爾“具有獨特的優(yōu)勢”，可以利用英特爾和合作伙伴開發(fā)的技術(shù)解決企業(yè)在部署基于 RAG 的人工智能基礎設施時面臨的挑戰(zhàn)，這些技術(shù)從配備 OEM 的 Gaudi 和 Xeon 芯片的經(jīng)過驗證的服務器開始，包括軟件優(yōu)化、矢量數(shù)據(jù)庫和嵌入模型、管理和編排軟件、OPEA 微服務和 RAG 軟件。

“所有這些都使企業(yè)客戶能夠輕松實施基于英特爾 AI for Enterprise RAG 的解決方案，”他說。

渠道將成為 Gaudi 3 勝出的“關(guān)鍵”

在上周接受 CRN 采訪時，英特爾公司副總裁兼美洲銷售組織和全球客戶總經(jīng)理 Greg Ernst 表示，渠道合作伙伴對于將基于 Gaudi 3 的系統(tǒng)送到客戶手中至關(guān)重要。

Ernst 表示，為了讓英特爾達到這一點，這家芯片制造商需要 Gaudi 3 獲得服務器供應商的廣泛支持，“像 World Wide Technology 這樣的合作伙伴可以真正團結(jié)起來”。他補充說，英特爾”與合作伙伴一起在如何銷售產(chǎn)品和實施產(chǎn)品支持方面做了大量學習”。

“現(xiàn)在我們已經(jīng)為規(guī)模化做好了準備，合作伙伴將成為其中的關(guān)鍵，”他說。

IBM Cloud 產(chǎn)品和行業(yè)平臺總經(jīng)理 Rohit Badlaney 告訴 CRN，該公司的“構(gòu)建”獨立軟件供應商 （ISV） 合作伙伴、增值分銷商和全球系統(tǒng)集成商是 IBM 計劃銷售基于 Gaudi 3 的云服務的三種主要方式，這些服務將主要圍繞其 Watson AI 平臺。

“我們有一個完整的銷售生態(tài)系統(tǒng)團隊，他們將專注于構(gòu)建 ISV，包括嵌入和構(gòu)建我們的 Watson 平臺，現(xiàn)在我們的 Red Hat 開發(fā)人員堆棧正在進行同樣的努力，”他在上個月的英特爾新聞發(fā)布會上說。

Badlaney 表示，IBM Cloud 已經(jīng)測試了英特爾對 Gaudi 3 的“性價比優(yōu)勢”聲明，并對他們的發(fā)現(xiàn)印象深刻。

“當我們查看 Gaudi 3 的功能時，特別是我們的 watsonx 數(shù)據(jù)和 AI 平臺，從成本效益的角度來看，它在我們的測試中確實與眾不同。因此，我們將將其應用于的第一組用例是圍繞我們自己的品牌模型和我們看到的其他一些模型進行推理，“他說。

戴爾企業(yè)戰(zhàn)略高級副總裁 Vivek Mohindra 表示，通過將 Gaudi 3 納入其 PowerEdge XE9680 產(chǎn)品組合，他的公司為合作伙伴和客戶提供了替代采用英特爾競爭對手加速器芯片的系統(tǒng)的機會。他補充說，戴爾用于管理高性能計算和 AI 工作負載的 Omnia 軟件與 OPEA 微服務配合良好，為企業(yè)提供了一個部署新基礎設施的“簡單按鈕”。

他在英特爾的新聞發(fā)布會上說：“它也為客戶提供了一個選擇，然后在軟件上，我們的 Omnia 堆?？梢耘c [英特爾的] OPA 互操作，這為客戶提供了相對容易地采用和擴展它的巨大能力?！?/p>

總部位于伊利諾伊州諾斯布魯克的系統(tǒng)集成商 International Computer Concepts 的首席技術(shù)官 Alexey Stolyar 告訴 CRN，他的公司開始圍繞 Gaudi 3 進行高級培訓課程，他可以看到需要由此類芯片實現(xiàn)經(jīng)濟高效的 AI 系統(tǒng)，這主要是因為訓練或微調(diào)大型模型需要多少功率。

“你會發(fā)現(xiàn)，世界上很多地方都將關(guān)注比這些巨大的模型更小、更高效、更精確的模型。大型企業(yè)擅長一般任務，但不擅長非常具體的任務。企業(yè)將開始開發(fā)自己的模型或微調(diào)特定的開源模型，但它們將變得更小，效率更高，“他說。

Stolyar 說，雖然 International Computer Concepts 尚未開始主動與客戶討論 Gaudi 3 系統(tǒng)，但一位客戶已經(jīng)與他的公司接洽，為客戶計劃針對特定工作負載銷售的交鑰匙設備開發(fā) Gaudi 3 系統(tǒng)，因為基準測試表明該芯片表現(xiàn)良好。

然而，這位解決方案提供商高管也指出，他不確定 Gaudi 3 代表著多大的機會，并補充說，英特爾的成功將在很大程度上取決于 Gaudi 3 系統(tǒng)相對于由英偉達芯片和軟件提供支持的系統(tǒng)易用性。

“我認為客戶想要其他選擇。我認為擁有良好的競爭是好的，但在這種易用性出現(xiàn)之前，它不會發(fā)生。英偉達已經(jīng)這樣做了一段時間。他們一直在那個生態(tài)系統(tǒng)中微調(diào)他們的軟件包等，“他說。

一家解決方案提供商的一位高級領(lǐng)導告訴 CRN，他的公司與英特爾代表的對話給他的印象是，這家芯片制造商并不尋求與英偉達正面交鋒，而是希望贏得 AI 市場的一定“百分比”。

“他們一直在談論 Gaudi 3 很長一段時間：嘿，這將是我們的目標。我們要競爭。但我認為他們也帶著一些溫和的期望進來。比如，讓我們在這個市場中競爭。我們本身不會與英偉達正面交鋒，但我們可以解決其中的一些問題并為客戶提供選擇。讓我們挑選出五個客戶，去和他們談談，”這位不愿透露姓名的高管說，他要求坦率地談論他與英特爾的合作。

這位解決方案提供商負責人表示，他確實認為像由 Gaudi 3 提供支持的具有成本效益的 AI 系統(tǒng)可能會有市場，因為他從客戶那里聽說，他們越來越意識到高昂的 AI 基礎設施成本。

“從某種程度上講，當你采取這種方法時，你承認別人已經(jīng)贏了。但如果它做到了別人沒有做到的這些事情（高性價比），你不考慮它就是個傻瓜，因為它會為你節(jié)省金錢、電力和其他一切。但這不是一種接管世界的策略，“他說。

編輯：芯智訊-浪客劍 來源：CRN