現(xiàn)代社會越來越需要數(shù)據(jù)，尤其是隨著AI的使用持續(xù)呈指數(shù)級增長。因此，確保足夠的內(nèi)存以及可持續(xù)支持該內(nèi)存的能力已成為一個主要問題。為了提升AI運算的速度，存算一體技術(shù)逐漸成為主角。

不過，在存算一體盛行的AI計算領(lǐng)域里，一項違反直覺的進步可能會使AI系統(tǒng)更快、更節(jié)能。軟件公司 Kove 找到了一種以顯著提高內(nèi)存效率的方式池化和動態(tài)分配服務(wù)器內(nèi)存的方法，通過利用外部池化內(nèi)存來產(chǎn)生結(jié)果其速度比使用本地內(nèi)存更快。根據(jù)合作伙伴的數(shù)據(jù)顯示，Red Hat 使用Kove系統(tǒng)后延遲減少了9%，Red Hat與服務(wù)器公司Supermicro合作，通過使用 Kove 的系統(tǒng)實現(xiàn)了高達54%的能源節(jié)省。Swift測試了Kove的方法，與相同硬件相同作業(yè)但使用傳統(tǒng)內(nèi)存方法的虛擬機相比，在訓(xùn)練模型時速度提高了60 倍。

Kove 的首席執(zhí)行官 John Overton 已經(jīng)研究此軟件解決方案長達 15 年。他強調(diào)，滿足對內(nèi)存的高需求是計算機行業(yè)面臨的最緊迫的問題之一?！叭藗兛偸潜г箖?nèi)存不足，”他說，并指出AI和機器學(xué)習(xí)算法需要大量數(shù)據(jù)。然而，計算機只能在內(nèi)存允許的范圍內(nèi)以最快的速度處理數(shù)據(jù)，并且如果沒有足夠的數(shù)據(jù)，就會在任務(wù)中途崩潰。Kove的軟件定義內(nèi)存 （SDM） 解決方案旨在通過池化內(nèi)存并將其動態(tài)分配給服務(wù)器來緩解這個問題。

軟件定義內(nèi)存的工作原理

Overton 指出，許多計算機科學(xué)家認為使用外部存儲器（至少與在本地處理數(shù)據(jù)的效率相同）是不可能的，這樣的壯舉將違背物理定律。問題歸結(jié)為電子只能以光速傳播的事實。因此，如果外部存儲器距離它所服務(wù)的計算機150米，則到達外部服務(wù)器的電子將不可避免地存在約500納秒的延遲：數(shù)據(jù)必須傳輸?shù)拿恳幻状蠹s有3.3納秒的延遲?！叭藗冋J為這個問題是無法解決的，”O(jiān)verton 說。SDM能夠克服這個問題并以超快的速度利用池內(nèi)存，因為它戰(zhàn)略性地劃分正在處理的數(shù)據(jù)。它確保在本地最有效地處理的數(shù)據(jù)保留在CPU中，而其他數(shù)據(jù)駐留在外部內(nèi)存池中。雖然這實際上傳輸數(shù)據(jù)的速度并不比光速快，但它比使用 CPU 在本地處理所有數(shù)據(jù)更有效。通過這種方式，SDM 實際上可以比將數(shù)據(jù)保存在本地更快地處理數(shù)據(jù)。

“我們很聰明地確保處理器從本地主板獲得所需的內(nèi)存，”O(jiān)verton 解釋說。“結(jié)果是驚人的?！崩?，他指出該公司的合作伙伴之一Red Hat使用Kove的系統(tǒng)后，延遲減少了 9%。

池化內(nèi)存的節(jié)能

Kove 方法的另一個關(guān)鍵優(yōu)勢是能源需求大幅減少。通常，科學(xué)家需要在他們可用的任何服務(wù)器上運行模型，并且通常需要在大型服務(wù)器上運行中型模型，以適應(yīng)內(nèi)存需求的臨時峰值。這意味著為相對較小的計算作業(yè)運行更大、更耗能的服務(wù)器。

但是，當內(nèi)存被池化并在不同的服務(wù)器之間動態(tài)分配時，就像 SDM 一樣，將使用所需的確切服務(wù)器內(nèi)存量。因此只需要更少的服務(wù)器來獲得相同的結(jié)果，從而使用更少的功率。Kove 聲稱，Red Hat與服務(wù)器公司Supermicro合作，通過使用Kove的系統(tǒng)實現(xiàn)了高達54%的能源節(jié)省。這減少了公司為GB作業(yè)購買TB級服務(wù)器的需求，從而節(jié)省了成本并提高了效率。

“給出記憶需要200毫秒，”O(jiān)verton 說，并指出這大約是一個人眨眼需要多長時間?！八哉娴恼ＵＱ?，你就會得到你需要的記憶?！?

Kove的客戶全球金融消息傳遞網(wǎng)絡(luò)Swift，測試了Kove的方法，與在相同硬件上運行相同作業(yè)但使用傳統(tǒng)內(nèi)存方法的虛擬機相比，在訓(xùn)練模型時速度提高了60倍。“想象一下，如果一份60天的工作需要1天，或者一份1小時的工作需要1分鐘。只需點擊幾下 [使用我們的軟件]，“Overton 說。