Naveen Verma 在普林斯頓大學(xué)的實(shí)驗(yàn)室就像一個(gè)博物館，展示了工程師們?cè)噲D通過使用模擬現(xiàn)象而不是數(shù)字計(jì)算來提高 AI 超高效的所有方法。一個(gè)工作臺(tái)上是有史以來最節(jié)能的基于磁記憶的神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)。在另一個(gè)位置，您會(huì)發(fā)現(xiàn)一個(gè)基于電阻存儲(chǔ)器的芯片，它可以計(jì)算迄今為止任何模擬 AI 系統(tǒng)中最大的數(shù)字矩陣。

Verma 表示，兩者都沒有商業(yè)前景。不那么仁慈的是，他實(shí)驗(yàn)室的這一部分是一個(gè)墓地。

多年來，Analog AI 一直吸引著芯片架構(gòu)師的想象力。它結(jié)合了兩個(gè)關(guān)鍵概念，這兩個(gè)概念應(yīng)該會(huì)大大降低機(jī)器學(xué)習(xí)的能源密集度。首先，它限制了存儲(chǔ)芯片和處理器之間昂貴的位移動(dòng)。其次，它不是邏輯的 1 和 0，而是使用電流的物理學(xué)來有效地進(jìn)行機(jī)器學(xué)習(xí)的關(guān)鍵計(jì)算。

盡管這個(gè)想法很有吸引力，但各種模擬 AI 方案并沒有以一種可以真正消除 AI 令人震驚的能源胃口的方式實(shí)現(xiàn)。維爾瑪會(huì)知道的。他都試過了。

但是，當(dāng) IEEE Spectrum 一年前訪問時(shí)，Verma 實(shí)驗(yàn)室后面有一個(gè)芯片，它代表了模擬 AI 和使 AI 有用和無處不在所需的節(jié)能計(jì)算的一些希望。芯片不是用電流計(jì)算，而是對(duì)電荷求和。這似乎是一個(gè)無關(guān)緊要的差異，但它可能是克服阻礙所有其他模擬 AI 方案的噪聲的關(guān)鍵。

本周，Verma 的初創(chuàng)公司 EnCharge AI 推出了第一款基于這種新架構(gòu)的芯片 EN100。這家初創(chuàng)公司聲稱，該芯片可以處理各種 AI 工作，每瓦性能比競爭對(duì)手的芯片高 20 倍。它被設(shè)計(jì)到單個(gè)處理器卡中，以 8.25 瓦的功率每秒增加 200 萬億次作，旨在延長支持 AI 的筆記本電腦的電池壽命。最重要的是，一個(gè) 4 芯片、每秒 1000 萬億次作的卡面向 AI 工作站。

當(dāng)前和巧合

在機(jī)器學(xué)習(xí)中，“事實(shí)證明，憑著愚蠢的運(yùn)氣，我們所做的主要作是矩陣乘法，”Verma 說。這基本上是取一個(gè)數(shù)字?jǐn)?shù)組，將其乘以另一個(gè)數(shù)組，然后將所有這些乘法的結(jié)果相加。很早，工程師們就注意到了一個(gè)巧合：電氣工程的兩條基本規(guī)則可以準(zhǔn)確地完成這一作。歐姆定律說，您可以通過乘以電壓和電導(dǎo)來獲得電流?；鶢柣舴螂娏鞫烧f，如果有一堆電流從一堆電線進(jìn)入一個(gè)點(diǎn)，那么這些電流的總和就是離開該點(diǎn)的。所以基本上，一堆輸入電壓中的每一個(gè)都推動(dòng)電流通過一個(gè)電阻（電導(dǎo)是電阻的倒數(shù)），乘以電壓值，所有這些電流加起來產(chǎn)生一個(gè)值。數(shù)學(xué)，完成。

聽起來不錯(cuò)？嗯，它會(huì)變得更好。構(gòu)成神經(jīng)網(wǎng)絡(luò)的大部分?jǐn)?shù)據(jù)都是 “權(quán)重”，即輸入乘以的數(shù)據(jù)。將這些數(shù)據(jù)從內(nèi)存移動(dòng)到處理器的邏輯中來完成這項(xiàng)工作，這占了 GPU 消耗的很大一部分能量。相反，在大多數(shù)模擬 AI 方案中，權(quán)重作為電導(dǎo)值（上面的電阻）存儲(chǔ)在幾種類型的非易失性存儲(chǔ)器之一中。因?yàn)橹亓繑?shù)據(jù)已經(jīng)在需要執(zhí)行計(jì)算的位置，所以它不必移動(dòng)那么多，從而節(jié)省了大量能源。

自由數(shù)學(xué)和穩(wěn)態(tài)數(shù)據(jù)的結(jié)合有望實(shí)現(xiàn)只需要萬億分之一焦耳能量的計(jì)算。不幸的是，這并不是模擬 AI 工作所帶來的好處。

電流的麻煩

任何類型的模擬計(jì)算的根本問題始終是信噪比。Analog AI 一卡車都有。信號(hào)（在本例中為所有這些乘法的總和）往往會(huì)被許多可能的噪聲源所淹沒。

“問題是，半導(dǎo)體器件是雜亂無章的東西，”Verma 說。假設(shè)你有一個(gè)模擬神經(jīng)網(wǎng)絡(luò)，其中權(quán)重作為電導(dǎo)存儲(chǔ)在單個(gè) RRAM 單元中。通過在 RRAM 單元上設(shè)置相對(duì)較高的電壓來存儲(chǔ)此類權(quán)重值，并持續(xù)一段規(guī)定的時(shí)間。問題是，您可以在相同的時(shí)間內(nèi)在兩個(gè)電池上設(shè)置完全相同的電壓，而這兩個(gè)電池最終的電導(dǎo)值會(huì)略有不同。更糟糕的是，這些電導(dǎo)值可能會(huì)隨溫度而變化。

差異可能很小，但請(qǐng)記住，該運(yùn)算會(huì)加很多乘法，因此噪聲會(huì)被放大。更糟糕的是，產(chǎn)生的電流隨后會(huì)轉(zhuǎn)化為電壓，作為下一層神經(jīng)網(wǎng)絡(luò)的輸入，這一步驟會(huì)進(jìn)一步增加噪聲。

研究人員從計(jì)算機(jī)科學(xué)和設(shè)備物理學(xué)的角度解決了這個(gè)問題。為了補(bǔ)償噪聲，研究人員發(fā)明了將設(shè)備物理弱點(diǎn)的一些知識(shí)融入到他們的神經(jīng)網(wǎng)絡(luò)模型中的方法。其他公司則專注于制造行為盡可能可預(yù)測(cè)的設(shè)備。IBM 在這一領(lǐng)域進(jìn)行了廣泛的研究，兩者兼而有之。

此類技術(shù)在較小規(guī)模的系統(tǒng)中即使尚未在商業(yè)上取得成功，也具有競爭力，這些芯片旨在為 IoT 網(wǎng)絡(luò)邊緣的設(shè)備提供低功耗機(jī)器學(xué)習(xí)。早期進(jìn)入者 Mythic AI 已經(jīng)生產(chǎn)了不止一代的模擬 AI 芯片，但它正在低功耗數(shù)字芯片取得成功的領(lǐng)域競爭。

用于 PC 的 EN100 卡是一種新的模擬 AI 芯片架構(gòu)。EnCharge 人工智能

電容器一路向下

EnCharge 的解決方案通過測(cè)量電荷量而不是機(jī)器學(xué)習(xí)乘法累加法中的電荷流來消除噪聲。在傳統(tǒng)的模擬 AI 中，乘法取決于電壓、電導(dǎo)和電流之間的關(guān)系。在這個(gè)新方案中，它取決于電壓、電容和電荷之間的關(guān)系，其中基本上，電荷等于電容乘以電壓。

為什么這種差異很重要？這歸結(jié)為執(zhí)行乘法運(yùn)算的組件。EnCharge 沒有使用像 RRAM 這樣挑剔、易受攻擊的設(shè)備，而是使用電容器。

電容器基本上是夾在絕緣體中的兩個(gè)導(dǎo)體。導(dǎo)體之間的電壓差會(huì)導(dǎo)致電荷在其中一個(gè)導(dǎo)體上積聚。對(duì)于機(jī)器學(xué)習(xí)而言，它們的關(guān)鍵是它們的值（電容）由它們的大小決定。（更大的導(dǎo)體面積或?qū)w之間的空間更小意味著更大的電容。

“他們唯一依賴的是幾何形狀，基本上是電線之間的空間，”Verma 說?！斑@是 CMOS 技術(shù)中可以非常非常好地控制的一件事?！盓nCharge 在其處理器硅片上方的銅互連層中構(gòu)建了一系列精確計(jì)算的電容器。

構(gòu)成神經(jīng)網(wǎng)絡(luò)模型大部分的數(shù)據(jù)（權(quán)重）存儲(chǔ)在數(shù)字存儲(chǔ)單元陣列中，每個(gè)存儲(chǔ)單元都連接到一個(gè)電容器。然后使用單元內(nèi)置的簡單邏輯將神經(jīng)網(wǎng)絡(luò)正在分析的數(shù)據(jù)乘以權(quán)重位，結(jié)果以電荷的形式存儲(chǔ)在電容器上。然后數(shù)組切換到一種模式，其中乘法結(jié)果的所有電荷都累積起來，結(jié)果被數(shù)字化。

雖然最初的發(fā)明可以追溯到 2017 年，對(duì) Verma 的實(shí)驗(yàn)室來說是一個(gè)重要的時(shí)刻，但他表示，基本概念已經(jīng)相當(dāng)古老了?！斑@被稱為開關(guān)電容器作;事實(shí)證明，我們已經(jīng)這樣做了幾十年，“他說。例如，它用于商用高精度模數(shù)轉(zhuǎn)換器?！拔覀兊膭?chuàng)新是弄清楚如何在執(zhí)行內(nèi)存計(jì)算的架構(gòu)中使用它?！?/p>

競爭

Verma 的實(shí)驗(yàn)室和 EnCharge 花了數(shù)年時(shí)間證明該技術(shù)是可編程和可擴(kuò)展的，并將其與適合 AI 需求的架構(gòu)和軟件堆棧進(jìn)行協(xié)同優(yōu)化，這與 2017 年大不相同。由此產(chǎn)生的產(chǎn)品現(xiàn)在由早期訪問開發(fā)人員提供，該公司（最近從 Samsung Venture、Foxconn 和其他公司籌集了 1 億美元）計(jì)劃進(jìn)行另一輪早期訪問合作。

但 EnCharge 正在進(jìn)入一個(gè)競爭激烈的領(lǐng)域，競爭對(duì)手中就有大 kahuna，Nvidia。 在 3 月份的大型開發(fā)者活動(dòng) GTC 上，Nvidia 宣布計(jì)劃圍繞其 GB10 CPU-GPU 組合構(gòu)建 PC 產(chǎn)品，并圍繞即將推出的 GB300 構(gòu)建工作站。

在 EnCharge 所追求的低功耗領(lǐng)域?qū)⒋嬖诖罅扛偁帯Ｆ渲幸恍┥踔潦褂媚撤N形式的內(nèi)存計(jì)算。例如，D-Matrix 和 Axelera 繼承了模擬 AI 的承諾，將內(nèi)存嵌入到計(jì)算中，但以數(shù)字方式完成所有工作。他們各自開發(fā)了定制的 SRAM 存儲(chǔ)單元，這些單元既可以存儲(chǔ)和乘法，也可以以數(shù)字方式進(jìn)行求和運(yùn)算。甚至至少還有一家更傳統(tǒng)的模擬 AI 初創(chuàng)公司 Sagence。

不出所料，維爾馬很樂觀。他在一份聲明中說，這項(xiàng)新技術(shù)“意味著先進(jìn)、安全和個(gè)性化的人工智能可以在本地運(yùn)行，而無需依賴云基礎(chǔ)設(shè)施”。“我們希望這將從根本上擴(kuò)展您可以使用 AI 的功能。”

EnCharge AI 的工作站和邊緣計(jì)算機(jī)主板集成了四個(gè) EN100 芯片。

 原始圖片：EnCharge AI