Innatera 開發(fā)的 Pulsar 片上系統(tǒng) （SoC） 集成了多個低功耗人工智能/機器學習 （AI/ML） 脈沖神經(jīng)網(wǎng)絡(luò) （SNN） 加速器，這些加速器針對基于傳感器的解決方案（圖 1）。我與 Innatera 的首席執(zhí)行官 Sumeet Kumar 討論了這款 SoC 如何在基于電池供電或能量收集的應(yīng)用中提供始終在線 （AON） 的神經(jīng)網(wǎng)絡(luò)作。

1. Innatera 的 Pulsar 片上系統(tǒng)集成了模擬和數(shù)字尖峰神經(jīng)網(wǎng)絡(luò) （SNN） 以及 FFT 和 CNN 加速。

與基于云的 AI/ML 支持和更耗電、非 SNN、基于邊緣的解決方案相比，AON作和在本地處理所有數(shù)據(jù)的能力在延遲、隱私和性能方面具有顯著優(yōu)勢。

模擬和數(shù)字尖峰神經(jīng)網(wǎng)絡(luò)有什么區(qū)別？

脈沖神經(jīng)網(wǎng)絡(luò)，也稱為神經(jīng)形態(tài)計算，比卷積神經(jīng)網(wǎng)絡(luò) （CNN） 等傳統(tǒng)的數(shù)字深度神經(jīng)網(wǎng)絡(luò) （DNN） 與生物神經(jīng)元的關(guān)系更密切。SNN 使用基于時間的 “尖峰” 作為輸入，導致 “神經(jīng)元” 根據(jù)與輸入相關(guān)的權(quán)重產(chǎn)生額外的尖峰（圖 2）。這模擬了真實神經(jīng)元的運作方式，而 CNN 則并行處理所有輸入。

2. 脈沖神經(jīng)網(wǎng)絡(luò)是面向時間的，帶有 “spikes”。

SNN 可以作為模擬或數(shù)字電路實現(xiàn)。主要區(qū)別在于它們的實現(xiàn)方式，而不是它們的邏輯作。兩者都利用權(quán)重并通過多級數(shù)組觸發(fā)神經(jīng)元。模擬方法具有連續(xù)運行和集成以及非常低功耗運行的優(yōu)勢。數(shù)字方法更靈活，更適合某些模型。

Innatera 的 Pulsar 包括模擬和數(shù)字 SNN 加速，使開發(fā)人員能夠選擇用于特定 AI/ML SNN 模型的選項。

為什么在一個芯片上混合使用模擬和數(shù)字 SNN？

該公司在 Pulsar 上混合了多個加速器。這包括模擬和數(shù)字 SNN 加速器以及 CNN 和快速傅里葉變換 （FFT）。每個都有自己的優(yōu)勢，允許開發(fā)人員根據(jù)應(yīng)用程序利用每個。加速器針對應(yīng)用程序的特定方面進行了優(yōu)化;他們可能在特定時間活躍，也可能不活躍。例如，超低功耗模擬 SNN 可用于跟蹤傳感器作，并在檢測到某些情況時啟動其余硬件。

如何混合使用模型的一個示例是智能門鈴，它確定何時在視野中。傳感器可以是視頻、紅外或雷達。SSN 精通這種類型的身份證明。

為什么 SNN 是始終在線的機器學習作的關(guān)鍵

Pulsar 的 SNN 效率比在傳統(tǒng)的數(shù)字 DNN 中實現(xiàn)類似模型高出大約兩個數(shù)量級。這種電力要求的降低從根本上改變了

AI/ML 加速器由支持浮點的 32 位 RISC-V 處理器控制，類似于 Arm Cortex-M4F。它可以處理 AI/ML 雜務(wù)，但通常它管理數(shù)據(jù)、通信和系統(tǒng)作。處理器可以在 SNN 運行時休眠。

Pulsar 采用 2.8 × 2.6 mm 晶圓級芯片級封裝 （WLCSP）。軟件支持通過 Innatera 的 Talamo 套件提供，該套件與 PyTorch 集成。開發(fā)人員可以在 PyTorch 中創(chuàng)建和測試模型，以便在 Pulsar 上實現(xiàn)。仿真器提供芯片的全功能仿真，使開發(fā)人員能夠在模擬和數(shù)字 SSN 以及 CNN 加速器上測試模型。