麻省理工學院的研究人員創(chuàng)建了一個周期表，展示了 20 多種經(jīng)典機器學習算法之間的聯(lián)系。這個新框架揭示了科學家如何融合不同方法的策略，以改進現(xiàn)有的 AI 模型或提出新的模型。

例如，研究人員使用他們的框架結(jié)合了兩種不同算法的元素，創(chuàng)建了一種新的圖像分類算法，其性能比當前最先進的方法提高了8%。

這個周期表源于一個關(guān)鍵思想：所有這些算法學習的是數(shù)據(jù)點之間的一種特定關(guān)系。雖然每種算法可能以略微不同的方式完成這一點，但每種方法背后的核心數(shù)學是相同的。

基于這些見解，研究人員確定了一個統(tǒng)一方程，它構(gòu)成了許多經(jīng)典 AI 算法的基礎。他們使用該方程重新構(gòu)建了流行的方法，并將它們排列成一個表格，根據(jù)它們學習的近似關(guān)系對每種方法進行分類。

就像化學元素周期表最初包含空白方格并由科學家填補一樣，機器學習周期表也有空白之處。這些空白處預示著算法應該存在但尚未被發(fā)現(xiàn)的地方。

該表為研究人員提供了一套工具，使他們能夠在無需重新發(fā)現(xiàn)先前方法中的想法的情況下設計新算法，這是麻省理工學院研究生、該論文的主要作者 Shaden Alshammari 說的。

Alshammari 補充道：“這不僅僅是一個比喻。我們開始將機器學習視為一個有結(jié)構(gòu)的系統(tǒng)，一個我們可以探索的空間，而不是僅僅猜測著前進?！?/p>

她與論文合著者 John Hershey（谷歌人工智能感知研究員）、麻省理工學院研究生 Axel Feldmann、電氣工程與計算機科學托馬斯和格爾德·皮爾金斯教授威廉·弗里曼（計算機科學與人工智能實驗室成員）以及資深作者 Mark Hamilton（麻省理工學院研究生和微軟高級工程經(jīng)理）共同撰寫了這篇論文。該研究將在學習表示國際會議上發(fā)表。

一個意外的方程式

研究人員最初并沒有打算創(chuàng)建一個機器學習的元素周期表。

加入弗里曼實驗室后，阿爾沙馬里開始研究聚類，這是一種機器學習技術(shù)，通過學習將相似的圖像組織到附近的集群中來對圖像進行分類。

她意識到她正在研究的聚類算法與另一種經(jīng)典的機器學習算法，稱為對比學習，非常相似，并開始深入研究數(shù)學。阿爾沙馬里發(fā)現(xiàn)這兩個不同的算法可以用同一個基本方程式重新表述。

"我們幾乎偶然地得到了這個統(tǒng)一方程。一旦 Shaden 發(fā)現(xiàn)它能連接兩種方法，我們就開始夢想將新的方法引入這個框架。我們嘗試的幾乎每一種方法都可以加入其中，"漢密爾頓說。

他們創(chuàng)建的框架，信息對比學習（I-Con），展示了如何通過這個統(tǒng)一方程的視角來看待各種算法。它包括從可以檢測垃圾郵件的分類算法到為 LLMs 提供動力的深度學習算法。

該方程描述了這些算法如何找到真實數(shù)據(jù)點之間的連接，然后在內(nèi)部近似這些連接。

每種算法都旨在最小化它所學習來近似連接與訓練數(shù)據(jù)中的真實連接之間的偏差。

他們決定將 I-Con 組織成一個周期表，根據(jù)點在真實數(shù)據(jù)集中的連接方式以及算法可以近似這些連接的主要方式來對算法進行分類。

"這項工作逐漸展開，一旦我們確定了這個方程的總體結(jié)構(gòu)，就更容易向我們的框架中添加更多方法了，Alshammari 說。"

發(fā)現(xiàn)工具

當他們排列這張表時，研究人員開始看到一些算法可以存在但尚未發(fā)明的空白。

"研究人員通過借鑒一種名為對比學習的機器學習技術(shù)，并將其應用于圖像聚類，填補了一個空白。這產(chǎn)生了一種新算法，該算法在分類未標記圖像方面比另一種最先進的方法提高了 8%。

他們還使用 I-Con 展示了如何將針對對比學習開發(fā)的數(shù)據(jù)去偏技術(shù)用于提高聚類算法的準確性。

此外，靈活的周期表允許研究人員添加新的行和列來表示額外的數(shù)據(jù)點連接類型。

最終，將 I-Con 作為指南可以幫助機器學習科學家跳出思維定式，鼓勵他們將想法以他們原本可能不會想到的方式結(jié)合起來，漢密爾頓說。

“我們已經(jīng)證明，僅僅一個非常優(yōu)雅的方程式，植根于信息科學，就能給你跨越100年機器學習研究的豐富算法。這為發(fā)現(xiàn)開辟了許多新的途徑，”他補充道。

這項研究得到了空軍人工智能加速器、國家科學基金會人工智能與基礎相互作用研究所和量子計算機的部分資助。