來源：pythonic生物人

深度學(xué)習(xí)和簡單的統(tǒng)計學(xué)是一回事嗎？很多人可能都有這個疑問，畢竟二者連術(shù)語都有很多相似的地方。在這篇文章中，理論計算機(jī)科學(xué)家、哈佛大學(xué)知名教授 Boaz Barak 詳細(xì)比較了深度學(xué)習(xí)與經(jīng)典統(tǒng)計學(xué)的差異，認(rèn)為“如果純粹從統(tǒng)計學(xué)角度認(rèn)識深度學(xué)習(xí)，就會忽略其成功的關(guān)鍵因素”。

圖源：https://twitter.com/YiMaTweets/status/1553913464183091200

深度學(xué)習(xí)（或一般的機(jī)器學(xué)習(xí)）經(jīng)常被認(rèn)為是簡單的統(tǒng)計學(xué)，即它與統(tǒng)計學(xué)家研究的基本是相同的概念，但是使用與統(tǒng)計學(xué)不同的術(shù)語來描述。Rob Tibshirani 曾總結(jié)了下面這個有趣的“詞匯表”：

表中的某些內(nèi)容是不是很能引起共鳴？事實上所有從事機(jī)器學(xué)習(xí)的人都清楚，Tibshiriani 發(fā)布的這張表中，右側(cè)的許多術(shù)語在機(jī)器學(xué)習(xí)中已被廣泛使用。

如果純粹從統(tǒng)計學(xué)角度認(rèn)識深度學(xué)習(xí)，就會忽略其成功的關(guān)鍵因素。對深度學(xué)習(xí)更恰當(dāng)?shù)脑u價是：它使用統(tǒng)計學(xué)術(shù)語來描述完全不同的概念。

對深度學(xué)習(xí)的恰當(dāng)評價不是它用不同的詞來描述舊的統(tǒng)計術(shù)語，而是它用這些術(shù)語來描述完全不同的過程

本文會解釋為什么深度學(xué)習(xí)的基礎(chǔ)其實不同于統(tǒng)計學(xué)，甚至不同于經(jīng)典的機(jī)器學(xué)習(xí)。本文首先討論模型擬合數(shù)據(jù)時的「解釋（explanation）」任務(wù)和「預(yù)測（prediction）」任務(wù)之間的差異。接著討論學(xué)習(xí)過程的兩個場景：

1. 使用經(jīng)驗風(fēng)險最小化擬合統(tǒng)計模型; 

2. 向?qū)W生傳授數(shù)學(xué)技能。然后，文章又討論了哪一個場景更接近深度學(xué)習(xí)的本質(zhì)。

雖然深度學(xué)習(xí)的數(shù)學(xué)和代碼與擬合統(tǒng)計模型幾乎相同。但在更深層次上，深度學(xué)習(xí)更像是向?qū)W生傳授數(shù)學(xué)技能這種場景。而且應(yīng)該很少有人敢宣稱：我掌握了完整的深度學(xué)習(xí)理論！其實是否存在這樣的理論也是存疑的。相反深度學(xué)習(xí)的不同方面最好從不同的角度來理解，而僅僅從統(tǒng)計角度無法提供完整的藍(lán)圖。

本文對比了深度學(xué)習(xí)和統(tǒng)計學(xué)，這里的統(tǒng)計學(xué)特指的是“經(jīng)典統(tǒng)計學(xué)”，因為它被研究得最久，并且在教科書中經(jīng)久不衰。許多統(tǒng)計學(xué)家正在研究深度學(xué)習(xí)和非經(jīng)典理論方法，就像 20 世紀(jì)物理學(xué)家需要擴(kuò)展經(jīng)典物理學(xué)的框架一樣。事實上，模糊計算機(jī)科學(xué)家和統(tǒng)計學(xué)家之間的界限對雙方都是有利的。

一、預(yù)測與模型擬合

一直以來，科學(xué)家們都是將模型計算結(jié)果與實際觀測結(jié)果進(jìn)行比較，以驗證模型的準(zhǔn)確性。埃及天文學(xué)家托勒密提出了關(guān)于行星運(yùn)動的巧妙模型。托勒密的模型遵循地心說，但有一系列的本輪（見下圖），使其具有極好的預(yù)測準(zhǔn)確性。相比之下，哥白尼最初的日心說模型比托勒密模型簡單，但在預(yù)測觀察結(jié)果方面不太準(zhǔn)確。（哥白尼后來添加了自己的本輪，以便能夠與托勒密的模型媲美。）

托勒密和哥白尼的模型都是無與倫比的。如果我們想通過 “黑盒” 進(jìn)行預(yù)測，那么托勒密的地心模型更勝一籌。但如果你想要一個簡單的模型，以便可以“觀察模型內(nèi)部”（這是解釋恒星運(yùn)動理論的起點），那么哥白尼的模型是不二選擇。后來，開普勒將哥白尼的模型改進(jìn)為橢圓軌道，并提出了開普勒行星運(yùn)動三定律，這使得牛頓能夠用適用于地球的引力定律來解釋行星規(guī)律。

因此，重要的是，日心說模型不只是一個提供預(yù)測的“黑盒”，而是由幾個簡單的數(shù)學(xué)方程給出的，但是方程中的 “運(yùn)動部分” 極少。多年來，天文學(xué)一直是發(fā)展統(tǒng)計技術(shù)的靈感來源。高斯和勒讓德分別獨立地在 1800 年左右發(fā)明了最小二乘回歸，以預(yù)測小行星和其他天體的軌道。1847 年，柯西發(fā)明了梯度下降法，這也是由天文預(yù)測推動的。

在物理學(xué)中，有時學(xué)者們可以掌握全部細(xì)節(jié)，從而找到 “正確” 的理論，把預(yù)測準(zhǔn)確性做到最優(yōu)，并且對數(shù)據(jù)做出最好的解釋。這些都在奧卡姆剃刀之類的觀點范疇內(nèi)，可以認(rèn)為是假設(shè)簡單性、預(yù)測能力和解釋性都相互和諧一致的。

然而，在許多其它領(lǐng)域，解釋和預(yù)測這兩個目標(biāo)之間的關(guān)系卻沒有那么和諧。如果只想預(yù)測觀察結(jié)果，通過 “黑盒” 可能是最好的。另一方面，如果想獲得解釋性的信息，如因果模型、通用原則或重要特征，那么可以理解和解釋的模型可能越簡單越好。

模型的正確選擇與否取決于其用途。例如，考慮一個包含許多個體的遺傳表達(dá)和表型（例如某些疾病）的數(shù)據(jù)集，如果目標(biāo)是預(yù)測一個人生病的幾率，那么無論它有多復(fù)雜或依賴于多少個基因，都要使用適配該任務(wù)的最佳預(yù)測模型。相反，如果目的是識別一些基因，以便進(jìn)行進(jìn)一步研究，那么一個復(fù)雜的非常精確的 “黑盒” 的用處是有限的。

統(tǒng)計學(xué)家 Leo Breiman 在 2001 年關(guān)于統(tǒng)計建模的兩種文化的著名文章中闡述了這一點。第一種是“數(shù)據(jù)建模文化”，側(cè)重于能解釋數(shù)據(jù)的簡單生成模型。第二種是“算法建模文化”，對數(shù)據(jù)的生成方式不可知，側(cè)重于尋找能夠預(yù)測數(shù)據(jù)的模型，無論其多么復(fù)雜。

文章鏈接：https://projecteuclid.org/journals/statistical-science/volume-16/issue-3/Statistical-Modeling--The-Two-Cultures-with-comments-and-a/10.1214/ss/1009213726.full

Breiman 認(rèn)為，統(tǒng)計學(xué)過于受第一種文化的支配，這種關(guān)注造成兩種問題：

• 導(dǎo)致了不相關(guān)的理論和可疑的科學(xué)結(jié)論。

• 阻止了統(tǒng)計學(xué)家研究令人興奮的新問題。

Breiman 的論文一出，就引起了一些爭議。同為統(tǒng)計學(xué)家的 Brad Efron 回應(yīng)說，雖然他同意一些觀點，但他也強(qiáng)調(diào)，Breiman 的論點似乎是反對節(jié)儉和科學(xué)見解，支持花大力氣制造復(fù)雜的“黑盒”。但在最近的一篇文章中，Efron 摒棄了之前的觀點，承認(rèn) Breima 更有先見之明，因為“21 世紀(jì)統(tǒng)計學(xué)的焦點都聚焦在預(yù)測算法上，在很大程度上沿著 Breiman 提出的路線演進(jìn)”。