微軟研究人員剛剛創(chuàng)建了 BitNet b1.58 2B4T，這是一個(gè)開(kāi)源的 1 位大型語(yǔ)言模型 (LLM)，擁有 20 億個(gè)參數(shù)，基于 4 萬(wàn)億個(gè)詞元進(jìn)行訓(xùn)練。該 AI 模型的獨(dú)特之處在于其輕量級(jí)設(shè)計(jì)，能夠在 CPU 上高效運(yùn)行，TechCrunch 稱(chēng) Apple M2 芯片也能運(yùn)行該模型。該模型也可在 Hugging Face 上輕松獲取，任何人都可以進(jìn)行實(shí)驗(yàn)。

Bitnets 使用 1 位權(quán)重，且只有三個(gè)可能值：-1、0 和 +1——由于支持三個(gè)值，從技術(shù)上講，它是一個(gè)「1.58 位模型」。與采用 32 位或 16 位浮點(diǎn)格式的主流 AI 模型相比，這節(jié)省了大量?jī)?nèi)存，使其能夠更高效地運(yùn)行，并減少對(duì)內(nèi)存和計(jì)算能力的需求。然而，Bitnet 的簡(jiǎn)潔性也有一個(gè)缺點(diǎn)——與大型 AI 模型相比，它的準(zhǔn)確性較低。不過(guò)，BitNet b1.58 2B4T 憑借其海量訓(xùn)練數(shù)據(jù)（估計(jì)超過(guò) 3300 萬(wàn)冊(cè)書(shū)籍）彌補(bǔ)了這一缺陷。

這款輕量級(jí)模型背后的團(tuán)隊(duì)將其與領(lǐng)先的主流模型進(jìn)行了比較，包括 Meta 的 LLaMa 3.2 1B、谷歌的 Gemma 3 1B 和阿里巴巴的 Qwen 2.5 1.5B。BitNet b1.58 2B4T 在大多數(shù)測(cè)試中都比這些模型取得了相對(duì)不錯(cuò)的成績(jī)，甚至在一些基準(zhǔn)測(cè)試中獲得了最高榮譽(yù)。更重要的是，它僅消耗了 400MB 的非嵌入式內(nèi)存，不到第二小模型（Gemma 3 1B）1.4 GB 內(nèi)存的 30%。

然而，LLM 必須使用 bitnet.cpp 推理框架才能高效運(yùn)行。該團(tuán)隊(duì)特別指出，「即使使用必要的 fork，該模型與標(biāo)準(zhǔn) Transformer 庫(kù)一起使用時(shí)，也不會(huì)獲得性能效率提升」。

如果您想在輕量級(jí)硬件上充分利用其優(yōu)勢(shì)，則需要獲取 GitHub 上提供的框架。該存儲(chǔ)庫(kù)將 bitnet.cpp 描述為「提供一套優(yōu)化的內(nèi)核，支持在 CPU 上快速無(wú)損地推理 1.58 位模型（后續(xù)將支持 NPU 和 GPU）。雖然它目前不支持 AI 專(zhuān)用硬件，但它仍然允許任何擁有計(jì)算機(jī)的人在無(wú)需昂貴組件的情況下進(jìn)行 AI 實(shí)驗(yàn)。

人工智能模型常常因訓(xùn)練和運(yùn)行耗能過(guò)高而受到詬病。但輕量級(jí)的 LLM（例如 BitNet b1.58 2B4T）可以幫助我們?cè)谛阅茌^弱的硬件上本地運(yùn)行人工智能模型。這可以減少我們對(duì)大型數(shù)據(jù)中心的依賴(lài)，甚至讓那些無(wú)法使用內(nèi)置 NPU 的最新處理器和最強(qiáng)大 GPU 的人也能使用人工智能。

可以看到，微軟正在 AI 領(lǐng)域做更多的探索。前不久，微軟正將旗下多項(xiàng)人工智能功能全面開(kāi)放給搭載英特爾和 AMD 芯片的 Copilot Plus PC。此前，這些先進(jìn)的 AI 特性主要面向配備高通芯片的同類(lèi)電腦。此次功能更新中最引人注目的是「實(shí)時(shí)字幕」（Live Captions）。這項(xiàng)功能能夠?qū)崟r(shí)將數(shù)十種不同語(yǔ)言的音頻翻譯成英文字幕。微軟早在去年 12 月就開(kāi)始在搭載英特爾和 AMD 芯片的設(shè)備上測(cè)試該功能，而現(xiàn)在，通過(guò)最新的 Windows 11 更新，所有符合條件的 Copilot Plus PC 用戶(hù)都可以使用這個(gè)強(qiáng)大的工具。

除了實(shí)時(shí)字幕外，本次更新還包括了畫(huà)圖應(yīng)用（Paint）中的 AI 工具「協(xié)同創(chuàng)作者」（Cocreator）。用戶(hù)只需輸入文字描述，并結(jié)合當(dāng)前的繪畫(huà)內(nèi)容，協(xié)同創(chuàng)作者便能生成相應(yīng)的圖像。此外，微軟還將進(jìn)一步擴(kuò)大照片應(yīng)用中 AI 圖像編輯器和生成器的使用權(quán)限，讓更多用戶(hù)能夠輕松進(jìn)行智能圖像處理和創(chuàng)作。

值得注意的是，此前這些 AI 功能僅在采用高通芯片的 Copilot Plus PC 上提供。微軟去年已開(kāi)始在英特爾和 AMD 設(shè)備上測(cè)試另一項(xiàng)名為「Recall」的 AI 功能。該功能可以截取用戶(hù)在 Copilot Plus PC 上的活動(dòng)屏幕截圖，并允許用戶(hù)進(jìn)行搜索。盡管如此，微軟尚未公布 Recall 功能何時(shí)能夠正式向所有用戶(hù)開(kāi)放。

與此同時(shí)，微軟還在搭載高通芯片的 Copilot Plus PC 上更新了「語(yǔ)音訪(fǎng)問(wèn)」（Voice Access）功能。這是一項(xiàng)輔助功能，旨在幫助用戶(hù)通過(guò)語(yǔ)音控制電腦。微軟表示，使用高通芯片設(shè)備的語(yǔ)音訪(fǎng)問(wèn)用戶(hù)現(xiàn)在將能夠「使用更具描述性和靈活性的語(yǔ)言與他們的電腦進(jìn)行交流」。此外，本次更新還新增了將 27 種語(yǔ)言翻譯成簡(jiǎn)體中文的功能。微軟方面透露，計(jì)劃在未來(lái)將這兩項(xiàng)語(yǔ)音訪(fǎng)問(wèn)的更新推廣到搭載英特爾和 AMD 芯片的設(shè)備上。