自計算機時代來臨以來，全世界一直致力于精密計算機芯片的研發(fā)。正如我們所知，數(shù)字世界是無窮無盡的 1 和 0 的結(jié)果，芯片上處理的常數(shù)和具有明確的答案。但是在精確度不太重要的情況下可以進行什么樣的計算呢？

在計算中，處理過程中花費的大部分時間和精力都花在了在設(shè)備的處理器和內(nèi)存之間來回移動電子上。多年來，IBM 的研究人員一直致力于開發(fā)模擬內(nèi)存計算機芯片，計算是在內(nèi)存本身中進行的。這些芯片的目標既是為了節(jié)省能源，也是為了構(gòu)建可用于訓練和推理人工智能系統(tǒng)的設(shè)備。

我們使用計算機計算的內(nèi)容始終需要精確。

您無法猜測火箭的飛行路徑，或者希望您的稅務(wù)軟件能夠計算出您當年應(yīng)該支付的金額。但生活中有些事情并不一定要那么準確。例如，如果你在一個國家學習如何開車，你就會知道即使你從未見過另一個國家，你也很可能能夠弄清楚停車標志看起來像另一個國家。

在今年的 IEEE 國際電子設(shè)備會議 (IEDM) 上，IBM 研究人員展示了詳細介紹未來高效模擬芯片如何用于深度學習（用于訓練和推理）的工作。

在構(gòu)建 AI 系統(tǒng)時，您必須根據(jù)數(shù)據(jù)訓練模型。首次訓練模型時，模型推斷您想要什么的能力很差，無論是識別貓的照片還是尋找新的藥物創(chuàng)意。您可能必須運行該模型，根據(jù)您的結(jié)果調(diào)整其權(quán)重，然后再次運行該模型，重復直到它達到您所追求的準確度水平。因此，在已經(jīng)訓練好的模型上運行推理比從頭開始訓練模型要容易一些也就不足為奇了。

但這并非沒有挑戰(zhàn)的任務(wù)。研究員 Julian Buechel 在 IEDM 上發(fā)表了一篇論文，稱 IBM 的一組研究人員一直在研究如何將模型的權(quán)重準確地映射到模擬存儲芯片上以運行推理任務(wù)。

該團隊的工作表明相變存儲器設(shè)備有可能用于將神經(jīng)網(wǎng)絡(luò)的突觸權(quán)重映射到模擬傳導設(shè)備值。這些電導值需要準確，在過去，研究人員不得不向設(shè)備的每個cell發(fā)送電脈沖以弄清楚它是如何加權(quán)的，這可能很耗時?；刈x時，每個電池不會輸出大量電流，這也意味著在嘗試確定它們的權(quán)重時出錯的可能性很高。

該團隊沒有讀取每個cell，而是測試了是否有可能一次讀取神經(jīng)網(wǎng)絡(luò)一層中的所有細胞。畢竟，重要的是對應(yīng)于每一層的矩陣向量乘法運算的整體精度，而不是單個單元格的唯一精度，它可能會在測量一個設(shè)備和下一個設(shè)備之間的時間上動搖，或者在測量中有微小的偏差一個細胞和下一個細胞之間的電阻。通過該組的方法，模型的每一層都可以并行測試，他發(fā)現(xiàn)在神經(jīng)網(wǎng)絡(luò)（例如 CIFAR10 上的 ResNet9）的測試中，模型在模擬硬件上運行的準確率更高，更準確。比過去在模擬硬件上的努力更精確。該方法也與技術(shù)無關(guān)。

雖然這種方法還遠非完美，但它是使推理精度更接近數(shù)字加速器的關(guān)鍵一步，最終實現(xiàn)模擬內(nèi)存計算芯片的商業(yè)化。

創(chuàng)建可以訓練 AI 的系統(tǒng)比構(gòu)建可以推斷的系統(tǒng)更具挑戰(zhàn)性。由 Takashi Ando 領(lǐng)導的 IBM 研究人員與位于奧爾巴尼的 AI 硬件中心的合作伙伴公司 Tokyo Electron (TEL) 合作，一直致力于研究如何在模擬硬件上訓練 AI。在訓練 AI 模型時，您將數(shù)據(jù)輸入網(wǎng)絡(luò)，對其進行分類，然后通過網(wǎng)絡(luò)反向傳播誤差以微調(diào)權(quán)重。（推理實際上是訓練的一個子集，您只需使用訓練旅程的分類部分。）

使用傳統(tǒng)算法微調(diào)模型需要一個具有完美對稱電導變化的設(shè)備來準確更新權(quán)重，但目前還沒有這樣的設(shè)備。該領(lǐng)域的研究人員傾向于使用現(xiàn)有技術(shù)，例如傳統(tǒng)的 ReRAM 設(shè)備，但 IBM 團隊嘗試了一些不同的方法。該團隊采用全棧方法，協(xié)同優(yōu)化算法和硬件。這是已知的第一個在最先進的 CMOS 技術(shù)上應(yīng)用為 AI 訓練定制的算法和硬件的工作。

在使用模擬硬件訓練神經(jīng)網(wǎng)絡(luò)時，您需要尋找誤差函數(shù)的梯度；如果它們很陡，則可以大量更新權(quán)重。傳統(tǒng)上，梯度和權(quán)值信息存儲在同一個模擬設(shè)備中，對設(shè)備的對稱性要求很高。該團隊一直在研究一種稱為 Tiki-Taka 的算法（是的，就像不斷來回傳球的足球風格），旨在通過將梯度和權(quán)重信息分離到兩個不同的系統(tǒng)中來放寬對稱性要求。

對于實驗，該團隊一直在定制一個基于 14 納米 CMOS 的 ReRAM 陣列來測試他們的想法。

使用基于 ReRAM 陣列統(tǒng)計數(shù)據(jù)的模擬，研究人員發(fā)現(xiàn)，通過優(yōu)化 ReRAM 材料，他們可以在 MNIST 數(shù)據(jù)上獲得 97% 的準確率（浮點準確率 98.2%）和 Tiki-Taka 算法同時進行。TEL 利用其制造實力和與位于奧爾巴尼的 IBM Research 的長期密切合作關(guān)系，正在幫助開發(fā)新型 ReRAM 材料的沉積和蝕刻工藝。需要做更多的工作來實現(xiàn)大型 DNN 的浮點精度，但在 IEDM 上介紹這項工作的 Nanbo Gong 表示，該團隊確定了實現(xiàn)這一目標的途徑。

通過這兩項努力，IBM 研究院離我們可以在節(jié)能模擬硬件上訓練和運行 AI 系統(tǒng)的未來越來越近。

振華航空今日熱賣型號：

XC6SLX100-2FGG484I

XC6SLX150-2FGG484I

XC6SLX150-3FGG676C

XC6SLX150-3FGG676I

XC6SLX9-2TQG144C

XC6SLX9-2FTG256C

XC6SLX16-2CSG324I

公司：深圳振華航空半導體有限公司

公司熱線：400-8855-170

聯(lián)系方式：18926507567     QQ:549400747

公司網(wǎng)址：www.huayunbuluo.com

公司主營FPGA和存儲芯片，誠信經(jīng)營，大量現(xiàn)貨庫存，歡迎您隨時咨詢。