一大波人工智能芯片將在2018上市

深度神經(jīng)網(wǎng)絡(luò)就像遙遠(yuǎn)地平線上的海嘯一樣涌來(lái)。

鑒于該技術(shù)仍在演變的算法和應(yīng)用，目前還不清楚深度神經(jīng)網(wǎng)絡(luò)（DNNs）最終會(huì)帶來(lái)什么變化。但是，迄今為止，它們?cè)诜g文本、識(shí)別圖像和語(yǔ)言方面所取得的成就，清楚地表明他們將重塑計(jì)算機(jī)設(shè)計(jì)，而這種變化正在半導(dǎo)體設(shè)計(jì)和制造方面發(fā)生同樣深刻的變化。

量身定制的第一批商用芯片將于今年上市。由于訓(xùn)練新的神經(jīng)網(wǎng)絡(luò)模型可能需要幾周或幾個(gè)月的時(shí)間，因此這些芯片可能是迄今為止制造的最大的，因此也是最昂貴的大規(guī)模商用集成電路芯片。

今年的行業(yè)可能會(huì)看到來(lái)自創(chuàng)業(yè)公司Graphcore的一款微處理器，該公司不使用DRAM，而是來(lái)自競(jìng)爭(zhēng)對(duì)手Cerebras Systems的晶圓級(jí)集成開(kāi)拓先鋒。英特爾收購(gòu)的2.5-D Nervana芯片已經(jīng)在生產(chǎn)樣片，其他十幾個(gè)處理器正在開(kāi)發(fā)中。同時(shí)，從Arm到西部數(shù)據(jù)（Western Digital）的芯片公司正在研究?jī)?nèi)核，以加速深層神經(jīng)網(wǎng)絡(luò)的推理部分。

“我認(rèn)為（2018年）將是一場(chǎng)即將到來(lái)的派對(duì)?！奔又荽髮W(xué)伯克利分校名譽(yù)教授大衛(wèi)·帕特森（David Patterson）表示：“我們剛剛開(kāi)始看到許多公司正在評(píng)估一些想法?！?/p>

這個(gè)趨勢(shì)非常明顯，帕特森和合著者約翰·亨尼西（John Hennessey）在上個(gè)月發(fā)表的關(guān)于計(jì)算機(jī)的開(kāi)創(chuàng)性文本的最新版本中，為它寫(xiě)了一個(gè)新的篇章。作者對(duì)內(nèi)部設(shè)計(jì)提供了深入的見(jiàn)解，例如Patterson為其貢獻(xiàn)的Google TensorFlow處理器（TPU），以及最新Apple和Google智能手機(jī)芯片中的Microsoft Catapult FPGA和推理模塊。

“這是計(jì)算機(jī)體系結(jié)構(gòu)和封裝的復(fù)興。” Patterson說(shuō)：“明年我們會(huì)看到比過(guò)去十年更有趣的電腦?！?/p>

深度神經(jīng)網(wǎng)絡(luò)的興起在過(guò)去幾年里把風(fēng)險(xiǎn)投資的資金帶回到了半導(dǎo)體領(lǐng)域。 “EE Times(電子工程專(zhuān)輯美國(guó)版）”最新推出的初創(chuàng)公司評(píng)選項(xiàng)目“Silicon 60”中，列舉了七家初創(chuàng)公司，其中包括兩個(gè)鮮為人知的名稱(chēng)：寒武紀(jì)科技Cambricon Technologies（北京寒武紀(jì)科技）和Mythic Inc.（Austin，Texas）。

“我們看到基于新架構(gòu)的新創(chuàng)公司激增。我自己跟蹤了15到20家......過(guò)去10到15年中，在任何一個(gè)細(xì)分領(lǐng)域中半導(dǎo)體行業(yè)都不曾有超過(guò)15家的半導(dǎo)體公司同時(shí)涌現(xiàn)的事情”，企業(yè)家Chris Rowen說(shuō)。他從Cadence Design Systems離職后，成立了一家公司Cognite Ventures，專(zhuān)注于神經(jīng)網(wǎng)絡(luò)軟件。

“Nvidia由于其強(qiáng)大的軟件地位，將難以與高端服務(wù)器進(jìn)行訓(xùn)練的競(jìng)爭(zhēng)。如果你去追求智能手機(jī)市場(chǎng)你會(huì)覺(jué)得自己瘋了，因?yàn)槟惚仨氃诤芏喾矫娑甲龅贸錾?。不過(guò)在高端或是低端的智能手機(jī)市場(chǎng)，還是會(huì)可能有一些機(jī)會(huì)?！绷_文說(shuō)。

市場(chǎng)觀察家Linley集團(tuán)負(fù)責(zé)人Linley Gwennap表示，Nvidia在最新的GPU（Volta）方面做得非常出色，他們調(diào)整了對(duì)DNN的速度培訓(xùn)。 “但我當(dāng)然不認(rèn)為這是最好的設(shè)計(jì)，”Gwennap說(shuō)。

Gwennap說(shuō)，Graphcore（英國(guó)布里斯托爾）和Cerebras（加利福尼亞州Los Altos）是培訓(xùn)芯片最多的兩家初創(chuàng)公司，因?yàn)樗麄兓I集的資金最多，而且似乎擁有最好的團(tuán)隊(duì)。由Google前芯片設(shè)計(jì)師創(chuàng)立的初創(chuàng)公司Groq聲稱(chēng)，它將在2018年推出一款推理芯片，在每秒的總操作和推論中都會(huì)以四倍的優(yōu)勢(shì)擊敗競(jìng)爭(zhēng)對(duì)手。

英特爾的Nervana是一個(gè)大型線性代數(shù)加速器，位于硅中介層上，緊鄰四個(gè)8-GB HBM2存儲(chǔ)器堆棧。消息來(lái)源：Hennessy和Patterson著寫(xiě)的《計(jì)算機(jī)體系結(jié)構(gòu)：一種定量方法》

Intel的Nervana，被稱(chēng)為L(zhǎng)ake Crest（上圖），是最受關(guān)注的定制設(shè)計(jì)之一。它執(zhí)行16位矩陣操作，數(shù)據(jù)共享指令集中提供的單個(gè)5位指數(shù)。

與Nvidia的Volta一樣，Lake Crest邏輯器件位于TSMC的CoWoS（襯底上芯片上芯片）中介層上，緊鄰著四個(gè)HBM2高帶寬存儲(chǔ)器堆棧。這些芯片被設(shè)計(jì)成網(wǎng)狀，提供五到十倍于Volta的性能。

雖然去年微軟在DNN上使用了FPGA，但Patterson仍然對(duì)這種方法持懷疑態(tài)度。 “你為（FPGA）的靈活性付出了很多代價(jià)。編程真的很難，”他說(shuō)。

Gwennap在去年年底的一項(xiàng)分析中指出，DSP也將發(fā)揮作用。 Cadence、Ceva和Synopsys都提供面向神經(jīng)網(wǎng)絡(luò)的DSP內(nèi)核，他說(shuō)。

雖然芯片即將問(wèn)世，但是架構(gòu)師們還沒(méi)有決定如何去評(píng)估它們。

就像RISC處理器的早期，Patterson回憶說(shuō)，“每個(gè)公司都會(huì)說(shuō)，'你不能相信別人的基準(zhǔn)，但是你可以相信我的'，那不太好。

那時(shí)，RISC供應(yīng)商在SPEC基準(zhǔn)測(cè)試中進(jìn)行了合作?，F(xiàn)在，DNN加速器需要自己定義的測(cè)試套件，涵蓋各種數(shù)據(jù)類(lèi)型的訓(xùn)練和推理以及獨(dú)立的或是集群的芯片。

聽(tīng)取了這個(gè)呼吁，交易處理性能委員會(huì)（TPC）是一個(gè)由20多個(gè)頂級(jí)服務(wù)器和軟件制造商組成的小組，12月12日宣布已經(jīng)組建了一個(gè)工作組來(lái)定義機(jī)器學(xué)習(xí)的硬件和軟件基準(zhǔn)。 TPC-AI委員會(huì)主席Raghu Nambiar表示，目標(biāo)是創(chuàng)建與加速器是CPU還是GPU的測(cè)試。但是，這個(gè)團(tuán)隊(duì)的成員名單和時(shí)間框架還處于不斷變化之中。

百度公司于2016年9月發(fā)布了一個(gè)基于其深度學(xué)習(xí)工作負(fù)載的開(kāi)放源代碼基準(zhǔn)測(cè)試工具，使用32位浮點(diǎn)數(shù)學(xué)進(jìn)行訓(xùn)練任務(wù)。它在六月份更新了DeepBench以涵蓋推理工作和16位數(shù)學(xué)的使用。

哈佛研究人員發(fā)表的Fathom套件中定義的八個(gè)AI工作負(fù)載支持整數(shù)和浮點(diǎn)數(shù)據(jù)。帕特森說(shuō)：“這是一個(gè)開(kāi)始，但是要獲得一個(gè)讓人感覺(jué)舒適的全面基準(zhǔn)測(cè)試套件，還需要更多的工作。”

“如果我們把努力做成一個(gè)好的基準(zhǔn)，那么所有投入工程的錢(qián)都會(huì)花得值得?！彼f(shuō)。

除了基準(zhǔn)之外，工程師需要跟蹤仍在演變的神經(jīng)網(wǎng)絡(luò)算法，以確保他們的設(shè)計(jì)不會(huì)被束之高閣。

高通公司下一代核心研發(fā)總監(jiān)Karam Chatha表示：“軟件總是在變化，但是你需要盡早把硬件拿出來(lái)，因?yàn)樗鼤?huì)影響軟件- 你不得不催促讓它發(fā)生。到目前為止，移動(dòng)芯片供應(yīng)商正在驍龍SoC的DSP和GPU內(nèi)核上運(yùn)行神經(jīng)網(wǎng)絡(luò)工作，但一些觀察家預(yù)計(jì)，它將為機(jī)器學(xué)習(xí)定制一個(gè)新的模塊， 放在2019年7納米驍龍SoC里。

Patterson說(shuō)：“市場(chǎng)決定哪種芯片最好。 “這是殘酷的，但這是設(shè)計(jì)電腦讓人興奮之處。 ”

早期進(jìn)入的玩家已經(jīng)有機(jī)會(huì)進(jìn)入到游戲中。

例如，F(xiàn)acebook最近證明，通過(guò)大幅增加打包到所謂批量大小的功能數(shù)量，可以將培訓(xùn)時(shí)間從一天縮短到一小時(shí)。對(duì)于試圖在本地SRAM中運(yùn)行所有操作的Graphcore來(lái)說(shuō)這可能是個(gè)壞消息，消除了外部DRAM訪問(wèn)的延遲，同時(shí)也限制了它的內(nèi)存占用。

“他們?yōu)樾∨繑?shù)據(jù)包而設(shè)計(jì)的，但幾個(gè)月前的軟件結(jié)果表明你想要一個(gè)大批量數(shù)據(jù)包。這表明事情變化的速度有多快，“帕特森說(shuō)。

另一方面，雷克斯電腦(Rex Computing)認(rèn)為正在迎來(lái)一個(gè)有利的機(jī)遇。該初創(chuàng)公司的SoC最初是為高性能服務(wù)器設(shè)計(jì)的，它使用了一種新穎的暫存器內(nèi)存。 Rex的方法消除了在虛擬頁(yè)面表中緩存數(shù)據(jù)的需求，這是GPU使用的一種技術(shù)，增加了他們的延遲，聯(lián)合創(chuàng)始人Thomas Sohmers說(shuō)。

因此，Rex芯片比現(xiàn)在的GPU要好得多，特別是在處理流行的矩陣/矢量運(yùn)算神經(jīng)網(wǎng)絡(luò)時(shí)，他說(shuō)。新創(chuàng)公司計(jì)劃6月份推出16納米的256核的SoC，希望能提供256 Gflops / watt的運(yùn)算能力。

與此同時(shí)，研究人員正在嘗試從32位到單位浮點(diǎn)和整數(shù)數(shù)學(xué)的一切可能，以找到最有效的方法來(lái)計(jì)算神經(jīng)網(wǎng)絡(luò)結(jié)果。他們似乎同意的一點(diǎn)是，最好不要在精確度級(jí)別之間轉(zhuǎn)換。

編譯：Mike Zhang

文章來(lái)源: eMedia Asia Ltd.