未來(lái)異型自動(dòng)插件機(jī)技術(shù)趨勢(shì)發(fā)展分析

---

        目前主流異型自動(dòng)插件機(jī)AI芯片的核心主要是利用MAC（MultiplierandAccumulation，乘加計(jì)算）加速陣列來(lái)實(shí)現(xiàn)對(duì)CNN（卷積神經(jīng)網(wǎng)絡(luò)）中最主要的卷積運(yùn)算的加速。這一代AI芯片主要有如下3個(gè)方面的問(wèn)題。

        （1）異型自動(dòng)插件機(jī)深度學(xué)習(xí)計(jì)算所需數(shù)據(jù)量巨大，造成內(nèi)存帶寬成為整個(gè)系統(tǒng)的瓶頸，即所謂“memorywall”問(wèn)題。

        （2）與第一個(gè)問(wèn)題相關(guān)，內(nèi)存大量訪問(wèn)和MAC陣列的大量運(yùn)算，造成AI芯片整體功耗的增加。

        （3）異型自動(dòng)插件機(jī)深度學(xué)習(xí)對(duì)算力要求很高，要提升算力，最好的方法是做硬件加速，但是同時(shí)深度學(xué)習(xí)算法的發(fā)展也是日新月異，新的算法可能在已經(jīng)固化的硬件加速器上無(wú)法得到很好的支持，即性能和靈活度之間的平衡問(wèn)題。

        因此，可以預(yù)見(jiàn)異型自動(dòng)插件機(jī)下一代AI芯片將有如下的五個(gè)發(fā)展趨勢(shì)。

        （1）更高效的大卷積解構(gòu)/復(fù)用

        在標(biāo)準(zhǔn)SIMD的基礎(chǔ)上，CNN由于其特殊的復(fù)用機(jī)制，可以進(jìn)一步減少總線上的數(shù)據(jù)通信。而復(fù)用這一概念，在超大型神經(jīng)網(wǎng)絡(luò)中就顯得格外重要。異型自動(dòng)插件機(jī)如何合理地分解、映射這些超大卷積到有效的硬件上成為了一個(gè)值得研究的方向，

        （2）更低的Inference計(jì)算/存儲(chǔ)位寬

        AI芯片最大的演進(jìn)方向之一可能就是神經(jīng)網(wǎng)絡(luò)參數(shù)/計(jì)算位寬的迅速減少——從32位浮點(diǎn)到16位浮點(diǎn)/定點(diǎn)、8位定點(diǎn)，甚至是4位定點(diǎn)。在理論計(jì)算領(lǐng)域，2位甚至1位參數(shù)位寬，都已經(jīng)逐漸進(jìn)入實(shí)踐領(lǐng)域。

        （3）更多樣的存儲(chǔ)器定制設(shè)計(jì)

        當(dāng)計(jì)算部件不再成為神經(jīng)網(wǎng)絡(luò)加速器的設(shè)計(jì)瓶頸時(shí)，如何減少存儲(chǔ)器的訪問(wèn)延時(shí)將會(huì)成為下一個(gè)研究方向。通常，異型自動(dòng)插件機(jī)離計(jì)算越近的存儲(chǔ)器速度越快，每字節(jié)的成本也越高，同時(shí)容量也越受限，因此新型的存儲(chǔ)結(jié)構(gòu)也將應(yīng)運(yùn)而生。

        （4）更稀疏的大規(guī)模向量實(shí)現(xiàn)

        神經(jīng)網(wǎng)絡(luò)雖然大，但是，實(shí)際上有很多以零為輸入的情況，此時(shí)稀疏計(jì)算可以高效的減少無(wú)用能效。來(lái)自哈佛大學(xué)的團(tuán)隊(duì)就該問(wèn)題提出了優(yōu)化的五級(jí)流水線結(jié)，在最后一級(jí)輸出了觸發(fā)信號(hào)。在Activation層后對(duì)下一次計(jì)算的必要性進(jìn)行預(yù)先判斷，如果發(fā)現(xiàn)這是一個(gè)稀疏節(jié)點(diǎn)，則觸發(fā)SKIP信號(hào)，避免乘法運(yùn)算的功耗，以達(dá)到減少無(wú)用功耗的目的。

        （5）計(jì)算和存儲(chǔ)一體化

        異型自動(dòng)插件機(jī)計(jì)算和存儲(chǔ)一體化（process-in-memory）技術(shù)，其要點(diǎn)是通過(guò)使用新型非易失性存儲(chǔ)（如ReRAM）器件，在存儲(chǔ)陣列里面加上神經(jīng)網(wǎng)絡(luò)計(jì)算功能，從而省去數(shù)據(jù)搬移操作，即實(shí)現(xiàn)了計(jì)算存儲(chǔ)一體化的神經(jīng)網(wǎng)絡(luò)處理，在功耗性能方面可以獲得顯著提升。

        以上就是小編關(guān)于未來(lái)異型自動(dòng)插件機(jī)技術(shù)趨勢(shì)發(fā)展分析的介紹，希望對(duì)大家有用哦！

責(zé)編：文文