最新資訊

自動化構(gòu)建移動端神經(jīng)網(wǎng)絡(luò)的技術(shù)研究

深度學(xué)習(xí)已在視覺、語音、自然語言等應(yīng)用領(lǐng)域取得巨大成功，然而隨著網(wǎng)絡(luò)結(jié)構(gòu)日趨復(fù)雜，神經(jīng)網(wǎng)絡(luò)參數(shù)量也迅速增長，設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)和調(diào)節(jié)參數(shù)這一過程需要大量的專業(yè)知識與反復(fù)試驗，成本極高。此外，由于功耗限制與存儲空間等因素，移動端設(shè)備上的神經(jīng)網(wǎng)絡(luò)模型規(guī)模受限。設(shè)計了一種高效的移動端神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索算法，具體包括：(1)設(shè)計了一種在預(yù)先給定神經(jīng)網(wǎng)絡(luò)架構(gòu)的情況下可以自動計算模型浮點數(shù)運算次數(shù)的算法；(2)改進(jìn)現(xiàn)有的基于梯度的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索算法，設(shè)計了一種帶約束的架構(gòu)搜索算法；(3)在神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索過程中加入對浮點數(shù)運算次數(shù)的約束，通過調(diào)節(jié)約束的強弱搜索到幾種不同的神經(jīng)網(wǎng)絡(luò)架構(gòu)。訓(xùn)練搜索到的神經(jīng)網(wǎng)絡(luò)，測試其在圖像分類任務(wù)上的性能，并與工業(yè)界常用的模型相比較。實驗結(jié)果表明，該方法搜索到的模型能達(dá)到目前工業(yè)界主流模型性能。

發(fā)表于：12/23/2020