致謝
縮寫詞
第1章 嵌入式深度神經網絡 1
1.1 簡介 1
1.2 機器學習 2
1.2.1 任務T 3
1.2.2 性能度量P 3
1.2.3 經驗E 4
1.3 深度學習 4
1.3.1 深度前饋神經網絡 6
1.3.2 卷積神經網絡 8
1.3.3 循環神經網絡 16
1.3.4 訓練深度神經網絡 18
1.4 嵌入式深度神經網絡的挑戰 25
1.5 本書創新點 27
參考文獻 29
第2章 優化的層次級聯處理 34
2.1 簡介 34
2.2 層次級聯系統 36
2.2.1 泛化的兩級喚醒系統 36
2.2.2 層次化的代價、精度和召回率 37
2.2.3 層次化分類器的Roofline模型 40
2.2.4 優化的層次級聯感知 42
2.3 概念的一般性證明 43
2.3.1 系統描述 43
2.3.2 輸入統計 45
2.3.3 實驗 46
2.3.4 本節小結 48
2.4 案例研究：基于CNN的層次化人臉識別 49
2.4.1 人臉識別的分層結構 49
2.4.2 層次化的代價、精度和召回率 51
2.4.3 優化的人臉識別分層結構 52
2.5 小結 55
參考文獻 56
第3章 硬件–算法協同優化 58
3.1 簡介 58
3.1.1 利用網絡結構 59
3.1.2 增強并利用稀疏性 63
3.1.3 增強并利用容錯性 64
3.2 低精度神經網絡的能量增益 66
3.2.1 片外訪存的能耗 67
3.2.2 硬件平臺的一般性建模 68
3.3 測試時定點神經網絡 69
3.3.1 分析和實驗 70
3.3.2 量化對分類準確率的影響 70
3.3.3 稀疏FPNN的能耗 73
3.3.4 結果 75
3.3.5 討論 76
3.4 訓練時量化神經網絡 77
3.4.1 訓練QNN 78
3.4.2 QNN的能耗 81
3.4.3 實驗 81
3.4.4 結果 84
3.4.5 討論 88
3.5 聚類神經網絡 88
3.6 小結 90
參考文獻 91
第4章 近似計算的電路技術 95
4.1 近似計算范式簡介 95
4.2 近似計算技術 98
4.2.1 容錯分析與質量管理 98
4.2.2 近似電路 99
4.2.3 近似架構 100
4.2.4 近似軟件 101
4.2.5 討論 102
4.3 DVAFS：動態電壓精度頻率調節 102
4.3.1 DVAFS基礎 102
4.3.2 DVAFS的容錯識別 105
4.3.3 DVAFS的能量增益 106
4.4 DVAFS的性能分析 109
4.4.1 模塊級的DVAFS 109
4.4.2 系統級的DVAFS 111
4.5 DVAFS實現的挑戰 115
4.5.1 基礎DVA(F)S模塊的功能實現 115
4.5.2 基礎DVA(F)S模塊的物理實現 117
4.6 小結和討論 118
參考文獻 119
第5章 Envision：能耗可調節的稀疏卷積神經網絡處理 122
5.1 神經網絡加速 122
5.2 針對嵌入式CNN的二維MAC處理器架構 124
5.2.1 處理器數據通路 125
5.2.2 片上存儲架構 128
5.2.3 利用網絡稀疏性的硬件支持 130
5.2.4 通過定制化指令集實現高能效的靈活性 132
5.3 基于40nm CMOS的DVAS兼容的Envision處理器 133
5.3.1 RTL級的硬件支持 134
5.3.2 物理實現 135
5.3.3 測量結果 136
5.3.4 Envision V1回顧 143
5.4 基于28nm FD-SOI的DVAFS兼容的Envision處理器 144
5.4.1 RTL級硬件支持 146
5.4.2 物理實現 147
5.4.3 測量結果 147
5.4.4 Envision V2回顧 156
5.5 小結 157
參考文獻 158
第6章 BinarEye： 常開的數字及混合信號二值神經網絡處理 160
6.1 二值神經網絡 160
6.1.1 簡介 160
6.1.2 二值神經網絡層 161
6.2 二值神經網絡應用 165
6.3 可編程的輸入到標簽的加速器架構 167
6.3.1 256X：基礎的BinaryNet計算架構 169
6.3.2 SX：靈活的DVAFS BinaryNet計算架構 178
6.4 MSBNN：混合信號的256X實現 182
6.4.1 開關電容神經元陣列 183
6.4.2 測量結果 184
6.4.3 模擬信號通路代價 188
6.5 BinarEye：數字的SX實現 189
6.5.1 全數字的二值神經元 189
6.5.2 物理實現 190
6.5.3 測量結果 190
6.5.4 BinarEye中的DVAFS 194
6.5.5 與最先進水平的對比 195
6.6 數字與模擬二值神經網絡的實現對比 197
6.7 展望與未來工作 200
6.8 小結 202
參考文獻 204
第7章 結論、貢獻和未來工作 206
7.1 結論 207
7.2 未來工作的建議 210
參考文獻 211
索引 212