第1章語音識別之路 1
1.1何謂語音識別 1
1.2語音識別為什么難——語音識別的發展歷程 2
1.2.1高斯混合－隱馬爾科夫時代 3
1.2.2循環神經網絡－隱馬爾科夫時代 4
1.2.3基于深度學習的端到端語音識別時代 5
1.3語音識別商業化之路的三個關鍵節點 5
1.4語音識別的核心技術與行業發展趨勢 7
1.5搭建環境1：安裝Python 8
1.5.1Anaconda的下載與安裝 8
1.5.2Python編譯器PyCharm的安裝 11
1.5.3使用Python計算softmax函數 14
1.6搭建環境2：安裝TensorFlow2.1 15
1.6.1安裝TensorFlow2.1的CPU版本 15
1.6.2安裝TensorFlow2.1的GPU版本 15
1.6.3練習——HelloTensorFlow 18
1.7實戰——基于特征詞的語音喚醒 19
1.7.1第一步：數據的準備 19
1.7.2第二步：數據的處理 20
1.7.3第三步：模型的設計 21
1.7.4第四步：模型的數據輸入方法 22
1.7.5第五步：模型的訓練 24
1.7.6第六步：模型的結果和展示 25
1.8本章小結 25
第2章TensorFlow和Keras 26
2.1TensorFlow和Keras 26
2.1.1模型 27
2.1.2使用KerasAPI實現鳶尾花分類（順序模式） 27
2.1.3使用Keras函數式編程實現鳶尾花分類（重點） 30
2.1.4使用保存的Keras模式對模型進行復用 33
2.1.5使用TensorFlow標準化編譯對iris模型進行擬合 34
2.1.6多輸入單一輸出TensorFlow編譯方法（選學） 38
2.1.7多輸入多輸出TensorFlow編譯方法（選學） 41
2.2全連接層詳解 43
2.2.1全連接層的定義與實現 43
2.2.2使用TensorFlow自帶的API實現全連接層 44
2.2.3打印顯示已設計的Model結構和參數 48
2.3懶人的福音——Keras模型庫 49
2.3.1ResNet50模型和參數的載入 50
2.3.2使用ResNet50作為特征提取層建立模型 52
2.4本章小結 54
第3章深度學習的理論基礎 55
3.1BP神經網絡簡介 55
3.2BP神經網絡兩個基礎算法詳解 59
3.2.1最小二乘法詳解 59
3.2.2道士下山的故事：梯度下降算法 61
3.3反饋神經網絡反向傳播算法 63
3.3.1深度學習基礎 64
3.3.2鏈式求導法則 65
3.3.3反饋神經網絡原理與公式推導 66
3.3.4反饋神經網絡的激活函數 71
3.3.5反饋神經網絡的Python實現 72
3.4本章小結 76
第4章卷積層與MNIST實戰 77
4.1卷積運算的基本概念 77
4.1.1卷積運算 78
4.1.2TensorFlow中卷積函數實現詳解 79
4.1.3池化運算 82
4.1.4softmax激活函數 83
4.1.5卷積神經網絡原理 84
4.2編程實戰：MNIST手寫體識別 86
4.2.1MNIST數據集 86
4.2.2MNIST數據集特征和標簽介紹 88
4.2.3TensorFlow2.X編程實戰：MNIST數據集 90
4.2.4使用自定義的卷積層實現MNIST識別 95
4.3本章小結 98
第5章TensorFlowDatasets和TensorBoard詳解 99
5.1TensorFlowDatasets簡介 99
5.1.1Datasets數據集的安裝 101
5.1.2Datasets數據集的使用 101
5.2Datasets數據集的使用——FashionMNIST 103
5.2.1FashionMNIST數據集下載與展示 104
5.2.2模型的建立與訓練 106
5.3使用Keras對FashionMNIST數據集進行處理 108
5.3.1獲取數據集 108
5.3.2數據集的調整 109
5.3.3使用Python類函數建立模型 109
5.3.4Model的查看和參數打印 111
5.3.5模型的訓練和評估 112
5.4使用TensorBoard可視化訓練過程 114
5.4.1TensorBoard文件夾的設置 115
5.4.2TensorBoard的顯式調用 115
5.4.3TensorBoard的使用 118
5.5本章小結 121
第6章從冠軍開始：ResNet 122
6.1ResNet基礎原理與程序設計基礎 123
6.1.1ResNet誕生的背景 123
6.1.2模塊工具的TensorFlow實現——不要重復造輪子 126
6.1.3TensorFlow高級模塊layers用法簡介 126
6.2ResNet實戰：CIFAR-100數據集分類 134
6.2.1CIFAR-100數據集簡介 134
6.2.2ResNet殘差模塊的實現 136
6.2.3ResNet網絡的實現 139
6.2.4使用ResNet對CIFAR-100數據集進行分類 142
6.3ResNet的兄弟——ResNeXt 143
6.3.1ResNeXt誕生的背景 143
6.3.2ResNeXt殘差模塊的實現 145
6.3.3ResNeXt網絡的實現 146
6.3.4ResNeXt和ResNet的比較 148
6.4本章小結 149
第7章使用循環神經網絡的語音識別實戰 150
7.1使用循環神經網絡的語音識別 150
7.2長短期記憶網絡 151
7.2.1Hochreiter、Schmidhuber和LSTM 152
7.2.2循環神經網絡與長短時間序列 153
7.2.3LSTM的處理單元詳解 154
7.2.4LSTM的研究發展 157
7.2.5LSTM的應用前景 158
7.3GRU層詳解 159
7.3.1TensorFlow中的GRU層詳解 160
7.3.2單向不行，那就雙向 160
7.4站在巨人肩膀上的語音識別 161
7.4.1使用TensorFlow自帶的模型進行文本分類 162
7.4.2用VGGNET替換ResNet是否可行 164
7.5本章小結 165
第8章梅西-阿根廷+意大利=？：有趣的詞嵌入實戰 166
8.1文本數據處理 167
8.1.1數據集介紹和數據清洗 167
8.1.2停用詞的使用 169
8.1.3詞向量訓練模型Word2Vec使用介紹 172
8.1.4文本主題的提取：基于TF-IDF（選學） 175
8.1.5文本主題的提取：基于TextRank（選學） 179
8.2更多的WordEmbedding方法——fastText和預訓練詞向量 181
8.2.1fastText的原理與基礎算法 182
8.2.2fastText訓練以及與TensorFlow2.X的協同使用 183
8.2.3使用其他預訓練參數做TensorFlow詞嵌入矩陣（中文） 189
8.3針對文本的卷積神經網絡模型：字符卷積 191
8.3.1字符（非單詞）文本的處理 191
8.3.2卷積神經網絡文本分類模型的實現：conv1d（一維卷積） 199
8.4針對文本的卷積神經網絡模型：詞卷積 200
8.4.1單詞的文本處理 201
8.4.2卷積神經網絡文本分類模型的實現：conv2d（二維卷積） 203
8.5使用卷積對文本分類的補充內容 206
8.5.1漢字的文本處理 207
8.5.2其他的一些細節 209
8.6本章小結 210
第9章從拼音到漢字——語音識別中的轉換器 211
9.1編碼器的核心：注意力模型 212
9.1.1輸入層——初始詞向量層和位置編碼器層 212
9.1.2自注意力層（重點） 214
9.1.3ticks和LayerNormalization 218
9.1.4多頭自注意力 219
9.2構建編碼器架構 222
9.2.1前饋層的實現 223
9.2.2編碼器的實現 224
9.3實戰編碼器——漢字拼音轉化模型 228
9.3.1漢字拼音數據集處理 228
9.3.2漢字拼音轉化模型的確定 230
9.3.3模型訓練部分的編寫 234
9.3.4推斷函數的編寫 235
9.4本章小結 237
第10章實戰——基于MFCC和CTC的語音漢字轉換 238
10.1語音識別的理論基礎1——MFCC 238
10.2語音識別的理論基礎2——CTC 245
10.3實戰——語音漢字轉換 247
10.3.1數據集THCHS-30簡介 247
10.3.2數據集的提取與轉化 248
10.4本章小結 256