第1 章 緒論 ......... 1
1.1 室內定位系統概述 ........ 1
1.1.1 室內定位系統的發展歷史 ..... 1
1.1.2 主流室內定位技術 ........ 2
1.2 計算機視覺 ........ 6
1.2.1 計算機視覺簡介 ...... 6
1.2.2 計算機視覺的應用方向 ...... 7
1.3 本書架構 ......... 9
第2 章 圖像的基本概念 ........ 10
2.1 圖像與視頻 ......... 10
2.1.1 GIF ....... 10
2.1.2 PNG ......... 11
2.1.3 BMP ........ 12
2.1.4 JPEG ........ 14
2.1.5 H.264 ....... 19
2.2 圖像的數學表征 ....... 20
2.2.1 圖像基本模型 ........ 20
2.2.2 圖像數字化 ......... 21
2.2.3 數字圖像表示 ........ 22
2.3 數字圖像性質 ........ 23
2.3.1 距離度量與距離變換 ........ 23
2.3.2 像素鄰接性和區域性質 ....... 25
2.3.3 拓撲性質 ....... 28
2.4 彩色圖像 .......... 28
2.4.1 彩色基礎 ....... 28
2.4.2 RGB 彩色模型 ....... 30
2.4.3 灰度圖像 ....... 31
2.5 深度圖像 .......... 31
2.5.1 深度圖像概念 ........ 31
2.5.2 深度圖像的獲取 ....... 32
2.6 數字圖像的采集 ....... 33
2.6.1 采集裝置 ....... 33
2.6.2 性能指標 ....... 35
2.6.3 采集模型 ....... 35
2.6.4 成像方式 ....... 36
第3 章 照相機與照相機參數 ...... 38
3.1 照相機種類 ......... 38
3.1.1 單目照相機 ......... 38
3.1.2 雙目照相機 ......... 40
3.1.3 深度照相機 ......... 42
3.1.4 魚眼照相機 ......... 43
3.2 照相機參數 ......... 44
3.2.1 旋轉與平移 ......... 44
3.2.2 照相機標定 ......... 47
3.3 鏡頭畸變 .......... 48
3.4 實踐：計算機圖像處理 ....... 50
3.4.1 OpenCV 的使用........ 50
3.4.2 圖像畸變糾正 ........ 52
第4 章 圖像全局特征 ......... 55
4.1 概述 ......... 55
4.2 顏色特征 .......... 55
4.2.1 HOG 特征 ........ 56
4.2.2 哈希特征 ....... 61
4.2.3 顏色矩 ........ 64
4.2.4 顏色相關圖 ......... 65
4.3 紋理特征 .......... 65
4.3.1 小波變換 ....... 66
4.3.2 Gabor 變換 ....... 69
4.3.3 Gist 特征 ....... 74
4.4 實踐：全局特征提取 ........ 75
第5 章 圖像局部特征 ......... 83
5.1 概述 ......... 83
5.2 Harris 角點 ....... 83
5.3 FAST 特征 ........ 86
5.4 霍夫變換 .......... 87
5.4.1 霍夫線變換 ......... 88
5.4.2 霍夫圓變換 ......... 89
5.5 SIFT 特征 ......... 90
5.5.1 尺度空間極值檢測 ...... 91
5.5.2 關鍵點定位 ......... 93
5.5.3 關鍵點方向確定 ....... 94
5.5.4 關鍵點描述 ......... 95
5.6 SURF 特征 ....... 96
5.6.1 構建Hessian 矩陣生成關鍵點 ..... 97
5.6.2 構建尺度空間 ........ 98
5.6.3 確定關鍵點方向 ....... 99
5.6.4 生成特征描述子 ....... 99
5.7 ORB 特征 ....... 100
5.7.1 改進的FAST 角點提取 ...... 100
5.7.2 BRIEF 特征描述子 ....... 101
5.8 實踐：圖像局部特征提取 ....... 102
第6 章 圖像的特征匹配 ......... 106
6.1 概述 .......... 106
6.2 度量函數 ........ 106
6.3 特征點匹配優化算法 ...... 107
6.3.1 距離篩選算法 ...... 108
6.3.2 交叉匹配算法 ...... 109
6.3.3 KNN 算法 ......... 109
6.3.4 RANSAC 算法 ........ 110
6.4 實踐：圖像特征匹配 ...... 112
第7 章 幾何變換 ......... 115
7.1 概述 .......... 115
7.2 幾何基元 ........ 115
7.3 二維空間中的變換 ....... 117
7.4 三維空間中的變換 ....... 119
7.5 旋轉向量 ........ 122
7.6 實踐：運動軌跡繪制代碼實現 ..... 122
第8 章 照相機位置估計與求解 ...... 124
8.1 概述 .......... 124
8.2 照相機建模 ....... 124
8.2.1 投射投影矩陣和非固有參數 ...... 124
8.2.2 照相機固有參數矩陣 ...... 126
8.3 視覺定位中的圖像特征描述子 ..... 128
8.3.1 圖像檢索流程 ...... 128
8.3.2 全局特征描述子 ........ 129
8.3.3 局部特征描述子 ........ 130
8.4 對極幾何約束 ......... 132
8.4.1 模型描述 ........ 132
8.4.2 本質矩陣 ........ 133
8.4.3 基本矩陣 ........ 134
8.5 實踐：對極幾何約束求解照相機運動位置 ...... 135
第9 章 同步定位與地圖構建 ....... 137
9.1 概述 .......... 137
9.2 IMU 和RGB-D 照相機模型分析 ..... 138
9.2.1 IMU 模型 ....... 138
9.2.2 針孔成像模型 ...... 140
9.2.3 RGB-D 照相機和IMU 聯合標定 ..... 141
9.3 室內建圖系統關鍵技術分析 ...... 143
9.3.1 剛體運動的三維表示 ...... 143
9.3.2 傳感器的位姿估計問題 ..... 144
9.3.3 非線性優化 ....... 145
9.4 RGB-D 照相機和IMU 信息的前端處理 ..... 146
9.4.1 IMU 預積分 ...... 146
9.4.2 特征點提取與追蹤 ....... 148
9.4.3 PnP 估計幀間位姿 ....... 151
9.5 聯合初始化和后端優化 ........ 153
9.5.1 RGB-D 照相機和IMU 的旋轉估計對齊 ..... 153
9.5.2 RGB-D 照相機和IMU 的位移估計對齊 ..... 154
9.5.3 后端優化與點云建圖 ...... 154
9.6 系統性能分析 ......... 157
9.6.1 位姿估計誤差分析 ....... 157
9.6.2 點云建圖實驗結果分析 ..... 162
9.7 實踐：BA 問題求解 ....... 165
9.7.1 Ceres 求解BA 問題 ........ 165
9.7.2 g2o 求解BA 問題 ........ 167
第10 章 圖像拼接 ....... 170
10.1 概述 ........ 170
10.2 圖像預處理 ........ 170
10.2.1 圖像幾何校正 ....... 170
10.2.2 圖像投影變換 ....... 171
10.2.3 圖像配準 ......... 173
10.3 圖像拼接融合 ....... 175
10.3.1 平均值融合算法 ...... 176
10.3.2 加權平均融合算法 ........ 176
10.3.3 漸入漸出融合算法 ........ 177
10.3.4 多頻段融合算法 ...... 178
10.4 實踐：圖像拼接 ......... 180
第11 章 點云 ......... 183
11.1 概述 ........ 183
11.1.1 點云和點云庫概念 ........ 183
11.1.2 點云處理在各領域的應用 ..... 184
11.2 PCL ......... 186
11.2.1 數據類型 ......... 186
11.2.2 PCL 常用代碼模塊 ........ 187
11.2.3 PCL 點云處理 ....... 187
11.3 K 維樹和八叉樹 ....... 188
11.3.1 K 維樹 ....... 189
11.3.2 八叉樹 ....... 190
11.4 點云濾波 ......... 190
11.4.1 濾波概述 ......... 190
11.4.2 雙邊濾波算法 ....... 192
11.4.3 剔除點云離群點 ...... 193
11.4.4 點云下采樣 ........ 194
11.5 三維-三維：ICP 點云匹配 ....... 195
11.5.1 點云配準定義 ....... 195
11.5.2 ICP 算法 ....... 196
11.6 實踐：點云濾波和點云配準 ....... 198
第12 章 可視化建圖與渲染 ........ 202
12.1 概述 ........ 202
12.2 單目稠密重建 ....... 203
12.2.1 稀疏重建與稠密重建的區別 ....... 203
12.2.2 單目稠密重建方法 ........ 203
12.3 稠密建圖 ......... 206
12.3.1 稠密重建方法 ....... 206
12.3.2 PMVS 算法 ........ 207
12.4 圖形渲染 ......... 207
12.4.1 預渲染與實時渲染的區別 ..... 207
12.4.2 WebGL 與渲染管線 ...... 208
12.5 點云渲染與可視化 ........ 209
12.5.1 基于面片的渲染算法 ....... 209
12.5.2 網格重建 ......... 210
12.6 實踐：點云曲面重建 ....... 213
第13 章 圖像語義基本概念與標注方法 ....... 215
13.1 圖像語義基本概念 ........ 215
13.1.1 定義 ........ 215
13.1.2 語義研究內容 ....... 216
13.1.3 圖像語義分析與應用 ....... 217
13.2 圖像級標注 ........ 223
13.3 像素級標注 ........ 226
13.4 實踐：目標檢測 ......... 229
13.4.1 計算機硬件基礎 ...... 229
13.4.2 深度學習環境配置 ........ 229
第14 章 圖像語義獲取方法與應用...... 233
14.1 機器學習 ......... 233
14.2 圖像語義模型 ....... 236
14.3 圖像語義分割 ....... 240
14.4 圖像標注和目標識別 ....... 246
14.5 實踐：利用自己的數據集實現目標檢測 ..... 252