本書從虛實互動的角度詳細介紹如何通過外部軟硬件來控制 Unreal Engine 5（簡稱 UE5）的內容呈現，以及如何使用 UE5 來控制外部軟硬件設備。利用各類技術手段高效便捷地完成與 UE5 的虛實互動，讓互動作品變得更加炫酷出彩，是本書的核心內容。第 1 章介紹這些技術原理；第 2 章介紹 UE5借助 Arduino 連接物聯網硬件的方法；為了讓 UE5 與外部設備之間的互動更加生動而富有吸引力，第3 章介紹如何在 UE5 中使用必備的數學知識；第 4 章講解利用 Live Link 技術讓 UE5 獲取精確的外部設備空間位置數據流，來實現更高級的互動；第 5 章講解 UE5 利用 NDI 技術助力 OBS 實現互動直播的技巧；第 6 章和第 7 章涉及全景互動和音頻互動，屬于進階內容，UE5 的全景技術可以讓全景展示的構建效率倍增，而出色的音頻互動則可以讓視聽效果相得益彰。

在講“互動開發”前，我們先聊聊大眾更能直觀感受的“數字互動”。關于“數字互動”這個話題的討論，其實從互聯網時代開啟的那天起就已經不絕于耳了。那時網友們在論壇里互相留言、評論、點贊，朋友間相互發送電子郵件噓寒問暖，這些便是數字互動的雛形。
緊隨而至出現了移動互聯網，數字互動從 PC 延伸到了手機等移動設備上，于是走在路上的人們便可以拿出手機與坐在辦公桌前的親友通信。這樣的互動讓人與人之間建立起了一種連接，但這類互動卻不是實時發生的。例如，發送郵件后可能過了半小時才收到回信，評論留言可能在 5 分鐘之后才得到回復，電子訂單提交一天后可能才通知商家發貨。那么，數字互動該如何定義呢？
“數字互動”的含義
本書中講到的“數字互動”對用戶更具吸引力，應具備實時交互性、軟硬件互通性和虛實互動性。
● 實時交互性要求被連接的雙方可以在同一瞬間完成信號的發送與接收，并能夠立即做出交互動作上的反饋。
● 更為大眾所青睞、更加新穎的數字互動形式是發生在不同設備上的軟件或硬件之間的交互，這就是所說的軟硬件互通性，具體而言就是指分布在兩臺設備甚至多臺設備上的軟件或硬件的通信互控。例如，用手機來控制計算機屏幕中的數字視聽效果的變化，同時對計算機屏幕的觸控也可以影響手機設備的運行。
● 數字互動最后需要滿足的一個特性就是虛實互動性，即虛擬的數字畫面內容（包括視聽效果）與外部真實存在的軟硬件之間發生的互動，并且是在人的操控下觸發的數字互動。
數字互動的應用場景
在 2001 年網絡游戲的熱潮下，人們感受到了聯機游戲、手柄游戲、激光射擊游戲等數字互動形式帶來的愉悅體驗，體感游戲、VR 游戲更是把數字互動帶向了一波高潮。伴隨著時代的發展，早期的消費互聯網、娛樂互聯網正在逐步拓展到金融、零售、產業、工業、基于這個角度來看，讀者可能會覺得使用鼠標和鍵盤就是實時互動，因為當用戶敲擊鍵盤或移動鼠標時，屏幕上的字母或光標就會立即發生變化。沒錯，鍵盤、鼠標對屏幕畫面的控制的確是實時的，但是屏幕畫面卻不能反過來操控鼠標和鍵盤，這就沒有真正滿足互動（interactive）的定義。況且鍵盤、鼠標已被定義為傳統的輸入設備，已經被人們認為是計算機本體的一部分。
企業協同、AIoT、智能家庭、智能汽車等各方面。互動技術的運用不再局限于游戲娛樂中，而是開始逐漸側重于設備之間的連接互動，尤其是存在行業跨度的軟硬件設備之間。將虛擬數字內容的變化與外部軟硬件的功能融為一體，能帶給用戶前所未有的沉浸式體驗。在大型晚會活動現場，這類互動技術已經開始嶄露頭角，現場的超級大屏幕與現場炫酷的光電設備交相呼應，對現場人群氣氛的推動起到了至關重要的作用。
在 2016 年，說唱歌手幼稚岡比諾以他的“燈塔”演唱會震驚了觀眾。該演唱會在巨大的穹頂會場中進行，自始至終都有未來派的影像和動畫投影環繞在觀眾和藝人周圍。為了配合這種科技體驗，演唱會推出了周邊產品，包括一個 360°視頻和一款 VR 伴侶應用。由于演唱會大獲成功，因此幼稚岡比諾決定在 2018 年 11 月再舉辦一次，這一回他使用了一套采用虛幻引擎的全交互式實時系統（如圖 1 所示），創造了定制燈光、煙霧、激光表演和實時投影到穹頂會場內部的迷人視覺體驗，不僅讓歌迷如癡如醉，還在 2019 年 2 月贏得了著名的 VES 特別會場項目杰出視覺效果獎。
圖 1
時下，各類大型展會上已經可以看到不同形式的數字互動嶄露頭角，現場的參觀者可以利用現場的器械設備或隨身的手機來控制展廳大屏幕里的視聽效果，這給參與者和周邊的圍觀者都留下了深刻的印象。
如今的電影制片行業也開始大量使用虛實互動解決方案進行虛擬制片，如拍片過程中使用大屏幕里的虛擬背景作為演員的后置背景（如圖 2 所示）。工作人員或導演都可以遠程遙控背景畫面的切換以及色調明暗的變換，這些方案給影視制片行業帶來了工作流程變革和效率提升。
圖 2
在當下火熱的直播行業里，主辦方可以通過遙控 OBS Studio 直播軟件實現攝影機位的自動切換，可以把主播與逼真的虛擬美景融合，還能讓虛擬環境（包括前景和背景）隨時按照主辦方的意圖與主播互動起來，從而打造出高端的富有吸引力的直播欄目（如圖 3 所示）。數字互動開發的應用場景正變得越來越豐富，所涉及的行業也日趨多元化。
圖 3
互動開發涉及的技術
筆者將實現數字互動效果的開發過程稱為互動開發。為了發掘更新穎的互動形式，各類技術都被嘗試著運用到了互動開發上。在物聯網技術的推動下，互動開發可以更加便捷地利用 Web 前端技術、各類通信協議，將各類硬件設備聯系起來。用于互動開發的工具和開發語言不一而足。例如，通過 Arduino IDE 工具用 C 語言進行物聯網硬件相關的開發，使用 Visual Studio 基于 C++ 語言進行 Unreal Engine 5（后文簡稱 UE5）開發，使用Python、JavaScript、PHP、ASP.NET 等語言進行 Web 互動開發。在有些互動開發項目中，這些技術甚至可能被整合起來一起使用。針對不同的數字互動方案，需要靈活選擇合適的開發工具與開發語言，沒有某一個工具是可以滿足所有的互動創意的。
本書主要介紹外部軟硬件與 UE5 數字視聽內容的互動，畢竟這類互動在國外很多知名的大型現場活動中都有不俗的表現與口碑。虛幻引擎 UE5 具備強大的實時三維渲染能力，可將畫面投射到各類屏幕（如穹頂屏幕、球面屏），并且其 MetaSound 系統對音頻有很好的控制力，這些都將屏幕設備上呈現的視聽效果推向了一個全新的高度。如果再結合各類性能豐富的智能傳感器硬件，讓大屏幕中的數字內容與現實空間里的器械設備互動起來，就能帶給體驗者一種普通瀏覽器無法相比的感受。
本書選擇讓 UE5 借助 Arduino 來連接各類裝置，從而實現互動。Arduino IDE 和 UE5 都可以很穩定地在 Windows、macOS、Linux 三大主流操作系統上運行，本書以 Windows 10 為例講解各章細節，大部分章節都采用了當下（筆者寫作時）最新的 UE5 版本創建 UE 項目。具體來講，本書涉及的軟硬件技術如下。
1. UE5 技術
①本書使用 UE5 來呈現互動開發最終實現的視覺效果和聽覺效果，UE5 在其中主要起到了展現互動開發結果的作用，同時也扮演了互動控制界面的角色。這就需要讀者理解相關的通信協議，以及如何使用插件與外部進行通信。本書會重點介紹 UE5 支持的多種通信協議，包括 HTTP、UDP、DMX、OSC、MIDI 等。
②詳細講解使用 UE5 插件與外部軟硬件通信的方法。UE5 的插件有很多，有些是用C++ 開發的，有些是用 Java 開發的，還有的是基于 Node.js 開發的。本書講解的插件都是筆者經過反復實踐、深入測試后選擇出來的，這些插件均具有很高的可用性和易用性，同時這些插件都能應用于當下最新的 UE5 版本中。筆者把這些插件推薦給讀者，期望這些工具能幫助讀者在實現自己的互動創意之路上走得步履輕快！
③書中與 UE5 相關的內容離不開藍圖設計的初級知識，所以也會介紹 UE5 藍圖設計的內容。
2. 物聯網開發環境、前端知識
本書涉及的物聯網部分均采用 Arduino IED 開發，所以會涉及 C/C++ 編寫的初級知識，筆者在代碼中都作了詳細的中文注釋，便于讀者理解代碼含義。
為了能與 Web 通信交互，書中涉及一些 Web 前端的知識，包括 AJAX、HTML 和 PHP。
當然，本書適合對這些領域具備基礎開發知識的讀者閱讀和學習。具備較強開發能力的讀者，也可以將本書作為一本開發知識筆記或者備忘錄，方便隨時查閱相關的知識點。
3. 硬件選擇
在硬件設備上，筆者選擇了三種 Arduino 開發板。用 Arduino 進行開發簡單易上手，使得開發者能夠更關注創意的實現，更快地完成自己的項目部署，大大降低學習的成本，縮短開發周期。越來越多的軟件開發者使用 Arduino 進入硬件、物聯網等開發領域，大學中的自動化、軟件甚至藝術專業，也紛紛開展了 Arduino 相關課程。
具體來說，筆者選擇了物聯網業內耳熟能詳的 Arduino UNO 板、Arduino ESP8266 板和 Arduino ESP32 板，因為它們都是非常適合入門且功能齊全、物美價廉的電子開發板，均能通過各種各樣的傳感器來感知環境，包括通過控制燈光、電動機和其他的裝置來反饋、影響環境。UNO 板是最廉價、最易于入門學習的開發板，而 ESP8266 在 UNO 板的基礎上增加了 Wi-Fi 功能，ESP32 板則進一步增加了觸摸引腳以及藍牙功能，并大大增強了運算能力。
4. 直播軟件 OBS Studio
電子商務已經與我們的生活息息相關，而如今的電商基本離不開直播，還有很多商務需求也非常倚重直播能力。在直播中加入虛實互動（不是指看直播的用戶觸摸手機屏上的圖標來點贊或連麥、刷禮物那樣的互動），讓直播工作人員可以實時遙控直播畫面中的人與景，可以營造較為高端的主播與虛擬布景互動的視聽效果，為業務增色，為直播帶來更大的流量和吸引力。
在直播展示過程中，針對商品本身的展示是核心需求，而利用周圍環境作為商品的陪襯、烘托購物氛圍則是重要的營銷手段。UE5 能完美地利用全景展示技術為商品快速構建環繞式三維背景，通過周圍環境的光影渲染打造以商品為中心的 360°景觀。了解了 UE5 的全景使用技巧，對有興趣做在線商品展示或是在展會現場進行商品互動展示的讀者大有裨益。
為此，本書專門用第 5 章來講述如何將互動開發帶入到直播領域，以主流直播推流軟件 OBS Studio 結合 UE5 的互動通信技術，為直播行業帶來全新的、高端的解決方案。
讀完本書，讀者應該可以感受到實時數字互動提供的巨大便利性和參與機會，讓生產效率和生活、工作便利性得到的巨大提高，以及對一些行業領域的顛覆性。互動開發技術將會成為一種連接不同行業的能力，實時互動技術的開發將有越來越廣闊的市場前景。互動、交互是互聯網的精髓，很多高端展示場景（包括直播）都可以借助互動通信、遠程通信技術，讓虛擬環境、數字內容與現實物體融為一體并互通有無，達到真正的數實共生、虛實互動。
讓 UE5 中的三維渲染能力與互動開發技術珠聯璧合，可以讓互動創意方案變得更具吸引力、更有商業價值。本書側重在 UE5 中與互動展示、互動通信聯系較為密切的部分，讓讀者可以利用 Arduino 智能硬件與 UE5 互控，可以讓全景展示和三維展示都能借助OBS Studio 直播軟件為直播業務助力。具備了本書這些知識后，理解數字孿生、大數據可視化、元宇宙等概念性的技術話題就會容易很多了。
本書各章的內容安排
本書共分為 7 章，從多個角度圍繞 UE5 講述互動開發技術。
第 1 章重點講解 UE5 與外界遠程通信的技術基礎，也就是 UE5 與外界的通信橋梁，包括 WebSocket、Remote Control API、OSC、DMX 和 MIDI 等技術。人們可以根據自己實際的交互場景靈活選擇這些通信技術，從而讓外部的移動設備（如平板電腦、手機或計算機）上的軟件與 UE5 進行通信，讓遠程操控 UE5 的需求得以輕松滿足。
數字交互是雙向的，外部軟硬件可以遙控 UE5 中的內容，而 UE5 中的虛擬物件也是可以遙控現實中的硬件對象的，包括真實的風扇、電動機、繼電器、燈具、音響等。所以第 2 章講解如何利用串口連接或 UDP，讓智能硬件可以直接與 UE5 通信，還有 MQTT 技術可以成為 UE5 與物聯網之間的橋梁，讓 UE5 可以方便地與外部硬件交流，從而實現對外部硬件的控制。
如果要讓互動變得富有吸引力，就需要邏輯合理且有趣味性，這些離不開數學計算，否則互動會變得沒有真實性甚至邏輯錯亂，最終導致用戶失去興趣。因此第 3 章選取互動開發中一些比較重要的幾何知識，講解如何將它們應用到 UE5 的具體操作中。
UE5 支持連接先進的外部跟蹤設備（tracker），如 HTC 頭盔和 OCULUS 穿戴設備，通過它們來準確地獲知外部設備在現實世界空間里的位置變化、角度變化等信息，這種跟蹤數據或者動畫數據的傳遞依托的是什么技術呢？第 4 章給出答案，那就是 Live Link Data技術。
第 5 章談及如火如荼的直播業務，讓直播變得更加高質量，通過虛擬互動讓直播變得更加高端，筆者可以借助 UE5 的互動能力以及 OBS Studio 的互動技術打造屬于自己的更富吸引力的直播畫面。本章重點突顯的是軟件之間的融合，讓多種軟件融合后發揮更大的業務推動力。
如果把全景展示引入直播業務，直播背景或產品展示的背景都將變得更加生動華麗。當下很多展示場景都需要全景展示，讓用戶全方位觀察整體空間，如果還能讓用戶遠程控制全景的切換或與全景中的某些道具互動，那將更能調動用戶的參與熱情。第 6 章就詳細介紹 UE5 如何構建互動全景的方案，包括全景制作與直播軟件的聯動技術。
UE5 的虛擬數字內容應該包括視覺和音效，所以第 7 章講解 UE5 如何使用 MetaSound 系統播放聲音、讓音效也能與外界進行互動的技術細節。
本書圍繞 UE5，并加入了 Arduino 硬件以及 OBS Studio 直播工具的技術，為大家詮釋當下各類常見互動方式的技術實現原理和思路，借此希望能對讀者朋友們有所助益，重點是能為大家點燃靈感，有助于激發更多的有關創意互動的思路。
如何使用本書
學習本書知識，讀者需要具備 UE 基礎以及一些 Web 前端的基礎知識，因為本書沒有贅述 UE5 的下載安裝、Node.js 下載安裝等過程，也沒有細說如何編輯一個 HTML 網頁的基礎知識。
如果讀者對 UE5 還處于非常陌生的階段，建議先閱讀第 3 章，因為 UE5 的互動離不開數學，第 3 章的知識可以幫助你先一步了解一些 UE5 的基礎常識。如果讀者已經具備一定的 UE 基礎和 Web 開發能力，則可以按照本書的編排循序閱讀。
本書提及一些 Arduino 板和傳感器，如果讀者想加以實踐，則需要自行購置相關電子器件。這些部件的價格都相當便宜，如 UNO 板的價格低于 60 元，而電動舵機、超聲波傳感器等電子器件大多是幾十元的價格。如果你完全沒有接觸過這些電子器件，則需要在實踐之前先上網搜索學習資料來了解一些 Arduino 板的基礎知識。例如，如何將其連接至計算機、如何讀取各類傳感器的數據以及基礎的 C/C++ 編程知識。正常情況下，學習這些周邊的基礎知識可能會花費一周的時間，整體難度不會太大。本書的各個實踐案例都從基礎部分入手，如果你擁有一顆崇尚互動的心，真切地想讓你周遭的軟件和硬件能彼此“握手”互動起來，那么本書一定是值得你細細品讀的！
本書所有章節都有對應的項目文件源代碼，并附帶了下載鏈接（請掃描封底“本書資源”二維碼下載），所有的實踐案例都有對應的視頻講解，并提供了視頻二維碼。我們也建立了 QQ 群（賬號：742541372），方便有疑問的讀者后續深入交流。
讀者對象
本書面向的讀者對象主要是對虛實結合的數字互動技術感興趣的朋友，包括展覽展會設計領域的從業人員、展覽展示專業的學生、文創行業和影視行業從事虛擬制片的相關人員、涉及直播業務的工作人員，以及在業務中想引入創意互動展示來為現場吸引流量的極客。本書也可以作為計劃投身數字孿生開發、大數據可視化開發領域的計算機專業學生的基礎讀物。
另外，由于本書涉及 Web 前端的基礎知識和 Arduino 開發的基礎知識，所以比較適合已具備一定的基礎編程能力的讀者。
蔡山
2023 年 8 月