從芯片到云端：Python物聯網全棧開發實踐 ( 簡體 字) |
| 作者：劉凱 | 類別：1. -> 程式設計 -> Python
2. -> 程式設計 -> 物聯網 |
| 譯者： |
| 出版社：電子工業出版社 |  3dWoo書號： 47933
詢問書籍請說出此書號！【缺書】
NT售價： 595 元 |
| 出版日：10/1/2017 |
| 頁數：724 |
| 光碟數：0 |
|
站長推薦：  |
| 印刷：黑白印刷 | 語系： ( 簡體 版 ) |
| |
加入購物車  │加到我的最愛
(請先登入會員) |
| ISBN：9787121311277 |
| 作者序 | 譯者序 | 前言 | 內容簡介 | 目錄 | 序 |
| (簡體書上所述之下載連結耗時費功, 恕不適用在台灣, 若讀者需要請自行嘗試, 恕不保證) |
| 作者序： |
| 譯者序： |
前言：自序
筆者曾經長期服務于微電子行業，現在從事物聯網相關項目設計和咨詢服務。
1995年畢業后，筆者加入了飛利浦半導體上海技術中心，任軟件工程師。在此期間的主要工作是使用匯編語言為國內客戶進行各類顯像管（CRT）彩電的固件開發。當時的技術環境，8051都已經非常普及了，而飛利浦半導體彩電和固定電話技術方案中的控制器卻依舊采用老舊的Intel 8048內核MCU。該內核架構有許多限制：比如超過2KB代碼需要切換代碼段，缺乏高級語言支持，等等。雖然架構古老，但這個業務卻一直是當時飛利浦半導體的“現金牛”（即主要利潤來源）。
筆者后轉入產品市場部，在那里可以接觸到許多炙手可熱的產品線。其中，筆者負責的產品如下。
? 8051控制器：配合中國合作伙伴，如（北航）中國單片機實驗室、南京萬利、南京偉福、廣州周立功等單位，合作推廣LPC764/9XX及后來的ARM LPC系列。
? 通信產品：8048內核電話機MCU、傳呼機、DECT和中國數字無繩電話芯片組。
? 智能卡產品：包括電話卡、CPU卡，以及最著名的HF-RFID Mifare、LF-RFID Hitag RFID和車用防盜鑰匙。
? DSP產品：Trimedia VLIW（超長指令集）DSP，用于視頻電話和媒體處理。
? CPLD：低功耗CoolRunner CPLD，后轉售給Xilinx。
? PDA：基于MIPS R3000內核的Windows CE PDA方案。
后來，筆者又重新拾起軟件開發的工作，主要負責基于8051/MIPS的LCD/DTV的客戶化固件開發。
應該這么說，在飛利浦的從業經驗使得筆者積累了嵌入式開發經驗，開闊了產品線視野，并積累了多方面的技術興趣和行業人脈。同時，在開發這些嵌入式產品的過程中，筆者開始采用各類腳本語言來做代碼生成和其他開發工具。
2008年，飛利浦半導體部獨立成為NXP公司之后，筆者開始了自己的創業之路。到目前為止，筆者獨立設計過以下產品和參考設計：
? 基于Cypress PSoC的RFID/UART/GPRS/TPMS模塊（C）。
? 基于SDIO閃存卡的NFC接口（FPGA/CPLD）。
? Wi-Fi強制門戶及熱點分享網站（PHP）。
? GPRS+GPS AVL設備及網站（C/Java/PHP）。
? TI C2800 DSP ANC主動噪聲抑制系統（C/ASM）。
? 網絡爬蟲，用于抓取超市的POP海報分發（Python+PHP）。
? Android翻譯APP（Java）。
? 電子貨架標簽系統，第一個從設備到APP的完整原型設計（C+Python網關）。
? GAP創客電子模塊，基于NXP/Freescale/ST的M0/M3處理器，并提供Bootloader和ISP軟件（C/C++/Python）。
? 工業門物聯網（C/C++/Python）。
? 呼吸機物聯網（Python/Golang）。
? 電梯物聯網（Python）。
? EPD電子模塊（C++/Python）。
? RFID分類錢包（國家實用新型專利，已授權）。
? GPS資產定位系統（C++/Python）。
? 電信CDMA基站監控設備（C++/Python）。
? VoLTE高清語音監控設備（C++/Python）。
? 分級基金及股票監控報警系統（Python）。
離開NXP之后，筆者的設計不再受限于原公司的技術平臺所涉及的消費電子產品領域，而是擴大到了互聯網與物聯網領域。筆者的個人體驗是，無論是設備端還是服務器端，都有許多技術可以深入學習。但是兩者融合，技術復雜度卻呈現幾何級數上升。
不同領域有不同的優勢語言。一般來說，CPLD/FPGA使用VHDL/Verilog，MCU/SoC固件開發使用C/C++，桌面開發使用C#/VB等，服務器開發使用Java/PHP/JavaScript/Python/Golang，手機APP使用Java/Objective-C。
所以，筆者在工程實踐中，一直在使用匯編/C/C++開發嵌入式系統固件，并使用Perl/Python腳本做開發支持工具，同時采用PHP/Java/Python做設備云和Web應用。一個完整的物聯網應用涵蓋許多環節：從數字邏輯電路設計，到硬件設計、固件設計、網關軟件設計、服務器軟件和網頁設計、APP設計，甚至模具的3D設計。出于工作的需要，即使環節長，筆者也不得不像“萬金油”一樣，親自參與全過程的設計工作。雖然無奈，但筆者的修煉結果是，比一般硬件團隊略懂服務器開發，比一般服務器/APP開發團隊略懂硬件開發，而且大致了解了物聯網的許多具體技術。
筆者的個人體會是，物聯網環節太長了！無論是設計、編碼還是調試，物聯網的龐雜特性都非常明顯。首先設計和編碼時間就很長，尤其在系統聯合調試時，需要使用多種開發工具（仿真器、目標硬件、儀表、服務器、Web控制臺）。在這個階段，有時候需要多臺計算機才能夠完成調試任務。
以超市貨架管理項目為例，其涉及WSN協議規劃、節點端和網關端設備的固件開發和協議實現、服務器設計、手機APP、條形碼和二維碼掃描。此項目筆者整整開發了一年才交付給客戶，而且調試起來還挺麻煩。
個人單槍匹馬，精力有限，無法同時兼顧所有環節，因而開發的項目格局不會太大。物聯網開發應該為團隊合作，甚至多個團隊之間進行合作。每個團隊對于各自的環節負責，做到接口標準化。這樣才能夠復用已有的經驗和模式，并充分發揮其邊際效應。即便是團隊合作，也需要將自己使用的工具數量降低到最少，至少需要尋找到覆蓋面較廣的工具來開發。這也是現在許多“全棧”開發的目的。
采用單一語言做全棧開發
全棧開發最初出現在互聯網行業，指的是能夠同時開發網頁前端和服務器后端。這包括能夠做全棧開發的技術和掌握這些技術的工程師。該行業最典型的全棧開發語言是JavaScript。
在物聯網行業中，全棧開發的含義被延伸了。筆者推薦以Python作為全棧開發語言。本書的全棧開發涉及IC（集成電路）設計、設備端（電路和系統）、服務器（含網頁）端，以及移動端和數據分析端。使用單一語言可以多方面降低成本：
? 學習周期短，降低人力成本。
? 交付時間短，降低開發成本。
? 人力資源供應充分，降低人均開發成本。
? 容易形成生態，構建開發者生態圈，實現眾包。
? 代碼復用性強，代碼可重用，開源市場有不少現成方案，可降低總體開發成本。
? 設備可以虛擬化，物理設備可以通過同一代碼模擬出來，以加快工程啟動周期，降低開發成本額和減少開發者間的責任推諉。
綜上，物聯網開發涉及面龐雜，開發周期長，尋找一種覆蓋面廣的編程語言和方法對企業和開發團隊有現實意義。
Python用于全棧開發
在筆者眼里，承擔全棧開發的語言可以是Java，也可以是JavaScript，還可以是Python。由于互聯網的發展，加之JavaScript在前端語言中的優勢地位，使得它開始延伸到了服務器后端和設備端。而Java原本就在設備端和服務器端都很有優勢。從發展歷史上看，在嵌入式平臺中最早出現的是Java，最近才開始出現JavaScript和Lua等動態語言。這都是服務器端企圖深入到嵌入式行業的努力。至于Python，由于其膠水特性，雖然性能不占優勢，但是開發速度快，比較適合做全棧的原型開發。
之所以出現企業和手機開發者力推Java開發，前端開發者力推Node.js開發前后端技術，某些群體力推Go的現象，除了技術本身的因素，許多情況下也是其教育背景和從業經歷所導致的，即所謂出身和基因所決定的。在此，個人經歷決定了筆者選擇Python作為自己的主力開發語言。
曾經看過一個關于如何在Java/JavaScript/C#/Python/Golang等幾種語言中選擇一種作為主力編程語言的漫畫式流程圖。其中有一個選擇：如果你喜歡樂高，那么請選擇Python。仔細想想，Python的確很像樂高：
? 接口一致性高。
? 粗顆粒，構建速度快，適合原型。
? 有標準構件，如各種標準積木和標準庫。
? 具備大量的定制構件。樂高中存在定制的主題人物和機器人組件，而Python也有大量的C擴展庫和第三方應用庫。
在我國的港臺地區術語中，將Integrated Circuit翻譯為“積體電路”，即積木化的電路。而新出現的各類集成技術，如SoC/SiP，即系統芯片和系統封裝，也是通過在電路IP領域和封裝領域的創新來實現更大規模的電路整合。換而言之，不同規模的電路都是搭積木搭出來的。所以，半導體行業應該會比較偏愛類似于積木的Python語言。
回顧自己的從業和工程經歷，大概以下是筆者偏愛Python開發的原因：
? 在固件開發中，接觸到使用腳本語言（gawk）來設計代碼生成器簡化開發。
? 電子工程經驗，接觸并了解了許多企業的設備聯網需求。
? 互聯網工程開發經驗，接觸到了互聯網/物聯網領域的諸多環節。
? 在網站和APP開發經驗中，不得不使用多種編程語言用于軟件開發，了解工程管理的痛點。
Python作為一種膠水語言，可在物聯網及嵌入式系統中承擔大量任務，并可以部分替代VHDL/C/C++/Java/PHP/JavaScript等各類語言，或者與這些語言進行互相調用。但是讓一位工程師拋棄原有技術棧換用其他語言是困難的。最初，筆者只是在工程實踐中發現Python的“出鏡率”相當高。在一些小場景中筆者嘗試使用Python開發后，積累了一定的使用經驗。后來為了加速開發，筆者開始在客戶工程中大量使用Python進行原型驗證和服務器端開發。最終，Python成為筆者的主力開發語言。
說起來，筆者本人的經歷與Python的膠水特性很類似。筆者不能算是Python高手，所有的開發都是僅僅讀了最基本的演示代碼后就立即著手進行工程開發。筆者甚至連相關基本入門書都沒有看完整，就著手使用Python構建系統。缺乏耐心的代價就是不斷重新造輪子，即所謂的“重構”。不過，在不斷換“輪子”的過程中筆者充分體會到了Python的各種優點。
無論是面向過程（POP）、面向對象（OOP）、面向切面（AOP），還是更加抽象的函數式編程（FP），Python都可以支持。編程思想只有在項目中才能被不斷加深理解。這一點，Python對筆者的幫助非常大。之前，雖然也寫過C++/Java程序，但是實際上真正讓筆者完成從面向過程到面向對象編程思維轉換的語言恰恰是Python。
相當多的Python代碼，一開始編寫的時候是采用各類函數的面向控制編程，腳本化的傾向很強。隨著代碼復雜度的增加，筆者不得不反復重構代碼，并主動引入了OOP的編程方法。體會了OOP的好處后，促使筆者反過來在設備端設計中重構C++代碼。在物聯網服務器端開發時，筆者接受了面向切面的概念。在編寫本書的時候，筆者又學習了函數式編程。在以后的開發中，筆者會有意識地增加更加抽象的編程思想以簡化日常的編程設計。
實際上，在從事物聯網的后端設計時，許多朋友強力推薦筆者使用Java進行開發。因為Java在企業級應用中積累了許多可重用的設計，是企業級應用的首選語言。但是筆者接觸并熟悉Python之后，堅持使用Python開發網關和服務器。筆者發現使用什么語言真的不那么重要，只要自己熟悉就好。況且Python還可以用Jython來對接Java重用Java資源。說起來Python和Java是兩種極端：Python可以在許多語言中實現，而許多語言利用Java VM來運行。
熟悉了Python后，筆者就在日常工程中堅持使用Python：在端口擴展與仿真、代碼和文檔生成、Web/IoT服務器及嵌入式平臺Python VM中都可以用到。而且每次開發后，總能夠保留一些Python工具提交給開源社群，或者以后自己用。這也是不斷自我強化的過程：熟悉一種工具，就會不斷地利用這種工具去解決問題。
Python的缺點及應對措施
首先，許多開發者認為Python的運行速度較慢，尤其無法與C/C++編譯的原生代碼相比。由于VM的設計架構不同，Python，尤其是CPython比Java/Lua還要慢。Python作為一種開源的語言，即使有各種各樣的問題，利用開源社群的力量也可以更容易地找到各種解決方案。現在使用JIT技術的PyPy加速已經非常成熟，在許多場合都可以應用。Cython也是一種性能極高的擴展，可以實現與Golang類似的性能。配合libuv異步庫，Python的網絡性能不輸于任何一種編程語言。性能不是唯一的要素，Python的強大在于：生態的完整，開發速度快，運行速度也很快。
其次，Python語言和代碼本質上是開源的，所以更加適合開源軟件使用。如果要實現閉源的商業化軟件，可以將Python源碼編譯成pyc，或使用各類C和其他擴展幫助保護核心設計，其代價是損失了Python跨平臺的特性（除非擴展中也采用了某種跨平臺技術，比如JVM）。
最后，Python的GIL問題也很有名，對多線程設計不利。解決方法有很多：多進程、協程及其他Python實現（如Jython、PyPy、Cython等）均可以回避這個問題。
前言
本書講述如何以Python為主要編程語言，實現“從芯片到云端”的物聯網應用系統快速開發和系統擴展。通過閱讀本書，讀者可以充分體會Python作為一門全棧開發語言，是如何在物聯網的設備端、應用端、服務器端和數據端環節中發揮作用的。
編寫本書的初衷是為了讓準備或者已經從事物聯網開發的讀者能夠通過Python語言縮短相關學習和開發周期；同時與大家分享一些經驗教訓，希望能夠讓讀者在具體開發中回避各種“坑”。這不僅對開發團隊，對于企業甚至投資者決策也是有益的。
大多數物聯網相關書籍比較關注物聯網系統和服務器端設計，但是物聯網與互聯網的設計差別在于：物聯網系統設計受限于有限的設備計算能力、巨大的連接數量、獨特的數據特征。所以完整的物聯網系統設計需要考慮的要素比互聯網更多，需要掌握的知識面既廣且深。如何在短期內實現系統上線，并安全、平滑地實現規模擴展一直是大家思考的問題。開發者可以采用的對策如下：
? 減少開發語言和工具種類。
? 使用成熟的參考設計和編程框架。
? 使用主流的云計算服務和可擴展的系統設計。
? 開源硬件、軟件設計和并行開發模式。
有許多事情“開弓沒有回頭箭”。物聯網的最大特點是大量的定制需求，而且上下環節的銜接往往存在技術依賴性，某個環節的決定往往會對其他環節的實施帶來很大的影響，并可能造成開發團隊間的責任推諉。這需要系統設計者事前做許多調研功課。筆者專注于設備域和服務器域，但本書力求帶來更寬的視野，包括物聯網相關的應用、產品和生態，介紹不同的系統架構和云計算服務，并在不同的技術選項中推薦幾種比較適合工程實施和實際需求的主流組合。
在收集資料的過程中，筆者發現Python作為一門通用編程語言，應用范圍非常寬泛。相信本書內容中有許多物聯網相關的Python應用是出乎大多數人意料的：
? 支持SPICE/IBIS仿真與VHDL設計和電路的自動測試。
? 可以在許多流行的8/16/32 MCU上運行，包括AVR/PIC/ARM/MIPS。
? 支持絕大多數MCU/MPU/CPU的外設和工業總線，而且編程接口非常靈活。
? 可以在各種類型的Linux上運行多種Python運行環境，包括CPython、Jython和各類嵌入式Python。
? 通過Jython運行于Java Runtime中，與Java類庫完美結合，切入企業級應用和大數據分析。
? 可以跨平臺開發桌面應用和手機應用。
? 大量現成的網絡安全和分析工具，可幫助開發者定位通信報文錯誤，或尋找系統安全漏洞。
? 提供大量的輔助工具，包括文檔、軟件工程、虛擬儀器、媒體處理等，為此筆者特地預留了第8章進行羅列。
? 物聯網網關、服務器架構、數據分析和可視化、虛擬設備、通信協議定制等領域開發效率超高。
從SPICE/VHDL開始，到服務器，Python實現了“從芯片到云端”的全棧開發。筆者希望這些內容和案例能夠幫助開發者在啟動項目前對開發有全局性的了解，并做出正確選擇。
同時，本書的寫作過程采用了Python相關工具，也是“全棧開發”實例之一。
? 格式：將Python文檔中常見的reST/Markdown作為基礎書寫格式。
? 編譯：采用Sphinx將reST章節編譯成流行的HTML網頁、ePub電子書籍。
? 轉換：采用Pandoc（Haskell）轉換成交付給出版社的docx主流文檔格式。
讀者可以將本書看作單一編程語言的物聯網應用小百科，通過書中的簡單例子大致了解物聯網的開發流程，并可以根據自己的興趣，在每章的延伸閱讀 清單中深入探索、掌握物聯網開發技術的具體實現細節。
目標讀者群
本書的目標讀者群是以下兩大類開發者。
? 互聯網開發團隊：熟悉移動端APP的開發、服務器架構和網頁前端開發，但對于傳統制造業的技術領域，如芯片設計、硬件設計、固件設計、硬件系統集成，以及批量生產和庫存管理缺乏足夠的了解。
? 設備開發團隊：主要是傳統制造業產業鏈中的半導體供應商、獨立設計公司、設備制造商。他們熟悉硬件設備的設計和流程，但普遍對于互聯網應用和物聯網架構缺乏足夠的了解。
當前的制造業變化趨勢是，設計與平臺標準化，導致產品同質化競爭嚴重。這使得傳統制造業在市場中逐漸喪失了議價權和話語權，處于被整合的被動地位。這些企業和團隊在物聯網時代異常焦慮，急需掌握數據接入和數據分析技術，以增加市場份額，并提升市場競爭力和議價權。本書第9章主要講述物聯網服務器后端開發，可以幫助傳統制造業了解服務器端和數據端的發展趨勢、大致的技術方案構成，并可以利用Python做些簡單的設備測試。
除了工業物聯網、行業物聯網外，消費端智能硬件領域的物聯網開發案例非常多，這是市場熱點之一。許多創業團隊雖然可以自行設計APP，搭建服務器，但是團隊往往缺乏設備端制造經驗，并仍在各類硬件問題中艱苦跋涉，苦苦摸索。本書在第4章中介紹了成熟的元器件、連接模塊和實時操作系統，配合Python快速原型開發能力，讓項目可以快速上市之余，還可以為設備添加各種“智能”應用。
此外，許多讀者可能希望從全局角度了解物聯網應用、各類技術方案甄選標準，以及具體技術細節。本書也盡可能地進行羅列，并就一些常見問題特別加以說明。
總的來說，本書適合對物聯網及相關熱點，如智能硬件、工業4.0、萬物互聯的應用與實現技術感興趣的人群閱讀。目標讀者群除了互聯網從業者、微電子和OEM/ODM制造商、應用系統集成商，還包括學生、教師、創客、極客、Python語言愛好者、產品經理、項目經理，企業高管和創投基金經理等。
最低閱讀要求
由于本書是一本技術書籍，因此需要讀者具備一定的編程經驗和技術熱情。如果讀者對于Python基本語法有一定的了解那就更棒了。即便沒有Python的使用經驗，相信Python易學易用的特點也可以讓讀者很快入門。
此外，由于代碼中大部分采用英語注釋，因此需要讀者具備基本的英語閱讀能力。
本書的目的
核心目的
? 為應用開發團隊提供設備端硬件、固件開發流程和開發工具方面的工程建議，并提供一些可以用于與服務器對接的硬件平臺和參考設計。
? 為設備開發團隊，提供服務器前后端/移動端的系統架構、開發框架、生態平臺方面的工程開發建議，提供可以不斷升級的可擴展架構和開發路徑，以滿足產品從原型測試、中試、量產到分布式規模生產系統整個產品生命周期的需求。
其他目的
? 分享基于IaaS/PaaS云計算平臺的服務器開發經驗，包括設備云、應用云和大數據服務。
? 分享可快速部署的物聯網網關（Gateway）、邊緣服務器（Edge Server）原型設計。
? 匯集Python在計算機系統中方方面面的應用信息，并持續更新。
? 吸引各方合力推動Python在嵌入式虛擬機/網關/服務器/大數據分析方面的開源活動。
本書內容安排
物聯網環節長、技術龐雜，涉及的每種技術領域都值得大家仔細鉆研學習。可以這么說，許多話題和技術都可以單獨出一本書。所以本書力求在有限的篇幅內，突出物聯網特征并使用Python落地生根，使之成為快速開發迭代的基礎；與此同時提示在Python應用中可能遇到的問題和解決方案，以降低讀者的學習成本。
本書以數據的流動方向，即數據的設備端采集、服務器接入、轉發、分析到用戶端的呈現為主線，并以Python語言從入門到各個技術棧中的應用作為輔線來安排章節。
本書內容編排經過多次斟酌和修改，最終按照以下順序介紹。
章 節 簡 介
第1章 物聯網簡介 概述物聯網的定義、發展趨勢以及物聯網應用與技術等
第2章 Python語言基礎 數據類型、數據結構、內置函數和標準庫
第3章 Python語言進階 多種實現、與其他語言的接口、物聯網常見技巧
第4章 嵌入式系統開發 數字邏輯與模擬電路設計、C/C++固件開發以及主流的平臺與供應商
第5章 設備連接和編程接口 物聯網的多種連接性與編程接口以及Python支持包
第6章 嵌入式Python虛擬機 深嵌入式、嵌入式Linux最小系統以及各類Python虛擬機實現、演示
第7章 Python應用APP 在主流桌面操作系統和移動端中的Python APP開發
第8章 Python開發輔助支持 在物聯網開發環節中的原型驗證、虛擬設備、數據分析等多個方面的Python開發工具
第9章 物聯網服務器端設計 物聯網網關、邊緣服務器、Web/IoT服務、開發框架和連接選項
第10章 融合應用與數據分析 科學計算、數據統計、數據挖掘和大數據分析平臺和工具，以及數據可視化
除了本書內容，筆者還整理了諸多書中提到的Python擴展包和演示代碼，并計劃依托出版社網站和其他互聯網服務進行分發。本書為筆者一個人寫就，缺少專家進行校對，本人水平有限，書中難免有疏漏、錯誤，歡迎讀者指正。但筆者精力亦有限，無法一一回復，祈諒。
本書未包括的內容
因為篇幅的限制，也因為物聯網的特性，所以本書安排的內容比較繁雜。本書未能針對特定硬件、軟件、云服務展開，也沒有針對物聯網提供完整的開源設計。這些希望讀者在書本之外展開。本書出版后會依托各類互聯網服務（如GitHub、社交網站和BBS）展開后續的開源設計活動。
軟硬件環境
除非特殊應用和聲明，本文主要的操作環境為Windows 7（64位）及Ubuntu Linux 12.04（32/64位）。Python版本為V2.7.11和V3.5。
在微控制器方面筆者推薦ARM mbed兼容的LPC/STM/KL開發板，或Arduino；對于卡片電腦，推薦樹莓派或者兼容的國產Linux SBC；對于MicroPython，推薦在STM32F4XX/ESP8266開發板上運行。
版權聲明
本書所附代碼和硬件，凡是筆者所做，皆采用LGPL協議，讀者可以自由用于任意目的；其余軟件和硬件，請參考各自官網中的版權聲明。本書引用的圖片、代碼、圖表等，其版權皆歸屬于所屬公司、網站和個人。本書引用這些資源主要用于說明目的，且盡量在每章延伸閱讀中標明出處。如有遺漏，請聯絡筆者本人。
感謝
本書付梓需要感謝許多機構和個人。
? 知乎網站：本書的創作主題來源于筆者在知乎上的提問，并得到了知乎網友（包括出版社編輯）的熱心解答、正面鼓勵和推動才能夠走到這一步。
? 張春雨先生（永恒的俠少），電子工業出版社的策劃編輯：在知乎上遇見后，你一路推動本書的出版。感謝你的耐心和鼓勵。
? 張成先生，物聯網創業伙伴：張成先生，物聯網創業伙伴：不斷鼓勵筆者繼續深入物聯網開發，并撥冗為本書作序。
? EEWorld編輯nmg和版主dcexpert：他們提供了寶貴的MicroPython pyboard開發板。
? 諸多開源項目的作者們：感謝大家對于開源軟硬件項目的熱情和不厭其煩解答問題的耐心。
芯片供應商及分銷商：
? NXP（恩智浦），感謝免費提供LPC系列開發板。
? Freescale（飛思卡爾，已與NXP合并），感謝慷慨提供大量KL25的樣片及技術支持。
? TI（德州儀器）及分銷商Serial（新曄科技），感謝提供WSN技術支持。
? Cypress，感謝免費提供PSoC開發板。
? Fujitsu（富士通），感謝友情提供FeRAM RFID。
? Atmel（愛特梅爾），感謝免費提供MCU、Wi-Fi和Crypto產品開發板。
? Nuvoton（新唐科技），感謝免費提供MCU開發板。
最后感謝自己的父母和妻子，忍受筆者在放棄其他工程開發的情況下編寫本書。
輕吻女兒Kirin，謝謝你的耐心等候。
劉凱（奕辰，Allan K Liu）
2017夏，上海 |
內容簡介：物聯網開發重新定義了“全棧開發”的范圍。Python作為一門快速發展的語言，已經成為系統集成領域的優選語言之一，其可覆蓋從電路邏輯設計到大數據分析的物聯網端到端開發。各領域開發者可以利用Python交叉涉足物聯網設備、邊緣計算、云計算、數據分析的工程設計。本書嘗試讓讀者建立物聯網設計的整體概念，從基礎概念開始，到相關技術選型、開源工程、參考設計與經驗分享。無論是物聯網領域的創業者，還是系統架構師，都可從本書中獲得靈感。本書對于嵌入式開發領域的開發者尤具學習價值，利用Python可加快開發迭代速度、降低開發成本，并可以基于嵌入式Python建立完整的物聯網軟硬件生態。 |
目錄：第1章 物聯網簡介 1
1.1 物聯網定義 1
1.2 物聯網發展趨勢 1
1.3 物聯網應用與技術 2
1.3.1 物聯網核心價值 2
1.3.2 物聯網發展階段 3
1.3.3 物聯網分層 5
1.3.4 物聯網數據傳輸與網絡拓撲 5
1.3.5 物聯網實施所需技術棧 8
1.3.6 標準、現狀與未來 10
1.4 本章小結 16
第2章 Python語言基礎 17
2.1 Python的由來與特征 19
2.1.1 概述 19
2.1.2 設計定位與哲學 19
2.1.3 優點與缺點 20
2.2 Python與物聯網開發 22
2.3 獲取Python資源 24
2.3.1 Python主程序 24
2.3.2 Python文檔 24
2.3.3 Python PyPI 24
2.4 Python解釋器運行環境 26
2.4.1 REPL交互模式 26
2.4.2 直接運行與模塊運行 26
2.4.3 腳本文件直接運行 27
2.4.4 源程序文字編碼與結束符 28
2.5 Python類型與語法 29
2.5.1 動態類型 29
2.5.2 傳值與傳引用 30
2.5.3 數據類型 31
2.5.4 內置類型 32
2.5.5 內置類型的普適操作 34
2.5.6 數值類型 35
2.5.7 布爾類型 37
2.5.8 迭代器類型 37
2.5.9 生成器類型 38
2.5.10 yield表達式 39
2.5.11 序列類型 39
2.5.12 set集合類型 54
2.5.13 映射類型 55
2.5.14 其他類型 56
2.5.15 控制流 59
2.5.16 內置函數 61
2.5.17 用戶自定義函數 62
2.5.18 模塊 65
2.5.19 輸入/輸出 68
2.5.20 面向對象編程 74
2.5.21 進程和線程 82
2.5.22 錯誤和異常 90
2.6 Python標準庫概覽 93
2.7 本章小結 94
第3章 Python語言進階 95
3.1 HOWTO：常見任務和解決方案 95
3.1.1 數據類型轉換 96
3.1.2 數據的調試打印 100
3.1.3 數據類型資源優化 102
3.1.4 數據結構與算法 102
3.1.5 數據緩存 103
3.1.6 數據多路復用和解復用 104
3.1.7 數據序列化和反序列化 107
3.1.8 數據壓縮和解壓縮 119
3.1.9 數據加密 120
3.1.10 數據傳輸 121
3.1.11 數據后處理 121
3.1.12 數據持久化 121
3.1.13 數據交換 122
3.2 HOWTO：函數式編程 123
3.2.1 高階函數 123
3.2.2 map函數 124
3.2.3 reduce函數 124
3.2.4 filter函數 124
3.2.5 sorted函數 125
3.2.6 返回函數 125
3.2.7 閉包 126
3.2.8 匿名函數 126
3.2.9 裝飾器 127
3.3 HOWTO：并發運行模型 131
3.3.1 協程 131
3.3.2 I/O模型 134
3.4 HOWTO：日期與時間 136
3.4.1 類型轉換 136
3.4.2 時區的處理 138
3.5 Python版本遷移 139
3.5.1 Python 2與Python 3的區別 140
3.5.2 Python 2到Python 3的流程 140
3.5.3 多個Python版本共存 140
3.5.4 virtualenv 141
3.5.5 Windows多個版本共存 141
3.5.6 Linux多個版本共存 142
3.6 其他常見技巧 143
3.6.1 常數類型的模擬 143
3.6.2 枚舉類型的模擬 143
3.6.3 開發自定義模塊 144
3.7 Python與其他語言 145
3.8 Python語言擴展 151
3.8.1 C語言擴展Python 151
3.8.2 ctypes訪問Windows DLL 153
3.8.3 Jython訪問Java類 154
3.8.4 IronPython訪問.NET 155
3.9 Python加速 157
3.9.1 PyPy 158
3.9.2 Cython 159
3.9.3 PyCUDA 159
3.9.4 PyOpenCL 159
3.9.5 Theano 159
3.9.6 Nuitka 159
3.10 本章小結 160
第4章 嵌入式系統開發 161
4.1 嵌入式系統硬件分類 162
4.1.1 MCU 162
4.1.2 MPU 163
4.1.3 DSP 163
4.1.4 SMP 164
4.1.5 異構大小核 164
4.1.6 FPGA原型 165
4.1.7 SoPC 165
4.1.8 GPU 167
4.1.9 哈佛結構和馮?諾依曼結構 168
4.2 電路原型設計 168
4.2.1 集成電路設計流程 170
4.2.2 模擬電路原型設計 170
4.2.3 數字電路原型設計 175
4.3 常見嵌入式微控制器（MCU） 179
4.3.1 MCU市場狀況 179
4.3.2 Arduino/Wiring 180
4.3.3 ARM mbed 181
4.3.4 設計專屬架構和專屬MCU 182
4.3.5 ARM MCU差異化競爭 182
4.4 常見嵌入式處理器和主板 184
4.4.1 ARM架構 185
4.4.2 其余的ARM Linux主板 188
4.4.3 MIPS開發板 190
4.4.4 x86 mini-ITX 191
4.5 常見傳感器和執行器 192
4.5.1 虛擬傳感器 193
4.5.2 智能傳感器 193
4.5.3 專用傳感器 194
4.5.4 執行器 195
4.6 物聯網通信集成電路 196
4.7 嵌入式系統開發語言演進 197
4.7.1 從匯編到嵌入式C 197
4.7.2 從C到C++ 199
4.7.3 壓縮C++的系統消耗 199
4.7.4 C++適合物聯網開發 200
4.8 C/C++的編程模式和技巧 204
4.8.1 C/C++設計模式 205
4.8.2 回調函數 206
4.8.3 有限狀態機模型 209
4.8.4 善用結構體 211
4.8.5 C/C++協程 214
4.9 開發生態選擇 215
4.9.1 工業標準與廠家私有指令集架構 215
4.9.2 硬件與軟件平臺選擇 215
4.9.3 編譯器選擇 216
4.10 常見操作系統 217
4.10.1 無操作系統 217
4.10.2 RTOS的優勢 218
4.10.3 uC/OS 219
4.10.4 Keil RTX 219
4.10.5 mbed RTOS與mbed OS 220
4.10.6 FreeRTOS 221
4.10.7 Linux是開發復雜聯網設備的現實選擇 222
4.11 物聯網中間件 227
4.11.1 WSN堆棧 227
4.11.2 TCP/IP 227
4.11.3 USB 227
4.11.4 FAT/FS 228
4.11.5 GUI 228
4.11.6 Terminal 228
4.11.7 MQTT 228
4.11.8 CoAP 229
4.12 物聯網安全性 230
4.12.1 安全相關芯片 230
4.12.2 安全中間件 231
4.12.3 Python安全算法 232
4.13 設備固件更新 232
4.13.1 固件更新技術發展史 232
4.13.2 本地固件更新 234
4.13.3 遠程固件更新 234
4.13.4 固件升級定制 234
4.14 各類串口實現聯網 235
4.14.1 串口協議的選擇 235
4.14.2 模擬串口設備 236
4.14.3 其他類型虛擬設備 238
4.14.4 ISP編程器 238
4.14.5 串口設備監控器 239
4.15 本章小結 239
第5章 設備連接和編程接口 240
5.1 設備連接概述 240
5.1.1 嵌入式系統連接層次 240
5.1.2 選擇正確的連接方案 241
5.1.3 具體落實連接設計 241
5.1.4 本章內容安排 242
5.2 連接能力匯總 242
5.2.1 連接由芯片開始 243
5.2.2 芯片內部系統總線 245
5.2.3 芯片間連接技術 246
5.2.4 設備間連接 249
5.2.5 設備組網 250
5.2.6 設備組網與聯網的無線技術 253
5.2.7 連接性回顧 266
5.3 Linux文件系統 266
5.3.1 設備即文件 266
5.3.2 設備文件系統 267
5.3.3 Linux設備文件的演變 268
5.3.4 文件I/O操作 271
5.3.5 Linux硬件編程 272
5.4 并行接口 273
5.4.1 老舊的PC并行接口 274
5.4.2 高速總線 274
5.4.3 GPIO 274
5.4.4 Linux訪問GPIO 275
5.4.5 GPIO的Python包 276
5.5 串行接口 277
5.5.1 異步通信串行口 277
5.5.2 I2C總線 284
5.5.3 SPI總線 290
5.5.4 與其他硬件平臺相關的Python包 294
5.6 USB總線 296
5.6.1 USB Endpoints 297
5.6.2 USB Device/Host/OTG 297
5.6.3 USB 3.0 297
5.6.4 libUSB 297
5.6.5 PyUSB 298
5.6.6 標準化USB橋接 299
5.6.7 與USB相關的其他設計 301
5.7 Linux網絡設備驅動 301
5.7.1 TCP/IP套接字編程 301
5.7.2 IEEE 802.3到IEEE 802.11 302
5.7.3 網絡通信實現方案 302
5.7.4 私有通信協議棧 305
5.7.5 短距離無線連接 307
5.8 工業總線 310
5.8.1 CAN總線 310
5.8.2 LIN總線 312
5.8.3 其他ASIC 313
5.8.4 定制Python擴展 313
5.8.5 Windows DLL 314
5.9 本章小結 314
第6章 嵌入式Python虛擬機 315
6.1 嵌入式高級語言平臺大薈萃 315
6.1.1 高級語言與二次開發 315
6.1.2 BASIC 319
6.1.3 Java 319
6.1.4 Lua 322
6.1.5 JavaScript 322
6.1.6 .NET 323
6.2 前一代Python虛擬機 323
6.2.1 Telit GPRS模塊 323
6.2.2 Symbian 325
6.2.3 Windows CE 325
6.2.4 OpenMoko 325
6.3 深嵌入式Python平臺 326
6.3.1 LEGO EV3 326
6.3.2 TinyPy 326
6.3.3 嵌入式Python的局限 327
6.4 PyMite 328
6.4.1 硬件平臺 328
6.4.2 維護者 329
6.4.3 pymbed分支 329
6.4.4 開發現狀 331
6.4.5 文檔 332
6.4.6 源碼樹 333
6.4.7 使用流程 335
6.4.8 實踐 336
6.4.9 工程小結 337
6.4.10 網絡資源 338
6.5 VIPER/Zerynth 338
6.5.1 硬件平臺 339
6.5.2 Zerynth Studio 340
6.5.3 與標準Python的區別 341
6.5.4 快速啟動 342
6.5.5 坎坷的使用過程 342
6.5.6 Zerynth目錄結構 343
6.5.7 硬件相關庫 344
6.5.8 其他特性 355
6.6 MicroPython 356
6.6.1 工程背景知識 356
6.6.2 在線評估網頁 358
6.6.3 官方硬件平臺分支 358
6.6.4 衍生項目 359
6.6.5 UNIX版本 360
6.6.6 MicroPython庫 363
6.6.7 STM32HAL分支 365
6.6.8 NUCLEO-F401RE適配 367
6.6.9 pyboard評估 372
6.6.10 異步處理和中斷處理 389
6.6.11 中斷處理的普遍問題 392
6.6.12 使用心得 395
6.6.13 商品化與知識產權 396
6.6.14 BBC microbit 396
6.7 Linux與Python 398
6.7.1 Linux中Python的運行環境 398
6.7.2 交叉編譯CPython 401
6.7.3 交叉編譯MicroPython 402
6.7.4 Jython運行環境 404
6.7.5 Android SL4A 406
6.8 本章小結 407
第7章 Python應用APP 408
7.1 基于字符的人機界面 409
7.1.1 命令行參數 409
7.1.2 字符終端開發 410
7.1.3 ncurses 411
7.2 桌面GUI開發 412
7.2.1 Tkinter 413
7.2.2 wxPython 414
7.2.3 Boa Constructor 415
7.2.4 wxGlade 416
7.2.5 PyGTK 417
7.2.6 PyQt 419
7.2.7 PySide 420
7.2.8 Enthought 421
7.2.9 Cocoa+PyObjC 423
7.2.10 Java AWT 424
7.2.11 IronPython與WPF 425
7.2.12 其他UI 425
7.3 本地Web GUI 426
7.3.1 與WebKit相關的Python包 427
7.3.2 OneRing 427
7.3.3 Pyjs 427
7.3.4 Python Flexx 428
7.4 本地可執行文件 429
7.4.1 Linux可執行文件 429
7.4.2 Mac OS X應用程序包 430
7.4.3 Windows可執行文件 430
7.4.4 pyinstaller 430
7.4.5 py2exe 430
7.4.6 py2app 430
7.4.7 cx_Freeze 431
7.4.8 Windows系統服務 431
7.4.9 Windows定時任務 432
7.4.10 Linux系統服務 433
7.4.11 Linux定時任務 435
7.5 移動APP開發 436
7.5.1 響應式網頁 437
7.5.2 PhoneGAP應用開發 437
7.5.3 SL4A 437
7.5.4 QPython開發 441
7.5.5 Kivy 443
7.5.6 其他開發方式 449
7.6 本章小結 449
第8章 Python開發輔助支持 451
8.1 物聯網開發需要不斷優化 452
8.2 專屬小工具 452
8.2.1 單位轉化器 453
8.2.2 內碼轉換器 454
8.2.3 其他編碼轉換 455
8.3 原型驗證 458
8.4 代碼生成器 459
8.5 軟件測試 461
8.5.1 unittest單元測試 462
8.5.2 socket壓力測試 462
8.5.3 urllib2遠程記錄 463
8.5.4 PCBA測試 466
8.6 文檔生成器 468
8.6.1 文檔格式 469
8.6.2 文檔生成工具 473
8.7 文檔操縱 477
8.7.1 Doc文檔操縱 477
8.7.2 Excel表格操縱 478
8.8 國際化與本地化 479
8.8.1 gettext 479
8.8.2 Web多語種切換 482
8.8.3 字庫文件生成器 482
8.8.4 GB2312點陣字庫提取 482
8.8.5 TTF字庫提取 483
8.9 配置管理 484
8.9.1 軟件配置管理 484
8.9.2 軟件配置管理自動化 485
8.9.3 Git Bash 485
8.9.4 Dulwich/Gittle包 485
8.9.5 Python Subversion包 486
8.9.6 watchdog系統監控 486
8.10 數據與素材處理 486
8.10.1 二維碼顯示 486
8.10.2 多媒體相關軟件包 490
8.10.3 地理位置 494
8.11 通信報文分析 495
8.11.1 PyShark 495
8.11.2 pypcapfile 497
8.11.3 scapy和scapy3k 497
8.11.4 pcap Web分析 497
8.12 與Arduino/mbed相關的Python包 497
8.12.1 Arduino Prototyping 498
8.12.2 pyFirmata 501
8.12.3 Py2B 501
8.12.4 CmdMessager 501
8.12.5 mbed 504
8.12.6 mbed RPC 504
8.12.7 mbed-ls 505
8.12.8 Python-mbedtls 507
8.12.9 Python-xbee 508
8.13 虛擬儀器 509
8.13.1 實時顯示波形 510
8.13.2 Instrumentino 510
8.13.3 Vipy 511
8.13.4 PyVISA 511
8.13.5 Pythics 512
8.14 3D/VR/AR 512
8.14.1 PyOpenGL 513
8.14.2 PySoy 514
8.14.3 VPython 514
8.14.4 Printrun 3D打印 514
8.15 本章小結 515
第9章 物聯網服務器端設計 516
9.1 物聯網計算模型 517
9.1.1 云計算 517
9.1.2 Web PaaS與IoT PaaS 518
9.1.3 IoT PaaS供應商 518
9.1.4 PaaS/IaaS混合架構 524
9.1.5 霧計算 525
9.2 物聯網與互聯網設計異同 526
9.2.1 基礎架構 526
9.2.2 標準化程度 527
9.2.3 業務模式 527
9.2.4 系統構成 527
9.2.5 設備接入協議 528
9.2.6 數據特性 529
9.2.7 系統架構 530
9.2.8 數據持久層 532
9.2.9 大數據分析架構 534
9.2.10 業務耦合與分離 534
9.2.11 業務與數據融合 535
9.2.12 認證授權與計費 535
9.3 物聯網網關與邊緣服務器 535
9.3.1 Python socket服務器 536
9.3.2 pyserial RFC2217 536
9.3.3 SubGHz網關panStamp 537
9.3.4 Rascal micro 538
9.3.5 Java IoT網關 539
9.4 物聯網設備接入協議 540
9.4.1 異步通信框架Twisted 541
9.4.2 Twisted 套接字服務器設計 544
9.4.3 物聯網專用協議 558
9.4.4 CoAP 560
9.4.5 MQTT 564
9.4.6 mosquitto/paho 567
9.4.7 REST API 572
9.4.8 服務器數據推送技術 572
9.5 高可用性與高并發性 575
9.5.1 并行與并發計算 575
9.5.2 網絡I/O模型分類 575
9.5.3 架構優化的路徑 576
9.5.4 關系數據庫系統 576
9.5.5 SQL/NoSQL/NewSQL 578
9.5.6 Redis 579
9.5.7 MongoDB 580
9.5.8 時序數據庫 581
9.5.9 消息隊列 583
9.6 業務與數據融合 585
9.6.1 網站權限管理 585
9.6.2 認證授權與計費 586
9.6.3 OpenID 587
9.6.4 OAUTH 587
9.6.5 OpenID與OAUTH的異同 588
9.6.6 社交化硬件 588
9.7 Web開發框架 589
9.7.1 MVC模型 589
9.7.2 Web開發流程 589
9.7.3 Python Web百花齊放 590
9.7.4 Zope 591
9.7.5 Django 591
9.7.6 Flask 592
9.7.7 gevent提升性能 593
9.7.8 異步Web框架Tornado 593
9.7.9 異步網絡框架Twisted 593
9.7.10 異步Web框架Cyclone 594
9.7.11 靜態網頁 594
9.7.12 TLS安全網頁 594
9.8 物聯網安全 597
9.8.1 物聯網安全現狀堪憂 598
9.8.2 操作系統安全 598
9.8.3 數據緩存與數據持久層安全 599
9.8.4 Web框架與容器安全 599
9.8.5 遠程加載風險 600
9.8.6 Web前端安全 600
9.8.7 傳輸層安全 601
9.9 服務器交付 603
9.9.1 虛擬機交付 603
9.9.2 Docker容器交付 603
9.9.3 VirtualEnv交付 605
9.10 服務器運維 605
9.10.1 Linux定時任務 606
9.10.2 常見的定時任務 610
9.10.3 系統監控 611
9.10.4 集成化運維軟件 613
9.11 物聯網系統設計實踐 614
9.11.1 服務器端需求分析 614
9.11.2 確定設備接入方式 616
9.11.3 物聯網的實時要求 617
9.11.4 EPIC IoT設備服務器 617
9.11.5 EPIC架構優化 619
9.12 本章小結 625
第10章 融合應用與數據分析 626
10.1 物聯網是可編程的 626
10.1.1 Web API的“滿漢全席” 627
10.1.2 Web API技術演進 628
10.1.3 IoT Web API的必要性 628
10.1.4 Device as a Service 629
10.2 數據統計、分析和挖掘 630
10.2.1 名詞解釋 630
10.2.2 術語小結 631
10.2.3 大數據分析 632
10.3 采集整理自有數據 633
10.3.1 原始設備數據 633
10.3.2 數據埋點 633
10.3.3 服務器端數據 634
10.3.4 需求確定分析方法 637
10.4 采集第三方數據 637
10.4.1 結構化數據 638
10.4.2 半結構化數據 638
10.4.3 非結構化數據 639
10.4.4 數據錄入 644
10.4.5 數據融合 644
10.4.6 數據規整 646
10.4.7 數據交易 646
10.5 數據分析 647
10.5.1 常見編程語言 647
10.5.2 數據分析分類 647
10.5.3 科學計算數據分析工具 651
10.5.4 統計學數據分析工具 658
10.5.5 金融數據分析工具 659
10.5.6 大數據平臺與生態 661
10.6 數據可視化 663
10.6.1 數據可視化的發展趨勢 664
10.6.2 matplotlib 665
10.6.3 seaborn 665
10.6.4 mpld3 666
10.6.5 Chaco 667
10.6.6 Pygal 668
10.6.7 Plotly 670
10.6.8 TVTK 671
10.6.9 VPython 672
10.6.10 Folium 673
10.6.11 NetworkX 674
10.6.12 Bokeh 676
10.6.13 Mayavi 678
10.6.14 Vispy 680
10.6.15 MoviePy 681
10.6.16 其他新技術 682
10.7 本章小結 682
推薦書目與結束語 683 |
| 序： |
