 |
-- 會員 / 註冊 --
|
 |
|
|
|
BPF之巔：洞悉Linux系統和應用性能 ( 簡體 字) |
| 作者：孫宇聰 等 | 類別：1. -> 作業系統 -> Linux |
| 譯者： |
| 出版社：電子工業出版社 |  3dWoo書號： 53818
詢問書籍請說出此書號！【缺書】
NT售價： 995 元 |
| 出版日：11/1/2020 |
| 頁數：856 |
| 光碟數：0 |
|
站長推薦：   |
| 印刷：黑白印刷 | 語系： ( 簡體 版 ) |
| |
加入購物車  │加到我的最愛
(請先登入會員) |
| ISBN：9787121399725 |
| 作者序 | 譯者序 | 前言 | 內容簡介 | 目錄 | 序 |
| (簡體書上所述之下載連結耗時費功, 恕不適用在台灣, 若讀者需要請自行嘗試, 恕不保證) |
| 作者序： |
| 譯者序： |
前言：譯者序一
我現在仍能回想起 2003 年年初在北京交通大學機房里的情景。班主任高老師遞給我一張自刻的 Debian 光盤，讓我這個 Windows 玩家負責安裝一臺新服務器，因為“服務器中安裝的都是這個系統”。我就這樣在機房里熬了幾個通宵，不知道刷了多少遍機，一點一點地踏上了 Linux 使用之路。再后來，我收到了人生中第一份國際快遞 — 來自
Ubuntu 的免費安裝光盤。回首想想，在我初學 Linux 的路上，給我留下最深印象的，就是“鳥哥的 Linux 私房菜”等一系列 Linux 教程文章。工作之后，作為一名自認為技術合格的運維 SRE 從業人員和云計算愛好者，借工作之便我可以閱讀到一些 Linux 技術博客、雜志，還能參加一些技術會議。我一直想著有一天能為 Linux 技術的發展和推廣做
出自己的一點貢獻。
從 2017 年起，我就逐漸關注到，BPF 這個名詞在 Linux 技術討論中出現的頻率越來越高。2019 年參加 USENIX 大會時，我有幸參加了本書作者 Brendan Gregg 主講的一堂 BPF 講座，受益匪淺。BPF 技術作為 Linux 內核的一個關鍵發展節點，其重要程度不亞于虛擬化、容器、SDN 等技術。我希望能依靠本書，為這項新技術的推廣和發展貢獻一些自己的力量。這就是我主動請纓加入翻譯團隊的初衷。
一年過去，我想感謝翻譯團隊的成員、出版社編輯的大力支持，感謝家人和朋友的支持、包容和理解。希望本書能給想要深入了解 BPF 技術與 Linux 內核技術的朋友帶來便利，也期待著未來能在這方面與大家進行更多更深入的交流。
孫宇聰 2020 年 10 月 18 日晚于美國加州灣區
譯者序二
本人在互聯網領域深耕多年，曾就職于谷歌北京、谷歌愛爾蘭、阿里巴巴北京，現在在美國谷歌總部基礎架構部門工作，對技術由衷地熱愛，尤其是對系統底層技術。說起本書的翻譯，現在想想，有一種冥冥之中注定的緣分。
2019 年 10 月底，約好友孫宇聰參加一年一度的 LISA 會議。會議在美國波特蘭舉行，伴著色彩斑斕的秋色，在威拉米特河畔的萬豪酒店內，我第一次面對面見到了本書作者Brendan Gregg。
Brendan Gregg 是技術圈公認的系統性能“大神”，之前只是在他的網站上閱覽過他的關于系統性能的技術文章，收獲知識的同時感慨他對系統的深刻理解。在他的研討會上，得知了他的新書 BPF Performance Tools 馬上就要上市了。
會后，在波特蘭機場的餐廳內，我和宇聰暢想了 2020 年我們想做的幾件事情，第一件事就是要翻譯 Brendan Gregg 的這本新書。有同樣想法的不止我們兩個，2019 年年底的時候，我們三位譯者就拿到了英文原版書，正式開始翻譯。
BPF 本身已經存在很多年了，但是最近幾年 eBPF 才開始真正登上舞臺（現在大家說的 BPF 就是 eBPF），被大公司應用于生產環境，覆蓋范圍也開始涉及網絡之外的其他領域。Brendan Gregg 拓展了原本 BPF 的應用范圍，并基于自己對系統可觀測性和性能分析的需要開發了一系列 BPF 工具。這些工具好比瑞士軍刀，體型雖小，但是非常實用，并且很容易擴展、定制來適應不同的生產環境 ；本書就是該“瑞士軍刀”的說明書，可以讓你快速上手解決問題，并幫助你理解什么時候使用傳統性能分析工具，什么時候使用 BPF 工具。
本書可以作為一本參考手冊使用，在遇到問題時參考對應的章節即可。書中介紹的工具僅僅是一個開始，當對 BPF 開發環境有一定的了解之后，你可以根據需要對現有工具進行深度定制。如果你是一名技術愛好者，想對系統底層調試進行更深入的學習，本書很適合你 ；如果你是一名系統維護者，想了解系統的瓶頸在哪里，本書很適合你 ；如
果你是一名資源主管，想要提高系統的效率，本書也很適合你。
2020 年注定是不平凡的一年。年初左腿前交叉韌帶拉斷，做了重建手術，全球又爆發了新冠肺炎疫情，工作安排也跟著進行了調整。三位譯者來自不同的 IT 公司，翻譯進度受到很大影響，原定的交稿日期也從年初拖到了下半年。在如此艱難的環境下完成翻譯，對自己是一個莫大的挑戰。在這里衷心希望本書能幫助那些想征服性能調試高峰
的技術愛好者。
最后，我要感謝孫宇聰向編輯的推薦，感謝出版社把這樣一本硬核圖書交給我們幾位譯者翻譯 ；還要感謝我的家人和朋友，他們的關懷和幫助讓我順利完成本書的翻譯。
呂宏利 2020 年 10 月 15 日于美國加州灣區
譯者序三
毫無疑問，BPF 是近年來 Linux 系統技術領域一個巨大的創新。2018 年我初次接觸BPF，便對它有一見傾心的感覺，工作之余混跡于 BCC 和 bpftrace 等相關項目社區，陸續貢獻了一些補丁程序。現在，我和字節跳動的同事基于這項系統底層技術構建了全新而強大的性能分析和網絡監控診斷平臺，取得了非常好的效果。在這里由衷地感謝相關
開源社區及本書作者 Brendan Gregg ！
追根溯源的話，BPF 于 1992 年誕生在美國勞倫斯伯克利國家實驗室（B 代表伯克利）。不過，BPF 在過去相當長的時間內都鮮為人知，原因無非是用戶和應用場景少，即便在經常使用 tcpdump 嗅探抓包的網絡管理員中，又有多少人知道它的存在呢？
今非昔比，經過擴展后的新 BPF 吸引了社區開發者的廣泛關注。其熱度之高，使得 Linux 內核開發者圈中曾出現“BPF 會替代 Linux”這樣的玩笑言論。不過直接編寫BPF 程序開展相關工作比較煩瑣，而 BCC/bpftrace 等項目則大大降低了 BPF 程序編寫和使用的門檻，進一步促進了 BPF 的實戰應用。
作為性能分析領域享譽全球的專家，Brendan Gregg 也是上述項目的核心開發者，因此沒有人比他更適合來寫這樣一本利用 BPF 工具進行性能分析的書了。從這個角度來說，翻譯和閱讀這本書都是在向大師學習。
在本書的翻譯過程中，我得到了電子工業出版社編輯俠少、合作譯者孫宇聰和呂宏利的幫助、支持以及家人的理解和包容，在此表示深深的感謝！
劉曉舟 2020 年 10 月于北京
序
程序員常常說他們“煎了一個補丁”（cook a patch）而不是“實現了一個補丁”（implement a patch）。我從學生時代起就著迷于編程。為了寫出好的代碼，程序員需要最好的“食材”。雖然各種不同的編程語言提供了不同的組件，也就是“食材”，但是對Linux 內核編程來說，除了內核代碼本身，就沒有其他選擇了。
2012 年，我需要增加一組內核特性，但是我需要的“食材”并不存在。我完全可以選擇在內核中添加一些新的專用代碼，這樣幾年之后還能使用。但是，我決定創建一種“普適的食材”，這樣在有經驗的程序員手中，它既可以成為內核中二層的網橋，也可以成為三層的網絡路由器。
我有一些重要的要求 ：“普適的食材”必須和使用者的編程技能無關，可以被安全使用。一個懷著惡意或者經驗不足的開發者不應該具備通過它制作病毒的能力。“普適的食材”不應該允許這種情況的發生。
在內核中已經存在一個叫作 BPF（伯克利數據包過濾器）的“食材”具備類似的特性：一個最小化的指令集，可以在數據被 tcpdump 這樣的應用處理之前進行過濾。我借用它的名字稱呼這個新的“食材”為 eBPF，這里 e 代表擴展版（extended）。
幾年之后，eBPF 和經典 BPF 的差距已經消失了。我的“普適的食材”已經完全替代了原來的 BPF。很多知名的公司基于它建造了龐大的系統，來向包括你和我在內的數十億用戶提供服務。它具有的安全性原則允許許多“廚師”成長為世界級大廚。
第一個 BPF“大廚”就是 Brendan Gregg。他敏銳地發現，除了應用于網絡和安全領域，BPF 亦可作為性能分析、監視和可觀測性的工具。不過創造這些工具然后再對它們的性能進行解釋，對實踐和知識的要求是很高的。
我衷心希望本書能夠成為讀者最心愛的“菜譜”，在這里你可以向廚神學習如何在Linux 廚房中使用 BPF。
Alexei Starovoitov 2019 年 8 月于美國華盛頓州西雅圖市
前 言
“擴展版 BPF 的使用案例 ：……真瘋狂啊。” ——Alexei Starovoitov，新 BPF 的創建者，2015 年 2 月
2014 年 7 月，Alexei Starovoitov 到訪了 Netflix 公司位于加州 Los Gatos 的辦公室，對他開發的一項有趣的技術進行研討 ：擴展版的伯克利數據包過濾器（簡寫為 eBPF 或者 BPF）。BPF 是一項用于改進包過濾的冷門技術，此時 Alexei 已經有了對其在包過濾之外的領域進行擴展的遠見卓識。Alexei 和另外一名網絡工程師 Daniel Borkmann 并肩協作，將 BPF 改寫為一個通用的虛擬機，可以運行高級的網絡程序和其他類型的程序。
這是一個令人驚嘆的想法。有一種使用場景令我十分感興趣，那就是可以將 BPF 用在開發性能分析的工具上，我看到了 BPF 能夠提供我所需要的可編程能力。于是我們做了一個約定 ：如果 Alexei 能夠將 BPF 與數據包之外的東西相連接，我將使用它來開發性能分析工具。
BPF 現在已經可以掛載到任何事件源上，它也成為系統工程領域一項熱門的新技術，擁有眾多活躍的貢獻者。到目前為止，我已經開發并公開了超過 70 個 BPF 性能分析工具，它們在全球范圍內得到廣泛使用，并且在 Netflix、Facebook 等公司中進入服務器的默認安裝軟件列表。我還專門為本書單獨開發了許多工具，同時也引入不少其他人貢獻的工具。很榮幸能夠在這本書中為大家分享這些實用的工具，這樣你就可以使用它們進行性能分析、故障定位以及其他種種工作。
作為一名性能工程師，我常沉迷于使用各種工具之中。系統中的盲點是性能瓶頸和軟件 bug 的藏身之處。我早先在工作中使用過 DTrace 技術，在 2011 年我編寫了 DTrace ：Dynamic Tracing in Oracle Solaris，Mac OS X，and FreeBSD 一書（由 Prentice Hall 出版，以下簡稱為“DTrace 一書”），在那本書中分享了我為這些操作系統開發的工具。現在能夠分享 Linux 下的類似工具 — 甚至可以做得更多、看到更多 — 我感到十分興奮。
為什么你需要BPF性能工具
BPF 性能工具可以幫助你改進性能、降低開銷、解決軟件問題，從而使系統和應用的效益最大化。它們能比傳統性能工具分析得更多，并允許你向生產環境中的系統隨意提出問題，并且能夠立刻得到答案。
關于本書
本書是關于應用在可觀測性和性能分析領域的 BPF 工具的，但是這些工具也有其他用途 ：軟件故障排查、安全分析等。學習 BPF 最困難的部分不在于寫代碼 ：你可以在一天的時間內學會編寫接口程序。困難之處在于如何應用 ：在數以千計的可用事件中，你能夠從中得到什么信息？本書會幫助你回答這些問題，通過給出性能分析的一些必要的
背景，然后使用 BPF 性能工具對許多不同的軟硬件目標進行分析，并附上 Netflix 服務器上的樣例輸出。
BPF 的可觀測性是一種超能力，不過這僅僅是因為它擴展了我們對系統和應用的可觀測能力，而非重復這種能力。為了高效地使用 BPF，你需要理解什么時候使用傳統的性能分析工具，包括 iostat(1) 和 perf(1)，什么時候使用 BPF 工具。本書也會介紹傳統的工具，可能對于解決某些性能問題它們已經夠用了，當不能解決時，它們也會提供有用
的上下文和線索，指導進一步使用 BPF 工具。
本書中的許多章節包含了學習目標，告知讀者哪些是學習要點。本書中的材料也用在 Netflix 關于使用 BPF 分析的內部課程中，有些章節還包含了可選的練習。
本書中的許多 BPF 工具來自 BCC 和 bpftrace 的代碼倉庫，這兩個項目是 Linux 基金會下的 IO Visor 項目。它們是開源的，可以自由使用，不僅可以從項目的網站上下載，而且很多 Linux 發行版中已經包含了它們。我也為本書新寫了一些 bpftrace 工具，并把它們的源代碼一并包含到本書中。
這些工具并不是為了演示各種 BPF 功能而隨意創建的，創建它們是為了在生產環境中使用。我使用這些工具解決的生產問題超出了當前分析工具集的能力。
對于用 bpftrace 編寫的工具，本書已經包含了源代碼。如果你希望修改或開發新的bpftrace 工具，則可以從第 5 章中學習 bpftrace 語言，也可以從本書的許多源代碼清單中學習。這些源代碼有助于說明每個工具的功能以及它們所檢測的事件 ：就像包含可以運行的偽代碼一樣。
BCC 和 bpftrace 前端已經趨于成熟，但是將來的變更可能會導致本書中包含的某些源代碼停止工作，并且需要更新。如果工具來源于 BCC 或 bpftrace，請檢查那些存儲庫中的更新版本。如果工具來源于本書，請訪問本書的網站（參見鏈接 1 1 ）。最重要的不是某個工具有效，而是你了解該工具并讓它能夠工作。 BPF 跟蹤最困難的部分是要知道用它來做什么 ；甚至損壞的工具也會是有用想法的來源之一。
新工具
為了給你提供一整套全面的分析工具，并且出于可用于代碼示例的目的，本書共開發了 80 多種新工具。其中許多如圖 P-1 所示。 在此圖中，先前存在的工具以黑色文本顯示，為該書創建的新工具則以灰色顯示。本書同時涵蓋了既有工具和新工具，盡管后面的許多圖都沒有使用灰色 / 黑色方案來區分它們。
關于圖形界面（GUI）
一些 BCC 工具已經成為測量工具 GUI 的數據來源 — 提供時間序列數據來繪制折線圖，提供調用棧來繪制火焰圖，或者提供秒粒度的直方圖以繪制熱力圖等。我預期未來會有更多的人通過 GUI 使用這些 BPF 工具，而非直接使用這些工具本身。無論你最終如何使用，它們都可以提供豐富的信息。本書介紹了這些工具提供的指標，如何解讀指標，以及你如何自己動手創建新工具。
關于 Linux 版本
在本書中介紹了許多 Linux 技術，通常帶有內核版本號和出現的年份。有時，我也指明了該技術的開發人員，以便你可以辨識出原始作者撰寫的支持材料。
擴展版 BPF 已被部分添加到 Linux 中。第一部分在 2014 年的 Linux 3.18 中添加，此后在 Linux 4.x 和 5.x 系列中添加了更多內容。為了具有足夠的功能來運行本書中介紹的 BPF 工具，建議使用 Linux 4.9 或更高版本。本書中的示例運行在 Linux 4.9 到 5.3 內核之上。
已經開始將擴展版 BPF 引入其他內核，并且本書的未來版本可能不僅僅涉及 Linux。
本書不包含的內容
BPF 的應用范圍很廣，BPF 性能工具的許多用例本書并未涉及，其中包括用于軟件定義網絡、防火墻、容器安全和設備驅動程序。
本書聚焦于使用 bpftrace 和 BCC 工具，以及開發新的 bpftrace 工具，但不涉及開發新的 BCC 工具。 BCC 源代碼通常很長，無法在書中直接包含，但是附錄 C 中提供了一些示例作為可選內容供讀者參考。附錄 D 中提供了使用 C 語言進行編程的示范，附錄 E中提供了使用 BPF 指令進行工具開發的示例，對那些希望更深入了解 BPF 工具的工作原理的人來說，這些示例也可能有用。
本書并不專門針對某種特定語言或應用程序的性能進行分析，因為這方面已經有其他書籍了，它們涵蓋了對應語言調試和分析工具的介紹。使用其他工具和 BPF 工具聯合解決問題是很常見的，不同的工具之間可以互補，提供不同的解決問題的線索。本書介紹了來自 Linux 的基本系統分析工具，因此你可以利用這些工具直接解決一些問題，如果需要進一步分析，再轉向使用提供進一步觀察能力的 BPF 工具。
本書簡要介紹了每個分析目標的背景和策略。這些主題在我之前出版的那本《性能之巔 ：洞悉系統、企業與云計算》 [Gregg 13b] 書中有較詳細的解釋。
本書的結構
本書分為三個部分。第 1 部分 ：第 1 至 5 章，介紹了 BPF 跟蹤所需的背景知識，包括性能分析、內核跟蹤技術以及兩個主要的 BPF 跟蹤前端實現 — BCC 和 bpftrace。
第 2 部分包含第 6 至 16 章，涵蓋 BPF 可跟蹤的目標：CPU、內存、文件系統、磁盤 I/O、網絡、安全、語言、應用程序、內核、容器和虛擬機管理器等。盡管你可以按順序學習這些章節，但本書設計為支持跳至你感興趣的章節。這些章節遵循同樣的結構：背景討論、分析策略建議以及特定的 BPF 工具。文中還包含了一些可以幫助讀者理順分析思路的圖表。
最后一部分，包含第 17 章和第 18 章，涵蓋了一些其他主題：其他 BPF 工具以及提示、技巧和常見問題。
附錄提供了 bpftrace 單行程序和 bpftrace 速查表，介紹了 BCC 工具開發，包括通過perf(1)（Linux 工具）進行的 C BPF 工具開發以及 BPF 指令摘要。
本書使用了許多術語和縮寫，在需要的地方會對它們進行解釋。
有關更多信息源，請參見本前言結尾處的“補充材料和參考資料”部分。
目標讀者
本書的寫作初衷是希望對各種角色的人都有用。無須任何編碼即可使用本書中的BPF 工具 ：你可以將其用作可以運行的預編寫工具表。如果確實想編寫代碼，則本書中包含的所有代碼和第 5 章的內容將幫助你學習快速編寫自己的工具。
你不必具備性能分析的背景知識，每章會簡述必要的背景知識細節。
本書的特定讀者包括 ：
? 負責生產系統的系統管理員、站點可靠性工程師、數據庫管理員、性能工程師和支持人員可以將本書用作診斷性能問題、了解資源使用情況以及對問題進行故障排除的指南。
? 應用程序開發人員可以使用這些工具來分析自己的代碼，并檢測代碼以及系統事件。例如，可以檢查觸發磁盤 I/O 事件的應用程序代碼。這樣可以在無法直接查看內核事件的應用程序特定工具之外，提供一個更完整的行為視圖。
? 安全工程師可以學習如何監控所有的事件以發現可疑行為，并創建正常活動的白名單（請參見第 11 章）。
? 性能監控開發者可以使用本書來獲得有關在其產品中添加新的可觀測性的想法。
? 內核開發人員可以學習如何編寫 bpftrace 單行程序來調試自己的代碼。
? 學習操作系統和應用程序的學生可以使用 BPF 工具以新的和自定義的方式分析正在運行的系統。學生無須學習抽象的內核技術，而是可以對其進行跟蹤并實時了解它們的運行方式。
為了使本書能夠專注于 BPF 工具的應用，假定你具備極少的關于所涉及主題的知識儲備，包括互聯網（例如，IPv4 地址是什么）和命令行用法。 |
內容簡介：基于BPF的性能優化工具提供了前所未有的系統級和應用程序級的觀察能力，使用這些工具可以優化性能、調試代碼、增強安全性、降低成本。本書是使用這些觀察工具的全面指南。本書作為全面介紹 BPF 技術的圖書，從 BPF 技術的起源到未來發展方向都有涵蓋，不僅全面介紹了 BPF 的編程模型，還完整介紹了兩個主要的 BPF 前端編程框架 — BCC 和 bpftrace，更給出了一系列實現范例，全面展示了 BPF技術的實際能力和未來發展前景，以及使用BPF工具優化性能、修復問題、探索線上系統的內部情況。本書的另一個關注方向是 Linux 系統性能和應用程序性能的調優。本書全面介紹了系統性能調優的策略、工具與實踐案例，不僅介紹了對應的 BPF 工具，還著重介紹了這些工具如何與 Linux 傳統性能工具進行互補，這樣讀者可以有選擇地進行使用。本書介紹的工具小巧精致，且包含了簡單易讀的源代碼，這就是 BPF 技術的魅力所在 ：安全、高效、快捷的系統擴展力。未來 BPF 技術在 Linux 中的應用場景會越來越多，越來越重要。希望本書能在大家學習這項技術并關注它的發展時提供一定的便利。本書是系統管理員、應用程序開發者、運維人員，以及其他IT從業者在企業內部或云上使用各種Linux發行版時都可參考的資料。
|
目錄：第1章 引 言.............1
1.1 BPF和eBPF是什么 ............ 1
1.2 跟蹤、嗅探、采樣、剖析和可觀測性分別是什么 ...... 2
1.3 BCC、bpftrace和IO Visor ........... 3
1.4 初識BCC：快速上手 .......... 4
1.5 BPF跟蹤的能見度 ........... 7
1.6 動態插樁：kprobes和uprobes .......... 8
1.7 靜態插樁：tracepoint和USDT ......... 9
1.8 初識bpftrace：跟蹤open() .......... 10
1.9 再回到BCC：跟蹤open() ......... 13
1.10 小結 .............. 15
第2章 技術背景.............16
2.1 圖釋BPF ............. 16
2.2 BPF ............. 17
2.3 擴展版BPF ............. 18
2.3.1 為什么性能工具需要 BPF 技術 ....... 21
2.3.2 BPF 與內核模塊的對比 ........23
2.3.3 編寫 BPF 程序 ...........23
2.3.4 使用 BPF 查看指令集 ：bpftool ........24
2.3.5 使用 bpftrace 查看 BPF 指令集 ........ 32
2.3.6 BPF API ............ 33
2.3.7 BPF 并發控制 ..........37
2.3.8 BPF sysfs 接口 ........... 38
2.3.9 BPF 類型格式 ..........38
2.3.10 BPF CO-RE .......... 39
2.3.11 BPF 的局限性 ........... 40
2.3.12 BPF 擴展閱讀資料 ..........40
2.4 調用棧回溯 ............ 41
2.4.1 基于幀指針的調用棧回溯 ......... 41
2.4.2 調試信息 ........... 42
2.4.3 最后分支記錄 ........... 43
2.4.4 ORC ............ 43
2.4.5 符號 ............. 43
2.4.6 擴展閱讀 ........... 43
2.5 火焰圖 .............. 44
2.5.1 調用棧信息 ........... 44
2.5.2 對調用棧信息的剖析 ......... 44
2.5.3 火焰圖 ........... 45
2.5.4 火焰圖的特性 ........... 47
2.5.5 火焰圖的變體 ........... 48
2.6 事件源 .............. 48
2.7 kprobes ............. 49
2.7.1 kprobes 是如何工作的 ......... 49
2.7.2 kprobes 接口 ........... 51
2.7.3 BPF 和 kprobes ...........51
2.7.4 關于 kprobes 的更多內容 ........ 53
2.8 uprobes ............. 53
2.8.1 uprobes 是如何工作的 ......... 53
2.8.2 uprobes 接口 ........... 55
2.8.3 BPF 與 uprobes ...........55
2.8.4 uprobes 的開銷和未來的工作 ....... 56
2.8.5 擴展閱讀 ........... 57
2.9 跟蹤點 .............. 57
2.9.1 如何添加跟蹤點 ........... 58
2.9.2 跟蹤點的工作原理 ......... 59
2.9.3 跟蹤點的接口 ........... 60
2.9.4 跟蹤點和 BPF .......... 61
2.9.5 BPF 原始跟蹤點 ..........62
2.9.6 擴展閱讀 ........... 62
2.10 USDT ............. 62
2.10.1 添加 USDT 探針 .......... 63
2.10.2 USDT 是如何工作的 ......... 65
2.10.3 BPF 與 USDT ........... 66
2.10.4 USDT 的更多信息 ......... 66
2.11 動態USDT ............ 66
2.12 性能監控計數器 ............ 68
2.12.1 PMC 的模式 ...........68
2.12.2 PEBS ........... 69
2.12.3 云計算 ........... 69
2.13 perf_events ............. 69
2.14 小結 .............. 70
第3章 性能分析.............71
3.1 概覽 .............. 71
3.1.1 目標 ............. 71
3.1.2 分析工作 ........... 72
3.1.3 多重性能問題 ........... 73
3.2 性能分析方法論 ............ 73
3.2.1 業務負載畫像 ........... 74
3.2.2 下鉆分析 ........... 75
3.2.3 USE 方法論 .......... 76
3.2.4 檢查清單法 ........... 77
3.3 Linux 60秒分析 ........... 77
3.3.1 uptime ........... 77
3.3.2 dmesg | tail ............ 78
3.3.3 vmstat 1 ........... 78
3.3.4 mpstat -P ALL 1 ..........79
3.3.5 pidstat 1 ........... 80
3.3.6 iostat -xz 1 ........... 80
3.3.7 free -m ........... 82
3.3.8 sar -n DEV 1 ...........82
3.3.9 sar -n TCP,ETCP 1 .......... 83
3.3.10 top ............. 83
3.4 BCC工具檢查清單 ............ 84
3.4.1 execsnoop ............ 84
3.4.2 opensnoop ........... 85
3.4.3 ext4slower ........... 85
3.4.4 biolatency ............ 86
3.4.5 biosnoop ............ 86
3.4.6 cachestat ............ 87
3.4.7 tcpconnect ...........87
3.4.8 tcpaccept ........... 87
3.4.9 tcpretrans ........... 88
3.4.10 runqlat ........... 88
3.4.11 profile ............ 89
3.5 小結 .............. 90
第4章 BCC..............91
4.1 BCC的組件 ............ 92
4.2 BCC的特性 ............ 92
4.2.1 BCC 的內核態特性 .......... 92
4.2.2 BCC 的用戶態特性 .......... 93
4.3 安裝BCC ............ 94
4.3.1 內核要求 ........... 94
4.3.2 Ubuntu ........... 94
4.3.3 RHEL ............ 95
4.3.4 其他發行版 ........... 95
4.4 BCC的工具 ............ 96
4.4.1 重點工具 ........... 96
4.4.2 工具的特點 ........... 97
4.4.3 單一用途工具 ........... 98
4.4.4 多用途工具 ........... 99
4.5 funccount ............ 100
4.5.1 funccount 的示例 .......... 101
4.5.2 funccount 的語法 .......... 103
4.5.3 funccount 的單行程序 ........ 103
4.5.4 funccount 的幫助信息 ........ 104
4.6 stackcount ............. 105
4.6.1 stackcount 的示例 .......... 105
4.6.2 stackcount 的火焰圖 .......... 107
4.6.3 stackcount 殘缺的調用棧 ........ 108
4.6.4 stackcount 的語法 .......... 108
4.6.5 stackcount 的單行程序 ........ 109
4.6.6 stackcount 的幫助信息 ........ 109
4.7 trace .............. 110
4.7.1 trace 的示例 ...........111
4.7.2 trace 的語法 ...........111
4.7.3 trace 的單行程序 .......... 113
4.7.4 trace 的結構體 .......... 113
4.7.5 trace 調試文件描述符泄露問題 ........ 114
4.7.6 trace 的幫助信息 .......... 115
4.8 argdist ............. 117
4.8.1 argdist 的語法 ........... 118
4.8.2 argdist 的單行程序 ......... 119
4.8.3 argdist 的幫助信息 ......... 119
4.9 工具文檔 ............ 121
4.9.1 man 幫助文檔 ：opensnoop ....... 121
4.9.2 示例文件 ：opensnoop ......... 125
4.10 開發BCC工具 ............ 126
4.11 BCC的內部實現 ............ 127
4.12 BCC的調試 ............ 128
4.12.1 printf() 調試 .......... 129
4.12.2 BCC 調試輸出 ..........131
4.12.3 BCC 的調試標志位 .......... 132
4.12.4 bpflist ........... 133
4.12.5 bpftool ........... 134
4.12.6 dmesg ............ 134
4.12.7 重置事件 ........... 134
4.13 小結 .............. 136
第5章 bpftrace.............137
5.1 bpftrace的組件 ........... 138
5.2 bpftrace的特性 ........... 139
5.2.1 bpftrace 的事件源 .......... 139
5.2.2 bpftrace 的動作 .......... 139
5.2.3 bpftrace 的一般特性 .......... 140
5.2.4 bpftrace 與其他觀測工具的比較 ...... 140
5.3 bpftrace的安裝 ........... 141
5.3.1 內核版本要求 ........... 141
5.3.2 Ubuntu ........... 142
5.3.3 Fedora ........... 142
5.3.4 構建后的安裝步驟 ......... 143
5.3.5 其他發行版 ........... 143
5.4 bpftrace工具 ............. 143
5.4.1 重點工具 ........... 144
5.4.2 工具特征 ........... 144
5.4.3 工具的運行 ........... 145
5.5 bpftrace單行程序 ........... 145
5.6 bpftrace的文檔 ........... 146
5.7 bpftrace編程 ............. 146
5.7.1 用法 ............. 147
5.7.2 程序結構 ........... 148
5.7.3 注釋 ............. 148
5.7.4 探針格式 ........... 149
5.7.5 探針通配符 ........... 149
5.7.6 過濾器 ........... 150
5.7.7 動作 ............. 150
5.7.8 Hello, World! ...........151
5.7.9 函數 ............. 151
5.7.10 變量 ........... 152
5.7.11 映射表函數 ........... 153
5.7.12 對 vfs_read() 計時 .......... 154
5.8 bpftrace的幫助信息 ........... 155
5.9 bpftrace的探針類型 ........... 157
5.9.1 tracepoint ........... 157
5.9.2 usdt ............ 159
5.9.3 kprobe 和 kretprobe ..........160
5.9.4 uprobe 和 uretprobe .......... 160
5.9.5 software 和 hardware ..........161
5.9.6 profile 和 interval .......... 162
5.10 bpftrace的控制流 ........... 163
5.10.1 過濾器 ........... 163
5.10.2 三元操作符 ........... 163
5.10.3 if 語句 ........... 163
5.10.4 循環展開 ........... 164
5.11 bpftrace的運算符 ........... 164
5.12 bpftrace的變量 ........... 165
5.12.1 內置變量 ........... 165
5.12.2 內置變量 ：pid、comm 和 uid ........166
5.12.3 內置變量 ：kstack 和 ustack ........166
5.12.4 內置變量 ：位置參數 ......... 168
5.12.5 臨時變量 ........... 169
5.12.6 映射表變量 ........... 169
5.13 bpftrace的函數 ........... 170
5.13.1 printf() ........... 171
5.13.2 join() ............ 172
5.13.3 str() ............ 173
5.13.4 kstack() 和 ustack() ......... 173
5.13.5 ksym() 和 usym() .......... 174
5.13.6 kaddr() 和 uaddr() .........175
5.13.7 system() ........... 176
5.13.8 exit() ............ 176
5.14 bpftrace映射表的操作函數 ......... 177
5.14.1 count() ........... 177
5.14.2 sum()、avg()、min() 和 max() ........178
5.14.3 hist() ............ 179
5.14.4 lhist() ........... 180
5.14.5 delete() ............ 181
5.14.6 clear() 和 zero() .........181
5.14.7 print() ............ 182
5.15 bpftrace的下一步工作 ........... 183
5.15.1 顯式區分地址模式 ......... 183
5.15.2 其他擴展 ........... 184
5.15.3 ply ............. 184
5.16 bpftrace的內部運作 ........... 185
5.17 bpftrace的調試 ........... 186
5.17.1 printf() 調試 .......... 186
5.17.2 調試模式 ........... 187
5.17.3 詳情模式 ........... 188
5.18 小結 .............. 190
第6章 CPU..............191
6.1 背景知識 ............ 192
6.1.1 CPU 基礎知識 ..........192
6.1.2 BPF 的分析能力 ..........194
6.1.3 分析策略 ........... 196
6.2 傳統工具 ............ 197
6.2.1 內核統計 ........... 197
6.2.2 硬件統計 ........... 200
6.2.3 硬件采樣 ........... 202
6.2.4 定時采樣 ........... 203
6.2.5 事件統計與事件跟蹤 ......... 207
6.3 BPF工具 ............. 210
6.3.1 execsnoop ............ 211
6.3.2 exitsnoop ........... 214
6.3.3 runqlat ........... 215
6.3.4 runqlen ............ 219
6.3.5 runqslower ........... 222
6.3.6 cpudist ........... 223
6.3.7 cpufreq ............ 224
6.3.8 profile ............ 227
6.3.9 offcputime ........... 232
6.3.10 syscount ........... 236
6.3.11 argdist 和 trace ..........239
6.3.12 funccount ........... 242
6.3.13 softirqs ........... 244
6.3.14 hardirqs ........... 245
6.3.15 smpcalls ........... 246
6.3.16 llcstat ........... 250
6.3.17 其他工具 ........... 251
6.4 BPF單行程序 ........... 251
6.4.1 BCC 工具 ............251
6.4.2 bpftrace 版本 .......... 252
6.5 可選練習 ............ 253
6.6 小結 .............. 254
第7章 內存..............255
7.1 背景知識 ............ 256
7.1.1 內存基礎知識 ........... 256
7.1.2 BPF 的分析能力 ..........260
7.1.3 分析策略 ........... 262
7.2 傳統工具 ............ 263
7.2.1 內核日志 ........... 263
7.2.2 內核統計信息 ........... 264
7.2.3 硬件統計和硬件采樣 ......... 268
7.3 BPF工具 ............. 269
7.3.1 oomkill ............ 270
7.3.2 memleak ............ 271
7.3.3 mmapsnoop ........... 274
7.3.4 brkstack ........... 275
7.3.5 shmsnoop ............ 277
7.3.6 faults ............ 277
7.3.7 ffaults ............ 280
7.3.8 vmscan ............ 281
7.3.9 drsnoop ............ 284
7.3.10 swapin ........... 285
7.3.11 hfaults ............ 287
7.3.12 其他工具 ........... 287
7.4 BPF單行程序 ........... 288
7.4.1 BCC ............. 288
7.4.2 bpftrace ........... 288
7.5 可選練習 ............ 289
7.6 小結 .............. 290
第8章 文件系統.............291
8.1 背景知識 ............ 292
8.1.1 文件系統基礎知識 ......... 292
8.1.2 BPF 的分析能力 ..........294
8.1.3 分析策略 ........... 295
8.2 傳統工具 ............ 296
8.2.1 df ............. 297
8.2.2 mount ............ 297
8.2.3 strace ........... 298
8.2.4 perf ............ 298
8.2.5 fatrace ............ 301
8.3 BPF工具 ............. 302
8.3.1 opensnoop ........... 303
8.3.2 statsnoop ........... 306
8.3.3 syncsnoop ............ 308
8.3.4 mmapfiles ............ 309
8.3.5 scread ............ 311
8.3.6 fmapfault ........... 312
8.3.7 filelife ............ 313
8.3.8 vfsstat ............ 315
8.3.9 vfscount ........... 317
8.3.10 vfssize ........... 318
8.3.11 fsrwstat ............ 320
8.3.12 fileslower ........... 322
8.3.13 filetop ............ 325
8.3.14 writesync ........... 327
8.3.15 filetype ........... 328
8.3.16 cachestat ............ 331
8.3.17 writeback ........... 334
8.3.18 dcstat ........... 336
8.3.19 dcsnoop ........... 338
8.3.20 mountsnoop ........... 340
8.3.21 xfsslower ........... 341
8.3.22 xfsdist ............ 342
8.2.23 ext4dist ............ 345
8.3.24 icstat ............ 348
8.3.25 bufgrow ........... 350
8.3.26 readahead .......... 351
8.3.27 其他工具 ........... 353
8.4 BPF單行程序 ........... 353
8.4.1 BCC ............. 353
8.4.2 bpftrace ........... 354
8.4.3 BPF 單行程序示范 ..........356
8.5 可選練習 ............ 359
8.6 小結 .............. 360
第9章 磁盤I/O............361
9.1 背景知識 ............ 362
9.1.1 磁盤系統基礎知識 ......... 362
9.1.2 BPF 的分析能力 ..........365
9.1.3 分析策略 ........... 366
9.2 傳統工具 ............ 367
9.2.1 iostat ............ 367
9.2.2 perf ............ 369
9.2.3 blktrace ............ 370
9.2.4 SCSI 日志 ...........371
9.3 BPF工具 ............. 372
9.3.1 biolatency ............373
9.3.2 biosnoop ............ 379
9.3.3 biotop ............ 383
9.3.4 bitesize ............ 384
9.3.5 seeksize ........... 386
9.3.6 biopattern ............ 388
9.3.7 biostacks ............ 390
9.3.8 bioerr ........... 393
9.3.9 mdflush ............ 395
9.3.10 iosched ............ 397
9.3.11 scsilatency ........... 399
9.3.12 scsiresult ............ 401
9.3.13 nvmelatency ..........403
9.4 BPF單行程序 ........... 406
9.4.1 BCC ............. 406
9.4.2 bpftrace ........... 407
9.4.3 BPF 單行程序示范 ..........408
9.5 可選練習 ............ 409
9.6 小結 .............. 410
第10章 網絡..............411
10.1 背景知識 ............ 412
10.1.1 網絡基礎知識 ........... 412
10.1.2 BPF 的分析能力 ..........419
10.1.3 分析策略 ........... 421
10.1.4 常見的跟蹤錯誤 ......... 421
10.2 傳統工具 ............ 422
10.2.1 ss ............. 423
10.2.2 ip ............. 424
10.2.3 nstat ........... 425
10.2.4 netstat ............ 425
10.2.5 sar ............ 428
10.2.6 nicstat ............ 429
10.2.7 ethtool ........... 429
10.2.8 tcpdump ........... 431
10.2.9 /proc ............ 432
10.3 BPF工具 ............. 433
10.3.1 sockstat ............ 435
10.3.2 sofamily ........... 437
10.3.3 soprotocol .......... 440
10.3.4 soconnect ........... 442
10.3.5 soaccept ...........445
10.3.6 socketio ........... 447
10.3.7 socksize ........... 450
10.3.8 sormem ............ 452
10.3.9 soconnlat ........... 455
10.3.10 so1stbyte ........... 459
10.3.11 tcpconnect ........... 461
10.3.12 tcpaccept ...........464
10.3.13 tcplife ............ 467
10.3.14 tcptop ........... 472
10.3.15 tcpsnoop .......... 473
10.3.16 tcpretrans ...........474
10.3.17 tcpsynbl ........... 477
10.3.18 tcpwin ............ 479
10.3.19 tcpnagle ...........481
10.3.20 udpconnect .......... 483
10.3.21 gethostlatency ......... 485
10.3.22 ipecn ............ 487
10.3.23 superping ........... 488
10.3.24 qdisc-fq ........... 491
10.3.25 qdisc-cbq、qdisc-cbs、qdisc-codel、qdisc-fq_codel、qdisc-red、qdisc-tbf ......... 493
10.3.26 netsize ........... 495
10.3.27 nettxlat ........... 498
10.3.28 skbdrop ............ 500
10.3.29 skblife ............ 503
10.3.30 ieee80211scan .........505
10.3.31 其他工具 ........... 507
10.4 BPF單行程序 ........... 507
10.4.1 BCC ........... 507
10.4.2 bpftrace ........... 508
10.4.3 BPF 單行程序示范 ..........510
10.5 可選練習 ............ 513
10.6 小結 .............. 515
第11章 安全..............516
11.1 背景知識 ............ 516
11.1.1 BPF 的分析能力 ......... 517
11.1.2 無特權 BPF 用戶 .......... 521
11.1.3 配置 BPF 安全策略 .......... 521
11.1.4 分析策略 ........... 523
11.2 BPF工具 ............. 523
11.2.1 execsnoop .......... 524
11.2.2 elfsnoop ........... 524
11.2.3 modsnoop .......... 526
11.2.4 bashreadline........... 527
11.2.5 shellsnoop .......... 528
11.2.6 ttysnoop ........... 530
11.2.7 opensnoop ........... 532
11.2.8 eperm ........... 532
11.2.9 tcpconnect 和 tcpaccept ........ 534
11.2.10 tcpreset ............ 534
11.2.11 capable ........... 536
11.2.12 setuids ............ 540
11.3 BPF單行程序 ........... 542
11.3.1 BCC ........... 542
11.3.2 bpftrace ............543
11.3.3 BPF 單行程序示范 ......... 543
11.4 小結 .............. 544
第12章 編程語言.............545
12.1 背景知識 ............ 545
12.1.1 編譯型語言 ........... 546
12.1.2 即時編譯型語言 ......... 547
12.1.3 解釋型語言 ........... 548
12.1.4 BPF 的分析能力 ..........549
12.1.5 分析策略 ........... 550
12.1.6 BPF 工具 ..........550
12.2 C ............. 551
12.2.1 C 函數符號 ........... 552
12.2.2 C 調用棧 ........... 555
12.2.3 C 函數跟蹤 ........... 557
12.2.4 C 函數偏移量跟蹤 ......... 558
12.2.5 C USDT ........... 558
12.2.6 C 單行程序 ........... 559
12.3 Java ............. 560
12.3.1 跟蹤 libjvm ........... 561
12.3.2 jnistacks ........... 563
12.3.3 Java 線程名字 .......... 565
12.3.4 Java 方法的符號 .......... 566
12.3.5 Java 調用棧 .......... 569
12.3.6 Java USDT 探針 ......... 573
12.3.7 profile ............ 579
12.3.8 offcputime ........... 583
12.3.9 stackcount ........... 589
12.3.10 javastat ............ 593
12.3.11 javathreads........... 594
12.3.12 javacalls ........... 596
12.3.13 javaflow ........... 597
12.3.14 javagc ............ 599
12.3.15 javaobjnew .......... 599
12.3.16 Java 單行程序 .......... 600
12.4 bash shell ............ 601
12.4.1 函數計數 ........... 603
12.4.2 函數參數跟蹤（bashfunc.bt） ........ 604
12.4.3 函數執行時長（bashfunclat.bt） ...... 607
12.4.4 /bin/bash ............ 609
12.4.5 /bin/bash USDT ......... 613
12.4.6 bash 單行程序 .......... 613
12.5 其他語言 ............ 614
12.5.1 JavaScript（Node.js） ........ 614
12.5.2 C++ ........... 616
12.5.3 Golang ........... 616
12.6 小結 .............. 619
第13章 應用程序.............620
13.1 背景知識 ............ 621
13.1.1 應用程序基礎信息 ......... 621
13.1.2 應用程序示例 ：MySQL 服務器 ......622
13.1.3 BPF 的能力 ..........623
13.1.4 分析策略 ........... 624
13.2 BPF工具 ............. 625
13.2.1 execsnoop .......... 626
13.2.2 threadsnoop ........... 626
13.2.3 profile ............ 629
13.2.4 threaded ........... 632
13.2.5 offcputime ........... 634
13.2.6 offcpuhist .......... 638
13.2.7 syscount ........... 641
13.2.8 ioprofile ........... 642
13.2.9 libc 幀指針 .......... 644
13.2.10 mysqld_qslower .......... 645
13.2.11 mysqld_clat ........... 648
13.2.12 signals ........... 652
13.2.13 killsnoop .......... 654
13.2.14 pmlock 和 pmheld ......... 655
13.2.15 naptime ............ 660
13.2.16 其他工具 ........... 662
13.3 BPF單行程序 ........... 662
13.3.1 BCC ........... 662
13.3.2 bpftrace ........... 663
13.4 BPF單行程序示范 ........... 664
13.5 小結 .............. 664
第14章 內核..............665
14.1 背景知識 ............ 666
14.1.1 內核基礎知識 ........... 666
14.1.2 BPF 的分析能力 ..........668
14.2 分析策略 ............ 669
14.3 傳統工具 ............ 670
14.3.1 Ftrace ........... 670
14.3.2 perf sched .......... 673
14.3.3 slabtop ........... 674
14.3.4 其他工具 ........... 675
14.4 BPF工具 ............. 675
14.4.1 loads ............ 676
14.4.2 offcputime ........... 677
14.4.3 wakeuptime ...........679
14.4.4 offwaketime .......... 681
14.4.5 mlock 和 mheld ......... 683
14.4.6 自旋鎖 ........... 687
14.4.7 kmem ........... 688
14.4.8 kpages ........... 689
14.4.9 memleak ............690
14.4.10 slabratetop ........... 691
14.4.11 numamove ........... 692
14.4.12 workq ............ 694
14.4.13 小任務 ........... 695
14.4.14 其他工具 ........... 696
14.5 BPF單行程序 ........... 697
14.5.1 BCC ........... 697
14.5.2 bpftrace ........... 698
14.6 BPF單行程序示范 ........... 699
14.6.1 按系統調用函數對系統調用進行計數 ..... 699
14.6.2 對內核函數開始的 hrtimer 進行計數 ..... 699
14.7 挑戰 .............. 700
14.8 小結 .............. 700
第15章 容器..............701
15.1 背景知識 ............ 701
15.1.1 BPF 的分析能力 ..........703
15.1.2 挑戰 ........... 703
15.1.3 分析策略 ........... 706
15.2 傳統工具 ............ 706
15.2.1 從主機上分析 ........... 706
15.2.2 在容器內分析 ........... 707
15.2.3 systemd-cgtop ........... 707
15.2.4 kubectl top ........... 708
15.2.5 docker stats .......... 708
15.2.6 /sys/fs/cgroups ........... 709
15.2.7 perf ............ 709
15.3 BPF工具 ............. 710
15.3.1 runqlat ........... 710
15.3.2 pidnss ............ 711
15.3.3 blkthrot ............ 714
15.3.4 overlayfs ............ 715
15.4 BPF單行程序 ........... 717
15.5 可選練習 ............ 717
15.6 小結 .............. 718
第16章 虛擬機管理器............719
16.1 背景知識 ............ 719
16.1.1 BPF 的分析能力 ..........721
16.1.2 建議的分析策略 ......... 722
16.2 傳統工具 ............ 722
16.3 訪客系統的BPF工具 ........... 723
16.3.1 Xen 超級調用 ........... 723
16.3.2 xenhyper ............ 727
16.3.3 Xen 回調 ........... 729
16.3.4 cpustolen ........... 731
16.3.5 HVM 退出跟蹤 .......... 732
16.4 宿主機BPF工具 ........... 732
16.4.1 kvmexits ............ 733
16.4.2 未來的工作 ........... 737
16.5 小結 .............. 737
第17章 其他BPF性能工具...........738
17.1 Vector和Performance Co-Pilot（PCP） ....... 738
17.1.1 可視化 ........... 739
17.1.2 可視化 ：熱圖 ........... 740
17.1.3 可視化 ：表格形式的數據 ....... 742
17.1.4 BCC 提供的指標 ..........743
17.1.5 內部實現 ........... 743
17.1.6 安裝 PCP 和 Vector ..........744
17.1.7 連接并顯示數據 ......... 744
17.1.8 配置 BCC PMDA ......... 746
17.1.9 改進工作 ........... 747
17.1.10 進一步閱讀 ........... 747
17.2 Grafana和Performance Co-Pilot ........ 747
17.2.1 安裝和配置 ........... 748
17.2.2 連接并查看數據 ......... 748
17.2.3 改進工作 ........... 750
17.2.4 進一步閱讀 ........... 750
17.3 Cloudflare eBPF Prometheus Exporter（配合Grafana） ..... 750
17.3.1 構建并運行 ebpf 導出器 ......... 750
17.3.2 配置 Prometheus 監控 ebpf_exporter 實例 ..... 751
17.3.3 在 Grafana 中設置一個查詢 ........ 751
17.3.4 進一步閱讀 ........... 751
17.4 kubectl-trace ........... 752
17.4.1 跟蹤節點 ........... 752
17.4.2 跟蹤 pod 和容器 ......... 753
17.4.3 進一步閱讀 ........... 755
17.5 其他工具 ............ 755
17.6 小結 .............. 755
第18章 建議、技巧和常見問題. .........756
18.1 典型事件的頻率和額外開銷 ........ 756
18.1.1 頻率 ........... 757
18.1.2 執行的操作 ........... 758
18.1.3 自行測試 ........... 760
18.2 以49Hz或99Hz為采樣頻率 .......... 760
18.3 黃豬和灰鼠 ............ 760
18.4 開發目標軟件 ............ 762
18.5 學習系統調用 ............ 763
18.6 保持簡單 ............ 764
18.7 事件缺失 ............ 764
18.8 調用棧缺失 ............ 766
18.8.1 如何修復損壞的調用棧 ......... 767
18.9 打印時符號缺失（函數名稱） ........ 767
18.9.1 如何修復符號缺失 ：JIT 運行時（Java、Node.js、.） .. 768
18.9.2 如何修復符號缺失 ：ELF 二進制文件（C、C++、.） .. 768
18.10 跟蹤時函數缺失 .......... 768
18.11 反饋回路 ............ 769
18.12 被丟掉的事件 ............ 769
附錄A bpftrace單行程序............770
附錄B bpftrace備忘單...........775
附錄C BCC工具的開發...........778
附錄D C.BPF. ............793
附錄E BPF指令.............812 |
| 序： |
|
