Hadoop 2.0-YARN核心技術實踐 @ 3dWoo大學簡體電腦書店

	-- 會員 / 註冊 --
帳號：　密碼：　 \| 註冊 \| 忘記密碼

3/26 新書到！ 3/19 新書到！ 3/14 新書到！ 12/12 新書到！
	購書流程‧Q & A‧站務留言版‧客服信箱

│ 3ds Max│ Maya│ Rhino│ After Effects│ SketchUp│ ZBrush│ Painter│ Unity│

│ PhotoShop│ AutoCad│ MasterCam│ SolidWorks│ Creo│ UG│ Revit│ Nuke│

│ C#│ C│ C++│ Java│ 遊戲程式│ Linux│ 嵌入式│ PLC│ FPGA│ Matlab│

│ 駭客│ 資料庫│ 搜索引擎│ 影像處理│ Fluent│ VR+AR│ ANSYS│ 深度學習│

│ 單晶片│ AVR│ OpenGL│ Arduino│ Raspberry Pi│ 電路設計│ Cadence│ Protel│

│ Hadoop│ Python│ Stm32│ Cortex│ Labview│ 手機程式│ Android│ iPhone│


可查書名,作者,ISBN,3dwoo書號		詳細書籍分類

Hadoop 2.0-YARN核心技術實踐
( 簡體字)

作者：周維類別：1. -> 程式設計 -> 雲計算

譯者：

出版社：清華大學出版社 3dWoo書號： 42337
詢問書籍請說出此書號！
【缺書】
NT售價： 245 元

出版日：9/1/2015

頁數：202

光碟數：0

站長推薦：

印刷：黑白印刷語系： ( 簡體版 )

加入購物車 │加到我的最愛
(請先登入會員)

ISBN：9787302411390

作者序　|　譯者序　|　前言　|　內容簡介　|　目錄　|　序

(簡體書上所述之下載連結耗時費功, 恕不適用在台灣, 若讀者需要請自行嘗試, 恕不保證)

作者序：

譯者序：

前言：
　　隨著計算機、互聯網技術的發展，很多以前只能在單機上運行的程序現在越來越呈現出分布化、網絡化的特點，近幾年來，云計算、大數據更成為炙手可熱的社會關注重心。在當前信息爆炸的時代，每天都在產生大量的信息數據，而如何高效地對這些信息進行處理成為計算機研發人員必須面對的挑戰。雖然陸續提出過并行計算、網格計算等方案，但是在面臨大規模，高效應用需求時都不是很理想。Hadoop的誕生，很好地契合了當前全球計算機技術發展的潮流，由于其穩定性、可擴展性、開源性，Hadoop成為國內外公司在云計算時代的首選支撐平臺。
　　作者從事分布式教學與研究十余年，在同國內外頂尖公司的交流中，我們發現Hadoop很適合作為一個分布式課程教學實踐與研究平臺，因為Hadoop既包含了獨立組件的運行，也包含了分布化的不同組件之間的通信，還包含了分布式系統的架構設計等，Hadoop事實上成為一個集大成的分布式系統。最為難能可貴的是，Hadoop是完全開源的系統，這使得我們有機會深入其中進行分析、研究。因此，近年來，作者逐步在分布式教學與研究中引入Hadoop系統，取得了明顯的效果。在對Hadoop進行分析調研的基礎上，我們認識到當前Hadoop書籍還存在一些不滿意的地方，例如：? 由于Hadoop 2.0-YARN在2013年11月才發布穩定版，因此，對YARN的公開研究資料還不多，目前可查詢到的YARN中文版書籍還比較少，這些書籍雖然也不錯，但是更適合一個Hadoop從業人員作為技術手冊，對于廣大普通讀者來說，入門門檻過高，而且看過后基本還是不會編寫YARN程序。? 雖然網絡上也有不少這方面的資料，但是由于網絡寫作的隨意性，資料很零散且存在很多錯誤，因此讓初學者和普通開發人員很難快速入手。
　　基于此，作者著手編著一本針對Hadoop 2.0-YARN的書籍。本書在寫作過程中注重實踐教學，因此配備有很多實際例程，這樣讀者可以邊看書、邊安裝、邊調試，因此降低學習難度，加快學習進度，同時，本書對YARN中的一些核心內容的剖析也很有價值，如? 出租車Storm on YARN 實時處理實例；? YARN狀態機信息捕捉；? YARN調度模擬器——SLS分析，并與Google第三代調度器Omega進行對比分析。這些資料都既有文字說明，又有實際代碼。基于我們長期的實踐，有些內容是首次披露，網絡上也沒有的，所以對讀者會有很大的吸引力。本書在寫作工程中，也力求和公司的工程項目結合起來，因此，部分案例直接選自BAT中的工程實例，這使得本書更具有實戰性。
　　作為廣大的本科和研究生同學，可以參照本書實例進行研究或修改，為他們進行分布式、云計算平臺學習，專業課項目設計或畢業論文提供參考。本書也可作為業界研發人員的工程實踐提供參考。
　　本書第1~6章由周維老師主要負責編寫，第7章由薛崗老師主要負責編寫。另外來自阿里的楊輝先生，袁碩同學，以及在百度實習過的劉笠熙同學、周可人同學都提出了寶貴意見并設計了部分案例。此外，還要特別感謝很多參與代碼調試的研究生同學，這其中包括麥超、劉建坤、劉長春、范航凱、傅央、張浩、向文坤、魏征、孫淋川、羅潔等。沒有大家的幫助，這本書也不可能這么快寫完，在此對所有支持本書編著的人表示衷心的感謝。
　　由于時間倉促，本書難免存在不妥之處，請讀者批評指正。
　　
　　編者
　　2015年4月
??

??

??

??

II
Hadoop 2.0-YARN核心技術實踐

III
前言

　　

　　

內容簡介：
本書基于長期的教學實踐以及同國內外頂尖公司的交流合作編寫完成，系統介紹了Hadoop 2.0-YARN的基本概念與運行模式。全書共分為7章。內容涵蓋Hadoop 2.0的架構、重要組件、主要計算模式、資源調度等重要問題。第1章回顧了YARN的起源，并與Hadoop 1.0進行了對比分析。第2章介紹了YARN的基本框架，對YARN中最重要的幾個組件，如資源管理、節點管理、應用程序管理等做了說明。第3章通過Hadoop 2.0-YARN的安裝、編譯，以及簡單的MapReduce調試示例，讓讀者能夠迅速掌握YARN的基本操作，使得讀者有一個初步的實踐體驗。第4章對YARN的通信原理和過程進行討論，通過Protocol Buffer、YARN RPC的實例分析讓讀者理解YARN的通信協調過程。之后轉入對YARN 狀態機進行深入分析，詳細介紹了YARN中4類狀態機的轉換過程，同時提供了YARN狀態機監控軟件設計案例。第5章對基于YARN的幾種計算模式（MapReduce、Storm、Spark）進行了討論，每一種模式都提供了相應的安裝步驟、案例分析。第6章敘述了YARN調度器，詳細分析了YARN資源調度負載模擬器——SLS和Google第三代調度器omega的基本原理，并分別給出了兩種調度器的運行實例。第7章通過Tez和顯示工作流引擎設計，使得讀者對YARN工作流運行情況有一定了解。
　　本書最大的特點是理論與實踐結合，通過示例分析的形式降低了讀者的學習難度，避免了理論學習的枯燥性，本書的部分案例直接選自BAT中的工程實例，這使得本書更具有實戰性。廣大本科和研究生同學，可以參照本書實例，為他們進行分布式、云計算平臺學習，專業課項目設計或畢業論文提供參考。本書也可作為業界研發人員的工程實踐參考。

目錄：
第1章  YARN的前世今生 1
1.1  Hadoop基本情況回顧 1
1.2  為什么我們需要YARN 2
1.3  YARN和 Hadoop 1.0對比分析 3
1.3.1  體系結構對比 3
1.3.2  運算框架對比 5
1.4  Hadoop 生態系統 6
1.5  小結 6
第2章  YARN基本框架 8
2.1  YARN基本框架 8
2.2  ResourceManager 9
2.3  NodeManager 10
2.4  ApplicationMaster 11
2.5  YARN中應用程序的運行過程 12
第3章  YARN編程初步 13
3.1  YARN 安裝與配置 13
3.1.1  環境準備 13
3.1.2  偽分布式安裝 14
3.1.3  完全分布式安裝 18
3.2  源碼閱讀及編譯 22
3.2.1  Maven的介紹及安裝 22
3.2.2  編譯前準備 23
3.2.3  YARN源碼閱讀環境配置 24
3.2.4  YARN源碼編譯 27
3.3  MapReduce實例 28
3.3.1  Word Count 28
3.3.2  Deduplication 32
3.3.3  Sort 36
3.4  HBase編程初步 38
3.4.1  HBase介紹 38
3.4.2  HBase安裝與配置 39
3.4.3  HBase開發環境配置及實例 43
第4章  YARN核心組件分析 47
4.1  通信組件Protocol Buffer 47
4.1.1  什么是Protocol Buffer 47
4.1.2  YARN中的Protocol Buffer 47
4.1.3  如何編寫Protocol Buffer 47
4.1.4  Protocol Buffer代碼分析 49
4.2  Hadoop 1.0 RPC 和 YARN RPC 50
4.2.1  什么是RPC 50
4.2.2  RPC通信模型 50
4.2.3  Hadoop 1.0 RPC的實現過程 51
4.2.4  Hadoop 1.0 RPC的應用 51
4.2.5  YARN RPC 52
4.2.6  YARN RPC通信案例解析 53
4.2.7  YARN RPC源代碼導讀 59
4.3  YARN狀態機分析 61
4.3.1  RMApp狀態機 61
4.3.2  RMAppAttempt狀態機 65
4.3.3  RMNode狀態機 69
4.3.4  RMContainer狀態機 71
4.3.5  應用程序在RM中的完整運行流程分析 72
4.3.6  狀態機源代碼導讀 75
4.3.7  YARN狀態機監控軟件設計 76
4.4  HDFS Federation 84
4.4.1  HDFS的層次 84
4.4.2  當前的HDFS架構 84
4.4.3  HDFS Federation 85
4.4.4  Federation HDFS與當前HDFS的比較 86
第5章  YARN中幾種計算模型 87
5.1  基于YARN的MapReduce進階 87
5.1.1  Reduce Side Join 87
5.1.2  Map Side Join 91
5.1.3  并行聚類Kmeans算法設計與實現 92
5.2  Storm on YARN 96
5.2.1  Storm基本原理 96
5.2.2  Storm on YARN 98
5.2.3  Storm單機模式安裝 98
5.2.4  Storm on YARN安裝 102
5.2.5  基于Storm on YARN的實時出租車管理系統 106
5.3  Spark on YARN 112
5.3.1  Spark簡介 112
5.3.2  Spark基本原理 114
5.3.3  Spark的部署及開發環境搭建 118
5.3.4  Spark MLlib介紹 126
5.3.5  Spark的優化配置 127
5.3.6  Spark的編程案例 129
5.3.7  Spark的應用案例 132
第6章  YARN資源調度器 136
6.1  Hadoop資源調度器回顧 136
6.2  YARN資源調度器 138
6.2.1  Capacity Scheduler 138
6.2.2  Fair Scheduler 141
6.2.3  調度器比較 146
6.3  YARN調度負載模擬器-SLS 146
6.3.1  綜述 146
6.3.2  參數和命令 148
6.3.3  實例一  快速開始 150
6.3.4  實例二  定制運行 151
6.4  Google第三代調度器分析 158
6.4.1  中央式調度器模式 158
6.4.2  雙層調度器模式 160
6.4.3  共享狀態調度器 164
6.4.4  Google第三代調度器Omega 166
6.4.5  Omega集群調度模擬器-CSS 169
第7章  YARN工作流分析 173
7.1  Tez on YARN 173
7.1.1  Tez基本原理 173
7.1.2  Tez環境安裝 177
7.1.3  Tez在Hive引擎中的優化作用 191
7.1.4  小結 195
7.2  顯式工作流引擎 196
7.2.1  Hadoop工作流引擎 196
7.2.2  某大型互聯網公司部門使用的工作流引擎 197
7.2.3  應用舉例 200
7.2.4  對比 202
7.2.5  小結 203
參考文獻 204
??
??
??
??
IV
Hadoop 2.0-YARN核心技術實踐
V
目錄
　　
　　

序：