 |
-- 會員 / 註冊 --
|
 |
|
|
|
精通Elastic Stack ( 簡體 字) |
| 作者：[印]Y.古普塔（Yuvraj Gupta） [印]R.K.古普塔（Ravi Kumar Gupta）著 | 類別：1. -> 程式設計 -> 搜索引擎 |
| 譯者：高凱 岳重陽 苗雪立 張思琪 譯 |
| 出版社：清華大學出版社 |  3dWoo書號： 49683
詢問書籍請說出此書號！【缺書】
NT售價： 400 元 |
| 出版日：8/1/2018 |
| 頁數：394 |
| 光碟數：0 |
|
站長推薦：   |
| 印刷：黑白印刷 | 語系： ( 簡體 版 ) |
| |
加入購物車  │加到我的最愛
(請先登入會員) |
| ISBN：9787302492436 |
| 作者序 | 譯者序 | 前言 | 內容簡介 | 目錄 | 序 |
| (簡體書上所述之下載連結耗時費功, 恕不適用在台灣, 若讀者需要請自行嘗試, 恕不保證) |
| 作者序： |
| 譯者序： |
前言：精通Elastic Stack
2017 Packt出版社版權聲明
未經Packt出版社允許，本書任何部分均不得復制，不得在檢索系統中存儲，不得以任何形式、任何方式非法傳播，除非在重要文章或評論文章中簡短引用。
本書在準備過程中，盡可能保證書中內容的準確性;但書中內容在出售時，既沒明確表示也沒暗示做出某些擔保。本書的作者、Packt出版社、經銷商及分銷商將不會為此書所引起的任何直接或間接損害承擔法律責任。
雖然Packt出版社已竭盡全力，確保在本書中所提到的所有公司及產品的注冊商標信息采用適當的大寫字母標識出來,但是不能保證這些信息的準確性。
首次出版: 2017年2月
產品基準碼: 1240217
出版商: Packt Publishing Ltd.
地址: Livery Place
35 Livery Street
Birmingham
B3 2PB, UK.
www.packtpub.com榮譽及致謝
作者文字編輯
Ravi Kumar GuptaSafis Editing
Yuvraj Gupta
審校人項目協調人
Israel FarfanDevanshi Doshi
Marcelo Ochoa
組稿編輯校對
Veena PagareSafis Editing
采稿編輯索引
Tushar GuptaAishwarya Gangawane
內容編輯圖表
Narendrakumar TripathiDisha Haria
技術編輯產品協調
Sachit BediDeepika Naik譯者序
在大數據時代，建立一個網站或應用程序，搜索、挖掘與分析功能是必備的。本書從分布式大數據搜索、日志挖掘、可視化、數據監控與管理等多個角度出發，在Elastic Stack 5的基礎上，介紹了Elasticsearch、Logstash、Kibana、Beats、X拟Pack等諸多相關組件。原著作者Ravi Kumar Gupta除作為計算機專業技術書籍的審稿人外，也是開源軟件社區的維護者;原著的另一名作者Yuvraj Gupta是大數據實踐領域的技術顧問，其研究領域涉及大數據、數據分析、數據可視化和云計算等。二人合作完成的這部著作，從面向實踐的角度出發，比較全面地介紹了Elastic Stack 5的實際應用;并結合一些項目實例，介紹了大數據分析的部分關鍵技術。我們認為，無論對初學者還是有經驗的開發人員，原著都是很有參考價值的。它不僅內容全面，而且表達比較通俗易懂，實踐指導性較強。原著強調實踐、面向初學者，通過實戰講解的方式，可讓讀者更好地了解相關組件的應用。通過翻譯這本書，我們也從中收獲很多、受益頗豐。
本書由高凱、岳重陽、苗雪立、張思琪合作翻譯。其中，高凱完成了第1、3、7章，岳重陽完成了第5、9、10、11、12章，苗雪立完成了第4、6章，張思琪完成了第2、8章。最后，由高凱統稿。本書翻譯過程中得到了多方面的支持與幫助;何曉藝、張姍姍、孟天宏、劉多星、高成亮、毛雨欣、聶穎杰、韓佳、謝宇翔、李明奇、侯雪飛、楊聰聰、江躍華等均提供了協助。
盡管本書的譯者在大數據搜索與挖掘及可視化管理方面有一定的經驗，也出版過相關的著作、教材等，但畢竟水平有限，譯文中難免有不足和有待商榷之處，敬請讀者批評指正。
譯者
關于本書作者
本書作者Ravi Kumar Gupta是計算機專業技術書籍審稿人、開源軟件社區維護者。他于印度彼拉尼邦的伯拉科技學院(Birla Institute of Technology and Science，BITS)獲得軟件系統碩士學位，于印度拉賈斯坦邦齋浦爾(Jaipur)的LNMIIT(The LNM Institute of Information Technology)獲學士學位,在技術上擅長門戶網站研發。
他目前就職于Azilen Technologies公司，任技術架構師和項目經理,曾擔任CIGNEX Datamatics的首席技術顧問譯者注他曾是開源組織TCS譯者注: https://sourceforge.net/projects/opentcs/files/?source=navbar。的核心成員，從事開源軟件社區管理和其他的用戶界面技術研發。在其職業生涯中，他致力于使用最新技術構建企業級解決方案，并注重用戶界面和開源工具的使用。
他喜愛寫作、學習，熱衷于討論IT新技術。大學期間他的研究領域涉及基于爬蟲的搜索引擎的研發，是技術愛好者。他也是由Packt出版社出版的Test拟Driven JavaScript Development的作者之一，是軟件社區論壇的活躍成員。他目前維護其博客，并經常在上面發表計算機相關技術的系列文章。
他還維護著TCS和CIGNEX軟件社區(Liferay 5.x 和 6.x 版本),同時也是Packt出版社出版的Learning Bootstrap的審校人。“感謝我的妻子Kriti。正是她的鼓勵和支持，伴我度過了本書寫作的艱辛時光。感謝我的妻子、我的家庭，特別是我的岳父母，他們為我提供了很多幫助。更要感謝本書合著者Yuvraj。作為好朋友，他為我提供了很好的支持和理解，沒有他，本書是不可能完成的。我還要感謝Packt出版社、審校人、編輯團隊的同事們。感謝你們!謝謝!”本書的另一位作者Yuvraj Gupta的研究領域涉及大數據、數據分析、數據可視化和云計算。他是大數據實踐領域的技術顧問，喜愛各種社交平臺，是小工具插件的開發與愛好者。他喜愛美食、運動、各種影視劇，也一直跟蹤最近技術發展動態。他在Packt出版社出版了Kibana Essentials。感謝我的家人和朋友提供的支持和鼓勵。感謝本書審校人以及Packt出版社為本書做出奉獻的全體同事，沒有你們的幫助，本書是不可能出版的。感謝所有直接或間接為我寫作提供支持的同事。同時，感謝我的老師、教授、導師、學院、大學,你們培育并傳授給我知識。感謝我的合作者Ravi。沒有這些幫助、信任和支持，本書是不可能完成的。”?1??2?關于本書審校人
Marcelo Ochoa就職于Universidad Nacional del Centro de la Provincia de Buenos Aires系統實驗室，是Scotas.com(這是一家使用Apache Solr和Oracle的實時搜索公司)的CTO。平時，除完成大學中的工作，他也從事和Oracle及大數據技術相關的工作,做過一些和Oracle相關的工作(如Oracle手冊的翻譯、CBT多媒體等),其技術背景為數據庫、網絡、互聯網、Java技術等。在XML領域，他以Apache Cocoon工程的DB Generator的研發者而著稱。他也在開源項目DBPrism和DBPrism CMS(這是一個由Oracle JVM Directory實現的基于Lucene拟Oracle的集成項目)中提供服務，他在項目中主要從事Oracle XDB Restlet Adapter的開發工作，這是Oracle JVM中專注于REST的Web服務的一個替代品。從2006年起，他成為Oracle ACE program中的一員。Oracle ACE program在Oracle社區享有崇高聲望，擁有眾多熱情的支持者和倡導者。他也是ACES在Oracle技術和應用社區的倡導者。作為合著者，他參與編寫了由Digital出版社出版的Oracle Database Programming using Java and Web Services和由Wrox出版社出版的Professional XML Databases。他還是由Packt出版社出版的幾部技術著作，如Apache Solr 4 Cookbook,ElasticSearch Server等的審校人。訪問Mapt網站，可獲取更多相關內容。該網站提供所有Packt出版社的書籍、視頻課程和在工業界領先的工具軟件等。這些能幫助你規劃未來的個人發展，并獲得職業提升的機會。
可以通過瀏覽器訪問該網站，復制、粘貼、打印、收藏由Packt出版社發行的電子書。致 消 費 者如果數據不能有助于做出決定、提升目前的系統性能，即使是結構化的數據，那也是無用的(更何況非結構化的數據了)。如果對數據感興趣，或者需要處理用戶各種類型的日志數據，或者需要設計高可擴展性的分析系統，或者需要管理日志并進行實時的數據分析，本書可提供“一站式”解決方案。通過集成Elasticsearch、Logstash、Beats、Kibana等多個流行軟件，ELK Stack已經進化為Elastic Stack，它能以近乎實時的高效處理方式，處理幾乎各種類型的結構化和非結構化的數據。
本書首先介紹有關Elastic Stack的基礎知識，之后會涉及一些更復雜和高級的內容。我們將幫助你借助Elastic Stack，應對數據分析的挑戰，并以內網應用環境為例，帶你從實戰角度理解Elastic Stack組件的使用。通過學習，你將會了解日志分析和可視化的高級技術。另外，也將以實例的方式介紹一些新特性——如Beats和X拟Pack。
最終，你將會看到如何使用Elastic Stack解決現實世界中的實際問題。同時，本書也將會介紹一些在應用Elastic Stack中需要注意的問題。
本書包含哪些內容?
第1章，Elastic Stack概述。通過搭建Elastic Stack的各種組件，介紹從ELK到Elastic Stack的轉化。
第2章，使用Elasticsearch。介紹如何在工程項目中開始使用Elasticsearch，介紹Elasticsearch工作機制，并介紹各種Elasticsearch API和聚合Aggregations的用法。
第3章，Logstash及其插件的使用。內容涉及Logstash簡介、Logstash結構、各種插件的用法示例。最后，介紹一個有關Logstash配置文件以及日志解析的實例。
第4章，Kibana界面設計。介紹各種Kibana界面的用法，并通過一些例子來演示如何將各種界面相結合并設計面板可視化。
第5章，使用Beats。介紹Beats，講述Beats和Logstash的不同之處，并介紹各種類型的Beats的功能以及設置方法，最后介紹在Elastic Stack中如何使用Beats。
第6章，Elastic Stack實戰。介紹在局域網環境下實際使用Elastic Stack的方法，并通過例子解釋如何使用Elastic Stack組件解決實際的具體問題。
第7章，個性化配置Elastic Stack。介紹如何擴展Elastic Stack中的各種組件，并介紹定制個性化組件的方法。
第8章，Elasticsearch API。通過介紹各種Elasticsearch API的用法，使讀者理解Elasticsearch諸模塊的工作機制;并介紹節點、組件發現策略及使用Java客戶端實現對Elasticsearch的各種操作。
第9章，X拟Pack插件中的Security與Monitoring組件。內容涉及X拟Pack簡介與安裝、安全和監控等，本章還涉及Shield、Marvel、Profiler相關功能的使用。
第10章，X拟Pack插件中的Alerting、Graph和Reporting組件。本章還介紹了Watcher、Graph、Reporting等組件的使用、功能、特性等。
第11章，最佳實踐范例。本章將分成多個小節，使讀者理解為什么需要遵循最佳實踐標準。
第12章，案例分析——Meetup。通過擴展Logstash的功能、生成新的功能插件等方法，使讀者加深對相關問題的理解，學習如何應用Elastic Stack組件來分析和處理端到端的Meetup數據，展示Elastic Stack在數據分析方面的強大功能。
?1??2??1??3?需要下載什么軟件工具?
如果曾經聽說過ELK Stack，想學習有關它的最新發展,了解它如何演化成為Elastic Stack，那么這本書就是為你而準備的;如果正在進行數據分析，或計劃通過可視化技術來展現數據，本書也適合你。它能幫助你了解Elastic Stack中的組件是如何發揮作用的。
慣用法與記號說明
為區分不同種類的信息,本書采用了不同風格的文本。這里列出一些例子并進行說明。
文本中的代碼、數據表名字、文件夾名、文件名、文件擴展名、路徑名、虛擬的URL、用戶輸入、Twitter句柄等以如下方式展示。例如,下面這些代碼讀取數據并賦值給BeautifulSoup函數。#import packages into the project
from bs4 import BeautifulSoup
from urllib.request import urlopen
import pandas as pd當需要提醒注意某部分代碼時，以黑體顯示。
JS Bin
基于命令行的輸入或輸出，將按如下方式展現: C:\\Python34\\Scripts> pip install -upgrade pip
C:\\Python34\\Scripts> pip install pandas新詞和重要詞匯以黑體顯示。在屏幕、菜單或對話框中顯示的內容，將采用如下方式展示。例如,為了下載新的模塊，將在Files|Settings|Project Name|Project Interpreter菜單選項中完成相應的操作。
警告或重要的說明將出現在這種框中。
提示和操作技巧將出現在這種框中。 |
| 內容簡介： |
目錄：第1章ElasticStack概述1
1.1ELKStack簡介1
1.1.1Logstash2
1.1.2Elasticsearch3
1.1.3Kibana3
1.2ElasticStack的誕生3
1.3誰在使用ElasticStack?4
1.3.1Salesforce5
1.3.2CERN5
1.3.3GreenManGaming5
1.4競爭者6
1.5設置ElasticStack的使用環境6
1.5.1安裝Java6
1.5.2安裝Elasticsearch9
1.5.3安裝Kibana12
1.5.4安裝Logstash15
1.5.5安裝Filebeat16
1.6X拟Pack簡介18
1.7本章小結19
第2章走進Elasticsearch20
2.1Elasticsearch的起源20
2.2了解Elasticsearch的體系結構22
2.2.1推薦的集群配置23
2.2.2了解文檔處理24
2.3ElasticsearchAPI25
2.3.1有關文檔的API25
2.3.2有關搜索的API38
2.3.3有關索引的API43
2.3.4CatAPI51
2.3.5ClusterAPI52
2.4QueryDSL52
2.5聚合52
2.5.1Buckets聚合52
2.5.2Metrics聚合59
2.6Painless腳本說明64
2.7本章小結66
?1??2??1??3?第3章探索Logstash及其組件67
3.1Logstash簡介68
3.2為什么需要用Logstash68
3.3Logstash的特點69
3.4Logstash插件的體系架構70
3.5Logstash配置文件的結構71
3.5.1值類型71
3.5.2條件判斷的用法73
3.6插件種類74
3.6.1數據輸入插件Input74
3.6.2數據過濾插件Filter74
3.6.3數據輸出插件Output75
3.6.4編解碼插件Codec75
3.7學習數據輸入插件Input76
3.7.1stdin77
3.7.2file78
3.7.3path79
3.7.4udp82
3.8學習數據過濾插件Filter83
3.8.1grok84
3.8.2mutate86
3.8.3csv89
3.9學習數據輸出插件Output90
3.9.1stdout90
3.9.2file91
3.9.3elasticsearch93
3.10學習編解碼插件Codec95
3.10.1rubydebug95
3.10.2json96
3.10.3avro96
3.10.4multiline97
3.11插件的命令行操作99
3.11.1列出插件列表100
3.11.2安裝插件100
3.11.3移除插件101
3.11.4更新插件101
3.11.5壓縮插件102
3.11.6解壓插件102
3.12Logstash的命令行操作103
3.13使用Logstash的小技巧105
3.13.1引用字段及其值106
3.13.2添加自定義的grok模式106
3.13.3Logstash不顯示任何輸出信息107
3.14用于解析日志的Logstash配置108
3.14.1Catalina日志示例108
3.14.2Tomcat日志示例108
3.14.3基于grok模式的Catalina日志109
3.14.4基于grok模式的Tomcat日志示例109
3.14.5Logstash配置文件110
3.15監控系統相應狀態信息的API112
3.15.1節點信息API113
3.15.2插件信息API115
3.15.3節點狀態API116
3.15.4HotthreadsAPI116
3.16本章小結117
第4章Kibana界面118
4.1Kibana及其功能118
4.2探索Discover界面120
4.3時間過濾器121
4.3.1快捷時間過濾器122
4.3.2相對時間過濾器122
4.3.3絕對時間過濾器122
4.3.4自動刷新122
4.4查詢和搜索數據123
4.4.1全文檢索123
4.4.2范圍搜索123
4.4.3布爾搜索124
4.4.4鄰近搜索124
4.4.5通配符搜索124
4.4.6正則表達式搜索125
4.4.7分組125
4.5字段和過濾器125
4.5.1過濾字段125
4.5.2過濾器的功能126
4.6查詢頁面選項127
4.7探索Visualize界面127
4.7.1了解聚合129
4.7.2可視化畫布133
4.7.3面積圖133
4.7.4數據表133
4.7.5折線圖133
4.7.6氣泡圖133
4.7.7Markdown部件134
4.7.8Metric134
4.7.9餅圖134
4.7.10標簽云134
4.7.11瓦片地圖134
4.7.12時間序列134
4.7.13直方圖134
4.8探索Dashboard界面135
4.9了解Timelion137
4.10探索開發者工具139
4.11探索設置界面140
4.11.1索引模式141
4.11.2已保存的對象141
4.11.3高級設置141
4.11.4狀態143
4.12綜合應用143
4.12.1輸入數據143
4.12.2創建Logstash配置文件144
4.12.3使用Kibana147
4.12.4在Kibana中創建面板155
4.13本章小結157
第5章使用Beats158
5.1Beats簡介158
5.2Beats與Logstash的不同之處159
5.3Beats如何融入ElasticStack160
5.4不同類型的Beats組件概述162
5.4.1Elastic團隊開發的Beats組件162
5.4.2社區開發者開發的Beats組件164
5.5Elastic團隊開發的Beats組件164
5.5.1了解Filebeat165
5.5.2理解Metricbeat172
5.5.3理解Packetbeat177
5.6社區開發者開發的Beats組件179
5.7Beats在ElasticStack中的實戰182
5.7.1用Logstash和Kibana探索Metricbeat182
5.7.2用Elasticsearch和Kibana探索Elasticbeat191
5.8本章小結195
第6章ElasticStack實戰196
6.1理解問題場景196
6.2準備ElasticStack管道199
6.2.1要獲取什么數據?200
6.2.2更新體系結構200
6.3配置ElasticStack組件201
6.3.1搭建Elasticsearch202
6.3.2搭建agents/Beats202
6.3.3搭建Logstash207
6.3.4設置Kibana213
6.4設置Kibana面板213
6.4.1Packetbeat214
6.4.2Metricbeat214
6.4.3查看數據庫(MySQL)性能215
6.4.4分析CPU的使用216
6.4.5內存使用情況217
6.4.6檢查日志217
6.4.7尋找訪問最多的網頁219
6.4.8訪客地圖219
6.4.9一定時間范圍內的訪客數量220
6.4.10請求類型221
6.4.11錯誤類型——日志的級別221
6.4.12首選的referrer223
6.4.13首選的代理agent223
6.5使用Logstash電子郵件功能發警報224
6.6使用消息代理225
6.7本章小結226
第7章個性化定制ElasticStack227
7.1擴展Elasticsearch227
7.1.1Elasticsearch開發環境228
7.1.2剖析一個ElasticsearchJava插件229
7.1.3構建插件230
7.2擴展Logstash231
7.3擴展Beats239
7.3.1Libbeat框架239
7.3.2創建一個Beat240
7.4擴展Kibana251
7.4.1設置Kibana開發環境252
7.4.2生成一個插件253
7.4.3剖析一個插件254
7.5本章小結257
第8章ElasticsearchAPI258
8.1集群API258
8.1.1集群健康狀況258
8.1.2集群狀態260
8.1.3集群統計信息261
8.1.4待處理任務261
8.1.5集群重路由261
8.1.6集群更新設置262
8.1.7節點統計信息262
8.1.8節點信息API263
8.1.9任務管理API264
8.2CatAPI265
8.3Elasticsearch模塊268
8.3.1集群模塊269
8.3.2Discovery模塊269
8.3.3Gateway模塊269
8.3.4HTTP模塊269
8.3.5索引模塊269
8.3.6網絡模塊269
8.3.7節點客戶端270
8.3.8插件模塊270
8.3.9腳本270
8.3.10快照/恢復模塊271
8.3.11線程池271
8.3.12Transport模塊271
8.3.13Tribe節點模塊272
8.4Ingest節點272
8.5Elasticsearch客戶端276
8.5.1支持的客戶端276
8.5.2社區提供的客戶端276
8.6JavaAPI277
8.6.1連接到集群277
8.6.2管理任務278
8.6.3索引級任務281
8.7Elasticsearch插件286
8.7.1Discovery插件287
8.7.2Ingest插件287
8.7.3ElasticsearchSQL288
8.8本章小結289
第9章X拟Pack插件中的Security與Monitoring組件290
9.1X拟Pack介紹290
9.2X拟Pack的安裝291
9.2.1在Elasticsearch中安裝X拟Pack291
9.2.2在Kibana中安裝X拟Pack292
9.2.3在離線系統中安裝X拟Pack292
9.2.4卸載X拟Pack293
9.3Security組件294
9.3.1列出所有Security中的用戶295
9.3.2列出Security中的角色296
9.3.3了解Security中的角色297
9.3.4理解默認用戶角色299
9.3.5在Security中添加新角色299
9.3.6在Security中更新角色300
9.3.7了解字段級的Security301
9.3.8在Security中添加新用戶302
9.3.9在Security中更新用戶詳細信息303
9.3.10在Security中修改用戶密碼304
9.3.11在Security中刪除角色304
9.3.12在Security中刪除用戶304
9.4查看X拟Pack信息305
9.5Monitoring組件307
9.5.1探索Elasticsearch的監控統計308
9.5.2探索Kibana的監控統計314
9.6了解Profiler315
9.7本章小結317
第10章X拟Pack插件中的Alerting、Graph和Reporting組件318
10.1Alerting與Notification組件318
10.2Graph組件336
10.3Reporting組件341
10.4本章小結344
第11章最佳實踐范例345
11.1為什么需要最佳實踐范例345
11.2了解你的用例346
11.3管理配置文件347
11.3.1Elasticsearch——elasticsearch.yml347
11.3.2Kibana——kibana.yml348
11.4選擇正確的硬件348
11.4.1內存349
11.4.2磁盤351
11.4.3輸入輸出353
11.4.4CPU354
11.4.5網絡354
11.5搜索和索引性能354
11.5.1過濾緩存354
11.5.2Fielddata的容量355
11.5.3索引緩沖區356
11.6調整Elasticsearch集群357
11.6.1選擇正確的節點357
11.6.2確定節點數359
11.6.3確定分片數360
11.6.4縮減磁盤空間361
11.7Logstash配置文件361
11.7.1對多個數據源分類362
11.7.2使用conditional條件362
11.7.3使用自定義grok模式363
11.7.4簡化grokparsefailure363
11.7.5字段的映像363
11.7.6動態模板363
11.7.7測試配置364
11.8重新索引數據364
11.9本章小結365
第12章案例分析——Meetup366
12.1了解Meetup使用場景366
12.2環境搭建367
12.2.1理解MeetupAPI368
12.2.2搭建Elasticsearch370
12.2.3準備Logstash370
12.2.4搭建Kibana374
12.3使用Kibana分析數據374
12.3.1內容過濾375
12.3.2按國家統計Meetup使用量377
12.3.3世界前10座使用Meetup的城市379
12.3.4按持續時間分析Meetup發展趨勢380
12.3.5按RSVP計數統計Meetup使用量383
12.3.6國家分組統計384
12.3.7加入群組的模式統計384
12.3.8熱門類別385
12.3.9熱門話題387
12.3.10Meetup活動場所地圖388
12.3.11Meetup活動地圖389
12.3.12僅數量方面的統計389
12.4獲取通知390
12.5本章小結393 |
| 序： |
|
