掃一掃
關注中圖網
官方微博
本類五星書更多>
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
深度學習
-
>
Unreal Engine 4藍圖完全學習教程
-
>
深入理解計算機系統-原書第3版
-
>
Word/Excel PPT 2013辦公應用從入門到精通-(附贈1DVD.含語音視頻教學+辦公模板+PDF電子書)
實時數據處理和分析指南 版權信息
- ISBN：9787115524867
- 條形碼：9787115524867 ; 978-7-115-52486-7
- 裝幀：平裝-膠訂
- 冊數：暫無
- 重量：暫無
- 所屬分類：>>
實時數據處理和分析指南 本書特色
《實時數據處理和分析指南》主要介紹實時大數據計算領域的相關技巧和經驗，包括Flink、Spark和Storm等流處理框架技術。全書從搭建開發環境開始，逐步實現流處理，循序漸進地引導讀者學習如何利用Rabbit MQ、Kafka和NiFi以及Storm、Spark、Flink和Beam等組件協同應用來解決實際問題。 本書內容分為6個部分，分別是“導言——熟悉實時分析”“搭建基礎設施”“Storm實時計算”“使用Spark實現實時計算”“使用Flink實現實時分析”以及“綜合應用”。 在閱讀本書之前，讀者應具備基本的Java和Scala編程基礎，還應熟悉Maven、Java和Eclipse的安裝和配置流程。
實時數據處理和分析指南 內容簡介
本書針對數據實時處理和分析進行了全面且深入地介紹, 包括已建立的實時堆棧、各個組件的關鍵集成等 ; 并且全面介紹了實時解決方案設計的基本構建模塊, 以便為讀者設計實時解決方案時提供搜索和可視化方面的幫助。同時, 本書分別從概念和實踐上介紹實時分析, 讓讀者能有足夠的能力應用書中知識并創建屬于自己的解決方案。
實時數據處理和分析指南 目錄
第 一部分 導言—熟悉實時分析
第 1章 實時分析簡介 2
1.1 大數據的定義 2
1.2 大數據的基礎設施 3
1.3 實時分析—神話與現實 6
1.4 近實時解決方案—可用的架構 9
1.4.1 NRT的Storm解決方案 9
1.4.2 NRT的Spark解決方案 10
1.5 Lambda架構—分析可能性 11
1.6 物聯網—想法與可能性 13
1.7 云—考慮NRT和物聯網 17
1.8 小結 18
第 2章 實時應用的基本組件 19
2.1 NRT系統及其構建模塊 19
2.1.1 數據采集 21
2.1.2 流處理 22
2.1.3 分析層—服務終端用戶 23
2.2 NRT的高級系統視圖 25
2.3 NRT的技術視圖 26
2.3.1 事件生產者 27
2.3.2 數據收集 27
2.3.3 代理 29
2.3.4 轉換和處理 31
2.3.5 存儲 32
2.4 小結 32
第二部分 搭建基礎設施
第3章 了解和跟蹤數據流 34
3.1 了解數據流 34
3.2 為數據提取安裝基礎設施 35
3.2.1 Apache Kafka 35
3.2.2 Apache NiFi 36
3.2.3 Logstash 41
3.2.4 Fluentd 43
3.2.5 Flume 46
3.3 將數據從源填到處理器—期望和注意事項 48
3.4 比較與選擇適合用例的*佳實踐 49
3.5 小試牛刀 49
3.6 小結 51
第4章 安裝和配置Storm 52
4.1 Storm概述 52
4.2 Storm架構和組件 53
4.2.1 特征 54
4.2.2 組件 54
4.2.3 流分組 56
4.3 安裝和配置Storm 57
4.3.1 安裝Zookeeper 57
4.3.2 配置Apache Storm 59
4.4 在Storm上實時處理任務 61
4.5 小結 67
第5章 配置Apache Spark和Flink 68
5.1 安裝并快速運行Spark 68
5.1.1 源碼構建 69
5.1.2 下載Spark安裝包 69
5.1.3 運行示例 70
5.2 安裝并快速運行Flink 73
5.2.1 使用源碼構建Flink 73
5.2.2 下載Flink 74
5.2.3 運行示例 75
5.3 安裝并快速運行Apache Beam 79
5.3.1 Beam模型 79
5.3.2 運行示例 80
5.3.3 MinimalWordCount示例 82
5.4 Apache Beam中的平衡 85
5.5 小結 88
第三部分 Storm實時計算
第6章 集成Storm與數據源 90
6.1 RabbitMQ有效的消息傳遞 90
6.2 RabbitMQ交換器 91
6.2.1 直接交換器 91
6.2.2 RabbitMQ安裝配置 93
6.2.3 RabbitMQ的發布和訂閱 95
6.3 RabbitMQ與Storm集成 99
6.4 PubNub數據流發布者 107
6.5 將Storm和RMQ_PubNub傳感器數據拓撲串在一起 111
6.6 小結 114
第7章 從Storm到Sink 115
7.1 安裝并配置Cassandra 115
7.1.1 安裝Cassandra 116
7.1.2 配置Cassandra 117
7.2 Storm和Cassandra拓撲 118
7.3 Storm和IMDB集成處理維度數據 120
7.4 集成表示層與Storm 122
7.5 小試牛刀 134
7.6 小結 143
第8章 Storm Trident 144
8.1 狀態保持和Trident 144
8.1.1 事務性spout 145
8.1.2 不透明事務性spout 145
8.2 基本Storm Trident拓撲 146
8.3 Trident內部實現 148
8.4 Trident操作 149
8.4.1 函數 149
8.4.2 Map函數and FlatMap函數 150
8.4.3 peek函數 151
8.4.4 過濾器 151
8.4.5 窗口操作 152
8.4.6 聚合操作 155
8.4.7 分組操作 158
8.4.8 合并和組合操作 159
8.5 DRPC 160
8.6 小試牛刀 161
8.7 小結 164
第四部分 使用Spark實現實時計算
第9章 運用Spark引擎 166
9.1 Spark概述 166
9.2 Spark的獨特優勢 169
9.3 Spark用例 172
9.4 Spark架構—引擎內部的運行模式 174
9.5 Spark的語用概念 176
9.6 Spark 2.x—數據框和數據集的出現 178
9.7 小結 179
第 10章 運用Spark操作 180
10.1 Spark—封裝和API 180
10.2 RDD語用探索 182
10.2.1 轉換 185
10.2.2 動作 190
10.3 共享變量—廣播變量和累加器 192
10.3.1 廣播變量 192
10.3.2 累加器 195
10.4 小結 196
第 11章 Spark Streaming 197
11.1 Spark Streaming的概念 197
11.2 Spark Streaming的簡介和體系結構 198
11.3 Spark Streaming的封裝結構 203
11.3.1 Spark Streaming API 203
11.3.2 Spark Streaming操作 204
11.4 連接Kafka和Spark Streaming 206
11.5 小結 208
第五部分 使用Flink實現實時分析
第 12章 運用Apache Flink 210
12.1 Flink體系結構和執行引擎 210
12.2 Flink的基本組件和進程 213
12.3 將源流集成到Flink 215
12.3.1 和Apache Kafka集成 215
12.3.2 和RabbitMQ集成 218
12.4 Flink處理和計算 221
12.4.1 Datastream API 221
12.4.2 DataSet API 223
12.5 Flink持久化 224
12.6 FlinkCEP 226
12.7 Pattern API 227
12.7.1 檢測模式 227
12.7.2 模式選擇 228
12.7.3 示例 228
12.8 Gelly 229
12.9 小試牛刀 231
12.10 小結 242
第六部分 綜合應用
第 13章 用例研究 244
13.1 概述 244
13.2 數據建模 245
13.3 工具和框架 246
13.4 建立基礎設施 247
13.5 實現用例 252
13.5.1 構建數據模擬器 252
13.5.2 Hazelcast加載器 259
13.5.3 構建Storm拓撲 261
13.6 運行用例 272
13.7 小結 279
展開全部
實時數據處理和分析指南 作者簡介
希爾皮·薩克塞納（Shilpi Saxena）是IT領域的一位技術布道者。她曾涉足多個領域(機器對機器空間、醫療保健、電信、人才招聘和制造業)。在企業解決方案的構思和執行的所有方面，以及在軟件行業的產品和服務方面有超過12年的經驗。她一直在大數據領域從事設計、管理和提供解決方案，并領導著一支高水平和分布在各地的精英工程師團隊。 沙魯巴·古普塔（Saurabh Gupta）是一名軟件工程師，有數十年的IT行業從業經驗，目前從事處理和設計在生產中運行的實時和批處理項目的相關工作，主要包括Impala、Storm、NiFi、Kafka等技術以及在AWS上部署Docker，他還參與了各種物聯網項目，涉及電信、醫療保健、智能城市、智能汽車等領域。
書友推薦
- >
山海經
- >
名家帶你讀魯迅:故事新編
- >
羅曼·羅蘭讀書隨筆-精裝
- >
回憶愛瑪儂
- >
企鵝口袋書系列·偉大的思想20:論自然選擇(英漢雙語)
- >
新文學天穹兩巨星--魯迅與胡適/紅燭學術叢書(紅燭學術叢書)
- >
小考拉的故事-套裝共3冊
- >
中國人在烏蘇里邊疆區:歷史與人類學概述
本類暢銷
