課程介紹
本課程涵蓋FusionInsight HD解決方案架構(gòu)、設(shè)計、部署和維護，大數(shù)據(jù)常用組件技術(shù)原理、設(shè)計、部署、管理與維護（包括HDFS、MapReduce、Yarn、Saprk2x、Hbase、Hive、Streaming、Loader、Flume、Kafka、Zookeeper等）。
學(xué)員報讀條件
大數(shù)據(jù)運維與開發(fā)人員，應(yīng)用開發(fā)高級人員，企業(yè)IT系統(tǒng)架構(gòu)師，企業(yè)CTO
標(biāo)題圖標(biāo)課程目標(biāo)
系統(tǒng)理解大數(shù)據(jù)架構(gòu)、技術(shù)原理
掌握華為大數(shù)據(jù)FusionInsight HD方案
具備大數(shù)據(jù)平臺的規(guī)劃設(shè)計、部署和運維能力
熟悉HDFS、MapReduce、Yarn、Spark
熟悉HBase、Hive、Loader、Flume
熟悉Kafka、Streaming
熟悉ZooKeeper
課程大綱：
|
模塊名稱 |
課程內(nèi)容 |
|
大數(shù)據(jù)行業(yè)與技術(shù)趨勢 |
1.?大數(shù)據(jù)時代 2.?大數(shù)據(jù)的應(yīng)用領(lǐng)域 3.?大數(shù)據(jù)時代的機遇和挑戰(zhàn) 4.?華為大數(shù)據(jù)解決方案 |
|
HDFS分布式文件系統(tǒng) |
1.?HDFS概述及應(yīng)用場景 2.?HDFS在FusionInsight產(chǎn)品中的位置 3.?HDFS系統(tǒng)架構(gòu) 4.?關(guān)鍵特性介紹 |
|
MapReduce分布式離線批處理和Yarn資源協(xié)調(diào) |
1.?MapReduce與YARN基本介紹 2.?MapReduce與ARN功能與架構(gòu) 3.?YARN的資源管理和任務(wù)調(diào)度 4.?增強特性 |
|
Spark基于內(nèi)存的分布式計算框架 |
1.?Spark概述 2.?Spark原理與架構(gòu) 3.?Spark在FusionInsight中的集成情況 |
|
HBase分布式NoSQL數(shù)據(jù)庫 |
1.?Hbase基本介紹 2.?Hbase功能與架構(gòu) 3.?Hbase關(guān)鍵流程 4.?Hbase華為增強特性 |
|
Hive分布式數(shù)據(jù)倉庫 |
1.?Hive概述 2.?Hive功能與架構(gòu) 3.?Hive基本操作 |
|
Streaming分布式流計算引擎 |
1.?Streaming簡介 2.?系統(tǒng)架構(gòu) 3.?關(guān)鍵特性介紹 4.?StreamSQL介紹 |
|
Flink流計算處理和批處理平臺 |
Flink概述 Flink原理與技術(shù)架構(gòu) Flink在FusionInsight HD中的集成情況 |
|
Loader數(shù)據(jù)轉(zhuǎn)換 |
1.?Loader簡介 2.?Loader作業(yè)管理 |
|
Flume海量日志聚合 |
1.?Flume簡介及架構(gòu) 2.?Flume關(guān)鍵特性介紹 3.?Flume應(yīng)用舉例 |
|
Kafka分布式消息訂閱系統(tǒng) |
1.?Kafka簡介 2.?Kafka架構(gòu)與功能 3.?Kafka關(guān)鍵流程 |
|
ZooKeeper集群分布式協(xié)調(diào)服務(wù) |
1.?Zookeeper簡介 2.?Zookeeper在產(chǎn)品中的位置 3.?系統(tǒng)架構(gòu) 4.?關(guān)鍵特性介紹 5.?與組件的關(guān)系 |
|
FusionInsight HD解決方案介紹 |
1.?FusionInsight概述 2.?FusionInsight特性介紹 3.?FusionInsight HD成功案例 |