課程介紹
本課程為Flink大數據項目實戰教程,以Flink項目實現為主線,重點講解Flink項目相關的核心技術,包含Flink流式計算、InfluxDB時序數據庫和Grafana數據可視化等。本課程理論與實戰相結合,最終全流程實現對YARN集群資源的畫像。學完本課程,零基礎的學員能快速上手Flink進行項目開發,有大數據基礎的學員也能快速掌握Flink核心技術并積累Flink實際項目經驗。
課程特色
1.課程緊抓Flink核心技術,以項目實戰為導向,快速掌握Flink實時計算框架。
2.課程從原理、依賴引入、代碼開發、文件配置、項目啟動與測試等進行完整流程講解,不會跳講和斷講。
3.課程中無論案例代碼開發還是項目業務代碼開發,每一行代碼都會邊實現邊講解。
4.課程中目前使用Flink1.13.5最新穩定版本。
適用人群
1.零基礎想快速掌握Flink實時處理技術的學員
2.轉行想快速掌握Flink實時處理技術的學員
3.有大數據基礎,但想快速積累Flink項目經驗的學員
技術版本
1.Flink1.13.5
2.InfluxDB
3.Grafana
4.Hadoop
5.Kafka
項目架構圖
項目效果圖
講師介紹
-
楊俊
大講臺大數據高級講師 | 原某廣電數據咨詢公司大數據高級架構師
原某廣電數據咨詢公司大數據高級架構師 資深Java玩家,大數據技術狂熱者。曾在北京某廣電數據咨詢公司擔任大數據高級架構師,7年以上大數據實操經驗, 經歷過10個以上的重量級大數據項目。Hadoop源碼級技術大咖,熟練使用Hadoop、Spark、Flink、Hive、HBase、Flume、Kafka、ElasticSearch等各大主流組件。謙虛親和,崇尚實操至上的教學理念。受到學員一致好評。
免費視頻這么多,為什么還要來大講臺?
智能化
學習任務智能推送
混合式
“圖文+視頻”混合式課件
答疑快
30分鐘問答響應
實戰多
3分理論7分實戰
包學會
賬號長期有效學會為止
課程大綱
第一章:Flink快速入門 |
Flink架構 Flink應用場景 Flink VS Spark 實時計算技術選型 |
第二章:Flink項目構建與測試 |
快速構建Flink項目 第一個Flink應用案例 Flink 單節點集群安裝與測試 Flink Shell代碼測試 |
第三章:Flink ON YARN集群部署 |
Flink ON YARN集群架構講解 Flink ON YARN集群部署 Flink ON YARN提交作業方式1 Flink ON YARN提交作業方式2 |
第四章:Flink實時計算 |
Flink DataStream運行模型 Flink 惰性求值 Flink DataSource Flink Transfamation Flink DataSink 項目案例:Flink與Kafka集成開發 |
第五章:Flink并行度詳解 |
TaskManager與Slot Fink 并行度概述 Flink并行度設置的四種方式 |
第一章:InfluxDB架構原理 |
InfluxDB概述 InfluxDB數據模型 InfluxDB時間線 InfluxDB系統架構 |
第二章:InfluxDB安裝部署與基本操作 |
InfluxDB安裝部署 InfluxDB數據庫增刪改查 InfluxDB數據保留策略增刪改查 InfluxDB表增刪改查 InfluxDB用戶增刪改查 InfluxDB 用戶授權 InfluxDB開啟登錄認證 |
第三章:InfluxDB Java客戶端操作 |
InfluxDB 構建Maven項目 Java連接InfluxDB測試 InfluxDB單條數據插入 InfluxDB批量寫入Points InfluxDB數據查詢 InfluxDB數據刪除 |
Grafana可視化監控與分析工具 |
Grafana概述 為什么要用Grafana Grafana安裝部署 實時產生時序數據 Grafana添加InfluxDB數據源 Grafana數據大屏制作 |
第一章:需求分析與架構設計 |
項目背景 產生的問題 項目的阻力 整體解決方案 架構設計與技術選型 |
第二章:項目集群環境準備 |
項目集群規劃 YARN集群環境準備 InfluxDB環境準備 Grafana環境準備 |
第三章:項目業務實現 |
采集YARN集群總體指標實現方案分析 采集YARN集群調度指標實現方案分析 Flink自定義Source代碼實現 Flink自定義Sink代碼實現 Flink集群配置管理 Flink工具類實現 InfluxDB相關代碼實現 |
第四章:項目測試運行 |
Flink項目測試代碼調試 Flink項目開發代碼調試 Flink生產代碼調試與優化 |
第五章:項目打包運行 |
Flink核心模塊項目配置 Flink打包模塊項目配置 Flink項目打包部署 Flink項目測試運行 |
第六章:項目可視化分析 |
Grafana與InfluxDB集成開發 Grafana制作YARN集群資源畫像大屏 |