请选择 进入手机版 | 继续访问电脑版
我的账户
星点互联

教育培训在线课程

亲爱的游客,欢迎!

已有账号,请

如尚未注册?

玩转热门框架 用企业级思维 开发通用够硬的大数据平台(完)

1
回复
108
查看
[复制链接]

该用户从未签到

36

主题

65

帖子

166

积分

注册会员

Rank: 2

积分
166
发表于 2020-10-23 16:26:00 | 显示全部楼层 |阅读模式
玩转热门框架 用企业级思维 开发通用够硬的大数据平台(完)
百度网盘下载:[/hide]〖课程介绍〗:
        课程分析了主流企业的大数据架构、带领大家构建自己的通用型大数据平台。从企业需求入手,构建集数据采集、数据存储、数据处理与分析、BI应用、权限管理、系统监控等于一体的大数据应用平台,内容涵盖各类开源组件基础知识、优化技巧、应用场景和常见面试问题等,帮助我们快速掌握大数据平台开发技术,迅速建立大数据技术的宏观的认识。最后实现了可视化展示。非常适合想要通揽大数据全貌、了解企业级开发的你: Y6 J$ \- \3 K" ]0 @* u2 E/ \

〖课程目录〗:: C! K0 I+ ]/ a4 L
        第1章 课程导学与学习指南
        本章中将向大家介绍课程能学到什么、解决什么实际问题、项目成果展示,课程整体安排以及如何学习更高效。

         1-1 导学【课程背景、项目速览】 试看
         1-2 怎么更好的使用慕课平台
         1-3 你真的会问问题吗?# a3 p) K0 }/ _6 ^  N% f
        第2章 认识企业中的大数据平台- h; V7 K. P. ^" y+ f' o
        为什么要有大数据平台?大数据平台究竟是为了解决什么问题产生的?如何判断一个大数据平台的好坏?在设计一个数据平台时,需要注意哪些,有什么步骤。各大企业现有的解决方案有哪些,常见的技术栈有哪些,我们自己设计的这个通用的大数据平台是什么结构。...2 n. c# O( I7 A% j( F! E
" b1 Q& x3 e# a7 L
         2-1 课程简介与学习建议
         2-2 什么是大数据平台2 O8 G  k* E1 y. F) c- E) v7 G
         2-3 为什么要建设大数据平台【三个解决、两个提升】
         2-4 大数据平台常用技术栈有哪些【知识体系梳理、我们要用哪些】  ^; J# {' X8 a
         2-5 各大企业大数据平台对比【作业:画出我们的平台架构和这些对比一下】' X/ }' D7 Y0 w. }/ {/ `9 h
        第3章 大数据平台 —— 数据仓库之离线&实时
        你真的理解数据仓库是什么吗?数据仓库如何进行分层,为什么要分层呢?分层一定好吗?带你理解数据仓库,逐步掌握离线数仓工具Hive。对比离线数仓和实时数仓,了解实时数仓常见架构。. ~) ^8 I$ r3 ~6 C. x
* [+ x$ a- I4 x
         3-1 数据仓库VS数据库 试看9 n) I- m- S0 A1 l# {& R
         3-2 数据仓库分层建设1 \$ ^! ]% M5 C/ c5 H- a2 X) n
         3-3 Hive是什么【上期思考揭秘:分层的弊端,如何解决】
         3-4 Hive安装部署【课下任务:预习Hive和Mysql的区别,Hive都有哪些表?】
         3-5 【实操手册】Hive安装部署
         3-6 Hive基本使用(上)Hive数据类型/分区/基础语法
         3-7 Hive基本使用(中)内部表/外部表/分区表/分桶表& N5 R* I/ s- ^2 \6 g2 j
         3-8 Hive基本使用(下)内置函数/自定义函数/实现UDF6 N# d: W% l) F+ i. m
         3-9 【作业解答】Hive自定义函数注册0 H. t" k& J( B" B8 U: L
         3-10 Hive存储结构 ORCFile) N. s# i3 ?; m$ k( Q1 [6 b
         3-11 【梳理】Hive知识梳理总结4 i( F& I$ V- y" [7 k
         3-12 Hive常见面试题
         3-13 离线数仓VS实时数仓
         3-14 图解Lambda架构数据流程) a( W2 {1 I7 d' r9 S# Z
         3-15 Kappa 架构 VS Lambda
         3-16 主流大公司的实时数仓架构
        第4章 大数据平台——数据仓库之权限管理
        解决三大问题:数仓安全问题,对比常见权限认证框架,使用Ranger开发数仓权限模块;数据来源问题,对常用数据采集工具进行介绍,使用DataX进行数据采集;数仓管理问题,介绍数据治理的概念及ApacheAtlas- u3 W1 d7 f' z. R

         4-1 权限管理(上)Hadoop/Hive自带权限控制
         4-2 权限管理(下)实操Hive的权限操作
         4-3 Kerberos认证简介【对称/非对称加密、数字证书、图解Kerberos流程】
         4-4 Apache Ranger简介【图解Ranger架构、Ranger管理HDFS、Hive、Yarn举例】
         4-5 Apache Rangr安装
         4-6 Ranger HDFS Plugin安装9 G1 n" \+ S) @) q3 \
         4-7 Ranger Hive Plugin安装! c' ^) d5 Z5 ~: u; Y$ r
         4-8 【实操手册】Apache Ranger安装部署
         4-9 Ranger Api Java开发之User管理 试看# O6 C0 {( [- a0 A1 q4 z0 T
         4-10 Ranger Api Java开发之Policy管理
         4-11 数据采集介绍【图解数据采集流程】
         4-12 常用数据采集工具【图解Sqoop、Flume、DataX】+ i4 P) \! U2 Q5 F& y5 R
         4-13 Datax数据采集实战
         4-14 【作业解答】Datax完成数据的导入导出
         4-15 数据治理简介【要解决的问题、元数据、数据血缘】& q. Y$ U! X1 N* L) c4 w
         4-16 Apache Atlas数据治理【图解Atlas架构】
         4-17 数据仓库常见面试题; X3 [+ M9 j! G# R/ Q5 z+ _8 y
        第5章 大数据平台 —— 调度系统
        解决离线批处理任务的定时执行问题,对主流调度框架Azkaban进行架构介绍、特性讲解和部署应用。通过Java程序调用Azkaban相关接口,实现创建任务、调度任务功能,实现API接口封装

         5-1 我们需要一个调度系统【任务处理现状、调度系统通用功能】
         5-2 Azkaban介绍【常用开源调度框架对比】
         5-3 Azkaban架构与调度流程【图解核心交互流程】
         5-4 Azkaban安装部署8 Z2 [; u% m; L  z/ l. \: [
         5-5 提交Azkaban任务
         5-6 【实操手册】Azkaban安装部署及基础使用4 [( h; p& D7 y" I
         5-7 Azkaban用户代理
         5-8 Java程序操作Azkaban Api (上)0 J( L& l: y' H& O
         5-9 Java程序操作Azkaban Api(下)# R" g6 B! S! D4 I6 E% b! g
         5-10 调度系统相关面试指导
        第6章 大数据平台 —— 计算引擎
        平台的计算引擎是基于Spark构建的,依托了Yarn进行资源调度。本章从Spark架构、核心介绍及部署开始,进行Spark部分开发。之后接入Spark SQL模块。最后介绍了Spark的一些高阶调优技巧。) h" L& _- e# y" ]0 y
9 H; b3 i8 Y* {0 A- b8 F% l6 T
         6-1 Spark简介【Hadoop VS Spark、图解Spark生态】
         6-2 Spark架构及执行流程【根据图解了解Spark名词】
         6-3 RDD简介及特性【图解WordCount示例中RDD如何转换】
         6-4 RDD依赖关系【图解Stage划分】
         6-5 Spark三种部署模式实战
         6-6 【实操手册】Spark三种部署模式及基本操作
         6-7 Spark程序开发
         6-8 SparkSQL简介【RDD VS DataFrame】
         6-9 SparkSQL程序开发
         6-10 Spark 自定义UDF开发  _8 B" {% c3 G) K
         6-11 Spark程序开发原则与基础优化【常见调优策略、持久化级别】! `$ ?* O/ |, K8 S3 L
         6-12 Spark 数据倾斜调优
         6-13 【实操手册】Zeppelin安装与使用
         6-14 Spark面试题答疑  p4 @5 a4 A+ G7 @/ S/ O
        第7章 大数据平台建设 —— SQL查询引擎6 ~0 x' T, ]7 \" \( \
        介绍SQL On Hadoop 方案。对Presto架构和应用做了一些介绍,利用Presto作为底层的SQL查询引擎,实现快速查询和多数据源查询。涉及Presto的配置优化,自定义函数、EventListener、以及通用UDF的开发,最后完成Presto On Yarn部署
- l* Y( W6 g; c
         7-1 大数据查询引擎Presto简介【作业:了解其他的SQL on Hadoop方案】2 u* ^3 J1 w8 o; _- R
         7-2 Presto架构与执行流程3 U& u  c9 G0 m3 H0 `( E' n
         7-3 Presto安装部署- B" W# F/ {) \2 ^! Z8 P9 z
         7-4 通过Jdbc操作Presto
         7-5 Presto UDF开发(上)
         7-6 Presto UDF开发(下)
         7-7 Presto EventListener开发7 g* V: n5 V; }9 t' x/ d
         7-8 【实操手册】Presto on Yarn2 N6 D, W* x- F" T  @
         7-9 Presto配置优化$ H; q- U( l  \4 g' w3 E
         7-10 Presto章节小结7 J; `7 Q2 B: e  g2 h0 \
        第8章 大数据平台建设 —— 监控预警! W' K- {1 [7 x6 J
        集群监控能提高资源利用率,有效管理整个集群,本章对常见集群的预警方案做了介绍和应用,最后通过Ganafa展示项目监控数据
& j, h* w$ i, D3 J+ |: l! V
         8-1 监控系统介绍
         8-2 常用开源监控项目对比【Zabbix VS OpenFalcon VS Prometheus】& d6 [: V* r) F0 X& A
         8-3 OpenFalcon各个组件介绍
         8-4 OpenFalcon单机版部署
         8-5 【实操手册】OpenFalcon 安装部署
         8-6 OpenFalcon基本使用$ Q# v6 f4 e8 a" R% N. y
         8-7 OpenFalcon邮件网关安装+ X# ?6 ]; b! k$ o3 k
         8-8 实现OpenFalcon对Hadoop服务状态报警
         8-9 自定义Plugin开发
         8-10 Push数据脚本开发
         8-11 【实操手册】Grafana安装并使用OpenFalcon数据源7 x3 W* H$ G$ Y
         8-12 Grafana监控大盘配置! n! S& D# P+ A) V; C0 }6 S
         8-13 监控系统 章节小结
        第9章 大数据平台建设 —— 管理整合、任务定制* b( v2 J- Z& x* n" p: \
        整合前面章节中开发的数仓管理功能,整合数仓权限、数据治理和数据采集,通过界面化配置实现数据采集任务定制。实现任务调度功能,实现shell命令、JAVA程序、Python程序、Spark程序的运行和管理

         9-1 Naga数据平台介绍
         9-2 Naga大数据平台功能介绍
         9-3 Naga 开发工具及基本类介绍) y( s2 A- Y2 c( \: E) M
         9-4 集群概览模块实体类开发& h( `( _$ m) ~$ U
         9-5 集群概览模块核心功能开发
         9-6 集群概览接口开发及测试
         9-7 业务线Entity开发# o$ ?0 P0 A- L. e% U+ ]0 u4 y3 b8 t
         9-8 Hadoop及Hive Client开发0 n1 ~9 P# i/ e7 V
         9-9 业务线Controller开发
         9-10 任务管理模块介绍
         9-11 插件抽象及解析代码开发
         9-12 插件接口及测试. d& ^  u6 h$ r3 r  C' z* {" Y' v7 e
         9-13 任务流程实体类开发# z6 C8 p2 a  |3 N: f
         9-14 创建流程及提交流程开发
         9-15 【实操手册】生成azkaban job文件
         9-16 插件参数及变量介绍+ I/ g7 B5 @0 Y
         9-17 引用参数解析方法开发
         9-18 插件SDK模块开发4 t; ^! F" b4 M4 C
         9-19 Java插件开发示例) H" X# ?6 R' u6 n9 \5 b2 h
         9-20 Spark插件开发示例
         9-21 【实操手册】Naga Plugin Python SDK开发& b# P" |9 S8 d; T; q* l7 R0 z
        第10章 系统集成及可视化2 B. H! f$ ?# z& e
        实现多引擎的数据查询及可视化模块,生成图表进行展示。将前面的数据仓库、调度系统、SQL引擎、计算引擎、预警监控系统、元数据管理系统等等,如何将他们集成到一起构建大数据平台

         10-1 数据查询架构介绍0 M$ ~7 t1 B3 ~
         10-2 QueryObject开发) q" l" b  [' h) s- v7 T1 t
         10-3 【实操手册】Java DataFrame设计3 O% m; y) Z2 A9 s' M
         10-4 DataFrame Wrapper开发2 p' B( M/ L2 [
         10-5 数据查询缓存( ~: K, t* F0 X! p6 E
         10-6 数据查询接口开发4 l. H% U- ?' \- p4 W# q
         10-7 数据可视化模块介绍
         10-8 多种图表setting抽象  Y- T  Q( f8 u: m9 A
         10-9 图表数据查询类/ ?8 k- B: h/ k& Z
         10-10 可视化接口开发及测试8 x" l, L5 u8 z2 `4 m( D2 {
         10-11 Naga平台用户模型介绍
         10-12 用户登录认证功能
         10-13 用户权限认证功能
         10-14 审计日志功能
         10-15 【梳理介绍】 Naga大数据平台前端框架介绍
         10-16 前端开发框架运行
         10-17 前端开发及前后端联调实现/ W; t" s: w, F8 B. K
         10-18 【实操手册】业务线管理前端开发
         10-19 【实操手册】数据查询功能界面开发
         10-20 【实操手册】可视化图表界面开发
         10-21 【梳理总结】前端开发过程中常见问题
         10-22 课程总结)

视频教程百度云下载地址链接:
游客,如果您要查看本帖隐藏内容请回复
【网盘地址回帖可见】网盘密码:58uc
回复

使用道具 举报

该用户从未签到

57

主题

84

帖子

225

积分

中级会员

Rank: 3Rank: 3

积分
225
发表于 2020-10-23 23:14:40 | 显示全部楼层
多谢分享~~~~~~~~~~~~~
回复

使用道具 举报

*滑块验证:
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注我们
IT6000视频教程网

客服邮箱:service@it6000.com

周一至周日 9:00-24:00

IT6000视频教程 - 引领行业人才培养!

Powered by IT6000 X3.4© 2001-2021 Comsenz Inc.