​济南大数据开发工程师培训班

【课程名称】

大数据开发工程师

【课程大纲】

LINUX

基本命令

常见配置文件

文件操作命令和权限

安装软件

Shell脚本

AWK和sed脚本

内核加载流程

Docker介绍和操作

服务器调优项

分布式存储

Hadoop概述

HBase背景、简介以及系统架构和原理

HBase逻辑模型：行键、列族、timeStamp，HBase物理模型。

HBase环境搭建：伪分布式安装、完全分布式安装

HBase Shell 、HBase客户端API 、HBase表结构设计

HBase之Mapreduce、HDFS数据导入HBase

HBase二级索引、WAL机制、HBase集群迁移方案、导入方案、协处理器

HBase性能调优：JVM优化、查询优化、写优化、配置参数优化

Zookeeper

Zookeeper概述

Zookeeper系统架构

Zookeeper数据模型

Zookeeper写数据流程

Zookeeper安装部署

Zookeeper中shell操作

Zookeeper选举机制

Zookeeper监听操作

Zookeeper 分布式锁实践

Zookeeper应用场景

API操作

YARN

YARN介绍

YARN系统架构

YARN作业提交流程

YARN三种调度策略

YARN队列配置

YARN的Node Label机制

MapReduce

MapReduce介绍

MapReduce基础案例

MapReduce分片

MapReduce运行流程及shuftle

MapReduce案例

MapReduce相关参数

Scala

Scala介绍

Scala基础语法

数组和集合

泛型

隐式转换

IO操作

Spark

Spark概述、整体架构、Spark vs Mapreduce 、Spark vs Hive 、Spark Streaming vs Storm等

Spark 环境搭建：hive搭建、kafka搭建、安装apark

Spark 核心编程：基本工作原理、RDD弹性数据集

开发wordcount程序

Spark 创建RDD、各种算子操作(Transformation、Actions)、共享变量(广播、累加)

复杂一些的Spark编程：排名、二次排序、TopN分析

Spark架构分析：宽窄依赖、基于YARN的提交模式、SparkContext原理剖析、注册机制原理、Executor原理剖析、Task原理剖析、shuffer优化、BlockManager原理剖析、CacheManager原理剖析、Checkpoint原理剖析等

Spark Core调优：内存、判断耗时、优化数据结构、RDD与checkpoint、序列化、JVM、提高并行度、广播共享等

SparkSql

概述、Spark SQL与DataFrame 常用操作

RDD转换DataFrame的两种方式：反射方式、编程方式

通用的load和save操作

数据源：Parquet数据源、JSON数据源、Hive数据源、JDBC数据源

各种复杂案例

Spark Streaming

简介概述 与storm和spark对比、helloword

StreamingContext、DStream与Receiver

DStream基于数据源与HDFS的实时程序

DStream之Kafka数据源、Direct模式 、Transformation操作、与SparkSQL结合使用

Hive

Hive背景、介绍

Hive环境安装：内嵌模式、独立模式

Hive 的DDL

Hive 的 DML

Hive常见内置函数

Hive高级数据类型

Hive窗口函数

Hive自定义函数（UDF、UDAF、UDTF）

Hive 分区表、桶操作

Hive数据装载与导出

Hive动态分区、Hive高级查询、Hive索引、Hive视图

Hive之IO负载策略、HIVE sql优化、压缩、分布式缓存

数据采集

Sqoop介绍

Sqoop导入和导出命令

Sqoop增量和全量操作

Sqoop优化

Flume介绍

Flume离线采集、实时采集、多路采集

Flume拦截器

Flume优化

离线数仓

某大型电商项目数据仓库介绍

数据仓库规范

数据粒度

数据仓库模型以及分层

建模介绍

维度建模（维度建模和范式建模）

事实、星座模型

数据需求分析介绍

数据应用操作

数据抽取

数据清洗

数据转化

数据加载

调度

Azkaban介绍

Azkaban系统结构

Azkaban定时案例

Azkaban性能优化

【师资简介】

大数据资深讲师 张老师

8年工作经验+教学经验，毕业于北京航空航天大学，大数据培训讲师，在工作场景当中从开发工程师到项目经理以及架构师等等，参与过多个大型项目背景，关系型数据库以及大数据有深入的研究，关系型数据库Oracle理论体系结构均有非常深厚的功底以及大数据Hadoop和spark有深入的研究。

教课心得：

场景教学，学以致用，善于将复杂的技术简单化，能引导学生更快捷的学习方式

Oracle Dba资深讲师 孙老师

教学：10年工作经验+教学经验，毕业于山东海洋大学，Oracle培训讲师，拥有大型OLTP系统数据库性能调优、实施、咨询经验，数据库崩溃灾难恢复经验。拥有多个大型项目开发、架构设计、集群经验，并针对很多项目进行运维。

参与多家互联网一线大厂亿级流量架构设计：从架构到底层全方位涉猎。

教课心得：

课堂实战均是项目中的模拟场景，以幽默风趣的方式表达出来。

【教学现场】

【学员心得】

经过几个月的学习,我收获了很多,也学到了很多,整个的学习体验总体来说还是比较好的。并且在前几周的比赛上,还侥幸地获得了一等奖。

经过乔老师的悉心教导以及高老师每天提醒上课和关心我们,我在这学习的一个月很开心,并且我对 大数据 的理解又高了一个层次 ,张老师讲的这些东西还是比较简单的。张老师一直把我当做“种子选手”,我自我觉得我不是很配,我只是比大家早学了一点东西而已,等大家的基础上去之后,我的优势也就没了。所以呢,以后我要更加努力的学习、打磨技术,把自己的优势保持住,多跟老师以及班里的技术大佬们请教。由于这个月讲的东西都比较基础,所以挑战性都比较小,调动不起斗志,希望以后的课程能够激发我的斗志,为每天枯燥的学校课程里增添一点“乐趣”。

【机构环境】

【机构简介】

“黑之猫”是一种文化符号，代表着神秘和智慧，在很多文化中，黑猫也代表着好运、幸运以及智慧等，象征着公司追求高品质、高效率和高智能的发展理念以及更广阔的职业发展前景。未来，存在无限可能。

济南黑之猫智能科技有限公司是专注于IT技术培训公司，公司目前在北京、济南等地均设有校区，致力于为客户提供高品质、高效率、更全面的培训数据库开发/ETL开发/大数据开发/Java开发的培训课程。我们以技术为核心，以客户为中心，不断追求卓越的业务品质和客户体验，以帮助学习者更好地了解较新的技术趋势和市场需求。

我们拥有一支高素质、专业的团队，他们具备丰富的行业经验和专业技能以及各大高校毕业，确保了我们能够为客户提供较优质的服务。

企业愿景和使命：

黑之猫将坚守以下价值观：

-创新：不断创新，追求卓越。

-合作：互相信任、互相尊重，实现双赢。

-品质：以客户为中心，坚持高品质。

-服务：客户至上，追求卓越的客户体验。

-团队：相信、支持、尊重和激励团队成员。