​济南大数据开发工程师培训班

​济南大数据开发工程师培训班 【课程名称】 大数据开发工程师 【课程大纲】 L INUX 基本命令 常见配置文件 文件操作命令和权限 安装软件 Shell脚本 AWK和sed脚本 内核加载流程 Docker介绍和操作 服务器调优项 分布式存储 Hadoop概述 HBase背景、简介以及系统架构和原理 HBase逻辑模型：行键、列族、timeStamp，HBase物理模型。

HBase环境搭建：伪分布式安装、完全分布式安装 HBase Shell 、HBase客户端API 、HBase表结构设计 HBase之Mapreduce、HDFS数据导入HBase HBase二级索引、WAL机制、HBase集群迁移方案、导入方案、协处理器 HBase性能调优：JVM优化、查询优化、写优化、配置参数优化 Zookeeper Zookeeper概述 Zookeeper系统架构 Zookeeper数据模型 Zookeeper写数据流程 Zookeeper安装部署 Zookeeper中shell操作 Zookeeper选举机制 Zookeeper监听操作 Zookeeper 分布式锁实践 Zookeeper应用场景 API操作 Y ARN YARN介绍 YARN系统架构 YARN作业提交流程 YARN三种调度策略 YARN队列配置 YARN的Node Label机制 Map R educe MapReduce介绍 MapReduce基础案例 MapReduce分片 MapReduce运行流程及shuftle MapReduce案例 MapReduce相关参数 S cala Scala介绍 Scala基础语法 数组和集合 泛型 隐式转换 IO操作 Spark Spark概述、整体架构、Spark vs Mapreduce 、Spark vs Hive 、Spark Streaming vs Storm等 Spark 环境搭建：hive搭建、kafka搭建、安装apark Spark 核心编程：基本工作原理、RDD弹性数据集 开发wordcount程序 Spark 创建RDD、各种算子操作(Transformation、Actions)、共享变量(广播、累加) 复杂一些的Spark编程：排名、二次排序、TopN分析 Spark架构分析：宽窄依赖、基于YARN的提交模式、SparkContext原理剖析、注册机制原理、Executor原理剖析、Task原理剖析、shuffer优化、BlockManager原理剖析、CacheManager原理剖析、Checkpoint原理剖析等 Spark Core调优：内存、判断耗时、优化数据结构、RDD与checkpoint、序列化、JVM、提高并行度、广播共享等 SparkSql 概述、Spark SQL与DataFrame 常用操作 RDD转换DataFrame的两种方式：反射方式、编程方式 通用的load和save操作 数据源：Parquet数据源、JSON数据源、Hive数据源、JDBC数据源 各种复杂案例 Spark Streaming 简介概述 与storm和spark对比、helloword StreamingContext、DStream与Receiver DStream基于数据源与HDFS的实时程序 DStream之Kafka数据源、Direct模式 、Transformation操作、与SparkSQL结合使用 Hive Hive背景、介绍 Hive环境安装：内嵌模式、独立模式 Hive 的DDL Hive 的 DML Hive常见内置函数 Hive高级数据类型 Hive窗口函数 Hive自定义函数（UDF、UDAF、UDTF） Hive 分区表、桶操作 Hive数据装载与导出 Hive动态分区、Hive高级查询、Hive索引、Hive视图 Hive之IO负载策略、HIVE sql优化、压缩、分布式缓存 数据采集 Sqoop介绍 Sqoop导入和导出命令 Sqoop增量和全量操作 Sqoop优化 Flume介绍 Flume离线采集、实时采集、多路采集 Flume拦截器 Flume优化 离线数仓 某大型电商项目数据仓库介绍 数据仓库规范 数据粒度 数据仓库模型以及分层 建模介绍 维度建模（维度建模和范式建模） 事实、星座模型 数据需求分析介绍 数据应用操作 数据抽取 数据清洗 数据转化 数据加载 调度 Azkaban介绍 Azkaban系统结构 Azkaban定时案例 Azkaban性能优化 【师资简介】 大数据资深讲师 张老师 8年工作经验+教学经验，毕业于北京航空航天大学，大数据培训讲师，在工作场景当中从开发工程师到项目经理以及架构师等等，参与过多个大型项目背景，关系型数据库以及大数据有深入的研究，关系型数据库Oracle理论体系结构均有非常深厚的功底以及大数据Hadoop和spark有深入的研究。

教课心得： 场景教学，学以致用，善于将复杂的技术简单化，能引导学生更快捷的学习方式 Oracle Dba资深讲师 孙老师 教学：10年工作经验+教学经验，毕业于山东海洋大学，Oracle培训讲师，拥有大型OLTP系统数据库性能调优、实施、咨询经验，数据库崩溃灾难恢复经验。拥有多个大型项目开发、架构设计、集群经验，并针对很多项目进行运维。参与多家互联网一线大厂亿级流量架构设计：从架构到底层全方位涉猎。教课心得： 课堂实战均是项目中的模拟场景，以幽默风趣的方式表达出来。【教学现场】 【学员心得】 经过几个月的学习,我收获了很多,也学到了很多,整个的学习体验总体来说还是比较好的。并且在前几周的比赛上,还侥幸地获得了一等奖。

经过乔老师的悉心教导以及高老师每天提醒上课和关心我们,我在这学习的一个月很开心,并且我对 大数据 的理解又高了一个层次 ,张老师讲的这些东西还是比较简单的。张老师一直把我当做“种子选手”,我自我觉得我不是很配,我只是比大家早学了一点东西而已,等大家的基础上去之后,我的优势也就没了。所以呢,以后我要更加努力的学习、打磨技术,把自己的优势保持住,多跟老师以及班里的技术大佬们请教。由于这个月讲的东西都比较基础,所以挑战性都比较小,调动不起斗志,希望以后的课程能够激发我的斗志,为每天枯燥的学校课程里增添一点“乐趣”。【机构环境】 【机构简介】 “黑之猫”是一种文化符号，代表着神秘和智慧，在很多文化中，黑猫也代表着好运、幸运以及智慧等，象征着公司追求高品质、高效率和高智能的发展理念以及更广阔的职业发展前景。

未来，存在无限可能。济南黑之猫智能科技有限公司是专注于IT技术培训公司，公司目前在北京、济南等地均设有校区，致力于为客户提供高品质、高效率、更全面的培训数据库开发/ETL开发/大数据开发/Java开发的培训课程。我们以技术为核心，以客户为中心，不断追求卓越的业务品质和客户体验，以帮助学习者更好地了解较新的技术趋势和市场需求。我们拥有一支高素质、专业的团队，他们具备丰富的行业经验和专业技能以及各大高校毕业，确保了我们能够为客户提供较优质的服务。企业愿景和使命： 黑之猫将坚守以下价值观： -创新：不断创新，追求卓越。-合作：互相信任、互相尊重，实现双赢。-品质：以客户为中心，坚持高品质。-服务：客户至上，追求卓越的客户体验。-团队：相信、支持、尊重和激励团队成员。

开班信息

校区地址

学校相册

看过的人还关注了

济南Oracle数据库培训班详询济南python培训课程详询

读书保障