Hadoop大数据平台开发与案例分析实战培训班

Hadoop大数据平台开发与案例分析实战培训班

Hadoop大数据平台开发与案例分析实战培训班 【课程介绍】 （1）培训架构： 本课程分为三个主要部分： 部分：重点讲述大数据技术在的应用，使学员对大数据技术的广泛应用有清晰的认识，在这环节当中会重点介绍Hadoop技术在整个大数据技术应用中的重要地位和应用情况。第二部分：具体对hadoop技术进行模块化分拆，从大数据文件存储系统技术和分布式文件系统平台及其应用谈起，介绍Hadoop技术各主要应用工具和方法，以及在运维维护当中的主流做法，使学员全面了解和掌握Hadoop技术的精华。第三部分：重点剖析大数据的应用案例，使学员在案例当中对该项技术有更深入的感观印象 （2）设计思路： 本课程采用模块化教学方法，以案例分析为主线，由浅入深、循序渐进、由理论到实践操作进行设计。

（3）与企业的贴合点： 本课程结合企业转型发展及大数据发展战略，围绕企业大数据业务及行业应用市场拓展发展目标，重点讲授Hadoop的应用技术，提升企业IT技术人员的开发和运维能力，有很强的贴合度。【 培训对象】 业务支撑建设维护室、业务维护室、经营分析室人员；网络部、网管中心、网优中心从事大数据相关工作的人员 【培训目标】 掌握大数据处理平台（Hadoop、Spark、Storm）技术架构、以及平台的安装部署、运维配置、应用开发；掌握主流大数据Hadoop平台和Spark实时处理平台的技术架构和实际应用；利用Hadoop+Spark对行业大数据进行存储管理和分析挖掘的技术应用；

讲解Hadoop生态系统组件，包括Storm，HDFS，MapReduce，HIVE，HBase，Spark，GraphX，MLib，Shark， ElasticSearch等大数据存储管理、分布式数据库、大型数据仓库、大数据查询与搜索、大数据分析挖掘与分布式处理技术 【培训内容】 模块一 移动互联网、大数据、云计算相关技术介绍 数据中心与云计算技术应用 智慧城市与云计算技术应用 移动互联网、大数据与云计算关联技术 移动云计算的生态系统及产业链 大数据技术在运营商、金融业、银行业、电子商务行业、零售业、制造业、政务信息化、互联网、教育信息化等行业中的应用实践 国内外主流的大数据解决方案介绍 当前大数据解决方案与传统数据库方案的剖析比较 Cloudera Hadoop 大数据平台方案剖析 开源的大数据生态系统平台剖析 模块二 大数据的挑战和发展方向 大数据时代的挑战 大数据时代的发展方向 大数据挖掘在各行业应用情况 模块三 大数据文件存储系统技术和分布式文件系统平台及其应用 Hadoop的发展历程 分布式文件系统HDFS 分布式文件系统HDFS架构及原理 分布式文件系统HDFS操作 Hadoop生态系统组件 模块四 Hadoop文件系统HDFS佳实战 HDFS的设计 HDFS的概念 命令行接口 Hadoop文件系统 Java接口 数据流 通过Flume和Sqoop导入数据 通过distcp并行复制 Hadoop存档 模块五 Hadoop运维管理与性能调优 第二代大数据处理框架 集群配置管理 HDFS的静态调优技巧 模块六 NOSQL数据库Hbase与Redis NOSQL基础 HBase分布式数据基础 安装Hbase Hbase应用 Base分布式数据库简介、发展历程、应用场景、工作原理、以及应用优势与不足之处 Redis内存数据库介绍，以及业界应用案例 模块七 类SQL语句工具——Hive 安装Hive 示例 运行Hive Hive与传统数据库相比 HiveQL 表 查询数据 用户定义函数 模块八 数据挖掘SPARK建模基础介绍 Spark简介 Spark架构 Spark集群的安装与部署 Spark硬件配置 模块九 Kafka基础介绍 Kafka介绍 kafka体系结构 kafka设计理念简介 kafka通信协议 kafka的伪分布安装、集群安装 kafka的shell操作、java操作 kafka设计理念* kafka producer和consumer开发 Kafka分布式消息订阅系统的应用介绍、平台架构、集群部署与配置应用实战 Flume-NG数据采集系统的数据流模型、平台架构、集群部署与配置应用实战 Hadoop与DBMS之间数据交互工具Sqoop的应用实践， Sqoop导入导出数据以及Sqoop集群部署与配置 Kettle 集群的平台架构、核心技术、部署配置和应用实战 利用Sqoop实现 MySQL 与 Hadoop 集群之间 模块十 大数据典型应用与开发案例分析：互联网数据运营 案例1：贵州数据交易中心 案例2：大数据应用案例：公共交通线路的智能规划 讨论：浙江移动大数据应用与开发方向 模块十一 当前数据中心的改造和转换分析-以国内外运营商、互联网公司为例 流商业大数据解决方案比较 主流开源云计算系统比较 国内外代表性大数据平台比较 各厂商新的大数据产品介绍 案例分析 【课程安排】 【师资介绍】 张老师 阿里大数据专家，国内的Spark、Hadoop技术专家、虚拟化专家，对HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生态系统中的技术进行了多年的深入的研究，更主要的是这些技术在大量的实际项目中得到广泛的应用，因此在Hadoop开发和运维方面积累了丰富的项目实施经验。

近年主要典型的项目有：某电信集团网络优化、中国移动某省移动公司请账单系统和某省移动详单实时查询系统、中国银联大数据数据票据详单平台、某大型银行大数据记录系统、某大型通信运营商全国用户上网记录、某省交通部门违章系统、某区域医疗大数据应用项目、互联网公共数据大云(DAAS)和构建游戏云(Web Game Daas)平台项目等。【颁发证书】 参加相关培训并通过考试的学员，可以获得： 工业和信息化部颁发的-《HADOOP大数据》技能证书。该证书可作为专业技术人员职业能力考核的证明，以及专业技术人员岗位聘用、任职、定级和晋升职务的重要依据。注：请学员带一寸彩照2张（背面注明姓名）、身份证复印件一张。

开班信息

校区地址

学校相册

看过的人还关注了

北京IT项目管理最佳实践培训班北京软件架构与案例分析最佳实践培训班北京微服务架构设计与实战高级培训班深圳大数据卓越需求分析与管理最佳实践培训班北京互联网大型高可用高并发架构设计培训班北京 Spark大数据处理与分析高级工程师培训班

读书保障