成都大数据课程

成都大数据课程【课程内容】潮流技能颠覆性课程拒绝用老掉牙的淘汰项目练手要做就做前沿覆盖大数据行业主流技术岗位，课程半年升级一次，紧跟市场与企业步伐一、大数据入门基础课程 1.JavaSE 2.MySQL 3.JDBC 4.Linux 5.shell 6.HTML 7.CSS 8.JavaScript 9.JSP 10.Servlet 二、大数据Hadoop基础 1.大数据概论 2.Hadoop框架 3.HDFS分布式文件系统 4.MapReduce计算模型 5.全真实训项目三、大数据离线分析 1.Hive数据仓库 2.Sqoop ETL工具 3.Azkaban工作流引擎 4.Ooize 5.Impala 6.全真实训项目四、大数据实时计算 1.Zookeeper分布式协调系统 2.HBase分布式数据库 3.Redis数据库 4.mogDB数据库 5.Kudu列式存储系统 6.Storm实时数据处理平台 7.Kafka分布式发布订阅消息系统 8.Flume海量日志采集系统 9.全真实训综合项目五、Spark数据计算 1.Scala 2.Spark 3RDD 4.Spark SQL 5. Streaming 6. Mahout 7.MLlib 8.GraphX 9.Spark R 10.Python 11.Alluxio 12.Python爬虫 13.ElasticSearch 14.Lucene 【实战项目】 1.Hadoop基础实战项目项目名称：搜狗搜索日志分析系统数据体量：5000W+/日硬件环境：Hadoop集群 12台软件环境：Hadoop2.5.2+Hive1.2.1+MR+Oracle10g 项目描述：搜狗每天产生大量的日志数据，从日志数据里面能提取到有用的数据包括每个用户的ID、浏览次数、月/日浏览频率、访问源、浏览内容等等，提取这些内容、统计数据分析每个用户行为，从而做出有利的决定。

2.大数据离线实战项目项目名称：新浪微博数据分析系统日均数据体量：3GB+ 硬件环境：Hadoop集群 50台软件环境：MapReduce+HBase0.98.9+Storm0.9.6+Hadoop2.5.2+Kafka2.10+Zooke eper3.4.5+CentOS-6.5-X86 项目描述：此次项目我们需要处理微博产生的数据，通过对数据的处理得到所需的数据，微博拥有大量的用户，大量的用户潜在的价值是巨大，怎么挖掘这些潜在的宝藏就是我们项目直接的目的，为了能够实时的进行数据处理使用Storm流式计算系统，和HBase、Zookeeper、Kafka组成框架，对数据进行处理，当然这些都是建立在hadoop集群上实现的，底层的存储还是HDFS。

3.大数据实时全真项目项目名称：网络流量流向异常账号统计项目数据体量：每天1000亿，每秒峰值100 000 硬件环境：Hadoop集群 600台软件环境：Hadoop2.5.2+Hive1.2.1+MR+Oracle10g 项目描述：运营商骨干网上采集现网流量流向信息，根据这些原始信息检测账号是否存在异常，如果多个终端使用同一个宽带账号，超过一定阈值则触发报警机制，例如阈值为5时，同一个账号同时连接的终端数量不能超过该值，如果超过则报警。

4.Spark阶段项目项目名称：京东网上商城数据统计分析平台数据体量：5000W+/日硬件环境：centos-6.5-x86 集群：spark standalone(Master-1,Worker-3) 软件环境：hadoop,spark,hive,mysql,idea,navicat,kafka,flume 每日处理的数据量：3GB 项目描述：基于京东网上商城数据统计分析平台--该项目采用了目前大数据领域非常流行的技术——Spark。本项目使用了Spark技术生态栈中常用的三个技术框架，Spark Core、Spark SQL和Spark Streaming，进行离线计算和实时计算业务模块的开发。实现了包括:统计和分析UV、PV、登录、留存、热门商品离线统计、广告流量实时统计3个业务模块。

【教学优势】来自清华、北大、北航的实战讲师和上市企业的骨灰级大咖授课根据企业需求设计课程，并且定期更新，引入新技术配备了价值上百万的开发服务器，可实时感受分布式开发和云计算等 16小时老师全程陪伴，不怕学不会线上线下结合，可以无缝衔接学员管理以人为本，不忘初心，致力培养眼界高、技术牛、做人好的职场员工。【师资介绍】北航软件工程硕士,16年软件架构开发经验,曾就职于东软、DNS等知名企业,新东方、达内前教学总监,精通JAVAEE、JAVA框架、Oracle数据库,知名企业培训大咖。毕业于北京大学，12年以上JAVA企业项目架构和开发经验。曾在二炮科技处、UPS科技、日本UCI科技等多家知名企业担任过项目经理和研发总监