适用对象

1.毕业或即将毕业的学生；

2.在工作中想转大数据开发的在职人员；

3.在工作中需要用到并快速进入开发状态的人员；

4.为了拓展技术知识面的开发人员或项目经理；

学习目标

达到大型企业用人标准

课程亮点

hadoop作为大数据存储与批处理的利器，在数据海量的行业比如：电信、保险、金融、互联网、政府等公司都有大量应用。 但是，仅靠hadoop自身还不行，还需要大量的围绕hadoop而生的外围框架如HBase、Hive等，我们课程中都进行了详细并深入原理机制讲解。 通过后期的大数据实战项目的训练则具备实际开发经验，完全和公司开发一样。hadoop应用于海量数据的处理，但是在现代快节奏的生活中数据要求实时的海量处理，那么我们在大数据课程中会重点的学习storm和spark课程，既保证了hadoop的技术又保证了现在比较流行和先进的流式海量处理技术。

1. 通过自有经典、高效的大数据课程体系让学员更快、更深入的掌握大数据技术及项目实战经验。

2. 由浅入深课程安排，让学员潜移默化全面掌握并能承担大数据开发。

3. 讲师具有大数据从业6年大数据开发，长期在项目一线承担大数据架构和管理工作。

4. 通过课程和讲师结合：让学员能够在课程周期能具有大数据实战能力。

课程内容

【第一阶段】Linux课程：
centos linux镜像、桌面环境、shell环境、文件系统操作、网络管理、虚拟机与linux的通信设置、进程管理、软件管理、环境变量配置、ssh管理、防火墙管理、调度管理等。

【第二阶段】hadoop课程：
核心组成介绍、hdfs/mapreduce体系结构、Hadoop集群结构、详细安装步骤、通过命令行和浏览器观察hadoop等；Hdfs/NameNode/DataNode/SecondaryNameNode体系结构、hadoop的HA及和Zookeeper的关系、block的划分原理和存储方式、修改namenode、datanode数据存储位置、操纵hdfs、使用java操作hdfs、rpc机制、hdfs的多种文件及压缩等； Mapreduce原理及执行的八大步骤、mapreduce实现单词计数功能、覆盖Mapper/Reducer功能、Writable接口、自定义hadoop类型、输入来源处理器、输出来源处理器、读取hdfs文件等；mapreduce，讲解计数器、combiner、partitioner、排序算法、分组算法等全部知识。

【第三阶段】zookeeper课程：
zookeeper集群环境、命令行操作、java操作、zookeeper和hadoopp生态环境中的应用。

【第四阶段】HBase课程：
Hbase的概述、数据模型、表设计、伪分布式和集群安装、shell操作、JavaAPI操作、数据迁移、数据备份及恢复、Hive使用、集群管理、性能调优。

【第五阶段】Hive课程：
Hive的体系结构、安装、导入数据、导出数据、学习分区导入、增量导入、优化导入过程 、Hive查询语句、单行函数、聚合函数、表函数、自定义函数、Hive操作普通文件格式、Hive的性能调优、广电项目的日志导入服务器通过Hive进行分析。

【第六阶段】Sqoop2课程：
Sqoop2概述、Sqoop2把mysql中的数据导入到hdfs中、Sqoop2把hdfs中的数据导出到mysql中、Job化Sqoop2。

【第七阶段】Flume课程：
Flume是什么、Flume的体系结构、agent配置信息、动态监控文件夹中文件变化、数据导入到hdfs中、通过flume动态监控广电日志文件变化，导入到hdfs中。

【第八阶段】Kafka课程：
kafka是什么、体系结构、安装、存储策略、发布与订阅、Zookeeper协调管理、和Spark Streaming的综合应用。

【第九阶段】Redis课程：
redis特点、与其他数据库的比较、安装redis、使用命令行客户端、字符串类型、散列类型、列表类型、集合类型、使用java访问redis、事务、管道、持久化、优化、主从复制、sentinel高可用、redis3.x集群安装配置。

【第十阶段】Scala课程：
Scala的解释器、变量、常用数据类型、条件表达式、输入输出、循环等控制结构、函数、默认参数、变长参数、数组、变长数组、多维数组、映射、元祖等操作、类、对象、单例对象、伴生对象、扩展类、apply方法、包、引入、继承等概念、特质、操作符、高阶函数、集合。

【第十一阶段】Spark课程：
Spark入门，与Hadoop的比较、环境搭建、完成单词计数、缓存策略、transformation和action、容错机制、核心组件、各种RDD、流计算、与Kafka结合、使用低阶Api控制kafka数据读取。

【第十二阶段】Spark Mllib课程：
Spark Mllib体系结构介绍、Spark Mllib如何在推荐、分类、聚类领域中使用。

【第十三阶段】CM+CDH集群管理课程：
CM + CDH集群的安装、CM主机及各种服务组件的管理、CDH集群的配置和参数调优、CDH集群HA配置及集群升级、CM的监控管理、集群管理的注意事项。