|
课程名称：Cloudera认证 Apache Hadoop程序员
课程内容： 一、 Hadoop动机 1. 传统大规模系统问题 2. 引入Hadoop 3. Hadoop可以处理的问题 二、 Hadoop基本概念和HDFS 1. Hadoop项目和Hadoop组件 2. Hadoop分布式文件系统 三、 Mapreduce介绍 1. Mapreduce概况 2. 例子：WordCount 3. Mappers 4. Reducers 四、 Hopdoop集群和Hadoop生态系统 1. Hadoop集群概况 2. Hadoop工作和任务 3. 其他Hadoop生态系统组件 五、 用Java写Mapreduce程序 1. Mapreduce API基本概念 2. 用JAVA编写Mapreduce驱动，Mappers,Reducers 3. 用Eclipse来加快Hadoop开发 4. 新旧Mapreduce API的区别 六、 用Streaming API写Mapreduce程序 1. 用Streaming API写Mappers和Reducers 七、 Mapreduce程序的单元测试程序 1. 单元测试 2. Junit和MRUnit测试框架 3. 采用MRUnit辩词额单元测试 4. 运行单元测试 八、 Hodoop API的深度钻研 1. 使用ToolRunner类 2. 建立和拆除Mappers和Reducers 3. 用Combiners来降低中间结果数据量 4. 以编程方式访问HDFS 5. 使用分布式缓存 6. 使用Mappers,Reducers和Paetitioners的Hadoop API库 九、 实践性开发窍门和技手术 1. 调试MapReduce代码策略 2. 利用LocalJobRunner在本地测试MapReduce代码 3. 编写和查看日志文件 4. 通过计数器检索作业信息 5. 对象复用 6. 创建只有Map的MapReduce作业 十、 Partitioners和Reducers 1. Partitioners和Reducers如何一起工作 2. 作业最佳 Reducer数量的调优 3. 定制化partitioners 十一、 数据输入和输出 1. 定制Waritable和WaritableComparable 2. 用SequenceFile和Avro数据文件存储二进制数据 3. 使用文件压缩时要考虑的问题 4. 定制InputFormats和OutputFormats 十二、通过MapReduce算法 1. 对海量数据的排序和搜索 2. 索引数据 3. 计算词频—逆文档频率 4. 计算单词共现频率 5. 执行二级排序 十三、 MapReduce作业中实现不同数据集的连接操作 1. 编写Map端的连接操作 2. 编写Reduce端的连接操作 十四、 集成Hodoop到企业工作流程 1. 集成Hodoop进现有企业系统 2. 使用Sqoop将数据从关系数据库装载到HDFS 3. 用Flume处理实时数据 4. 利用FuseDFS和HttpFS从传统的系统访问HDFS 十五、 Hive，Impala和Pig介绍 1. Hive，Impala和Pig的动机 2. Hive概述 3. Impala概述 4. Pig概述 5. 在Hive，Impala和Pig间选择 十六、Oozie介绍 1. Oozie介绍 2. 创建Oozie工作流 十七、 结论 联系人秦老师：025-68592355 it培训 南京柯普瑞 | |
