一、总体方案
1、针对学员
Ø 计算机专业大学专科或以上学历的在校学生(其余学员需通过培训前基础能力测试);
Ø 具有计算机编程语言基础知识,计划从事大数据处理工作的技术人员;
Ø 认识Linux系统,具有一定JAVA编程语言基础,了解数据库及SQL语法。
2、课程目标
以企业的技术和人才为依托,通过企业开发的课程、软件和实际案例,培养学生运用数学知识和统计软件分析解决实际问题及独立建模分析能力,锻炼学生成为企事业单位数据挖掘分析和大数据处理的中高级专业技术应用型人才。学员结业后将主要具有以下技能:
Ø 熟练掌握hadoop集群搭建;对Hadoop架构的分布式文件系统HDFS进行深入分析;
Ø 掌握hbase的数据存储及项目实战了解 ZooKeeper、Pig、Hive、Sqoop的安装、配置及使用场景;
Ø 全程项目式培训,扎实掌握Hadoop企业应用技能,相当于拥有3年工作经验。
3、课程总时长
8天理论工具课程加10天实践课程
4、培训时间和地点:
时间:2016年7月25日
地点:广州市科学城科珠路232号益民科技园
5、专业认证
培训班结束颁发《大数据工程师培训证书》。
学员经过学习锻炼后,可选择参加专业技术水平认证评审,经专家评审组评审合格的学员颁发“大数据工程师(CBDA)”证书。
6、学员就业
所有认证通过者100%推荐就业!
学员就业单位:从事数据统计及数据挖掘建模相关的企事业单位。
7、培训费用
8天理论工具课程+10天实践课程=10800元
支持助学贷款!
二、实施细则
1、课程安排
课程模块 | 课程主题 | 主要内容 | 案例和演示 |
模块一 | Hadoop框架及MapReduce编程 | 大数据简介 大数据应用场景 Hadoop概述 Hadoop安装和部署 Hadoop分布式文件系统HDFS HadoopMapReduce工作原理 Hadoop资源管理YARN HadoopMapReduce编程 Hadoop MapReduce高级编程 Hadoop 企业应用 | Hadoop构建联通大数据分析平台 Hadoop KMeans算法原理及编程实现Hadoop TF-IDF算法原理及编程实现 基于Hadoop的航空客户价值分析系统 |
模块二 | Hadoop生态系统介绍 | Hadoop HDFS 和 MapReduce Hadoop数据库之HBase Hadoop数据仓库之Hive Hadoop数据处理脚本Pig Hadoop数据接口Sqoop Hadoop工作流引擎 Oozie | |
模块三 | 使用Hive开发及技巧 | Hive基础 Hive的作用和原理说明 Hadoop仓库和传统数据仓库的协作关系 Hive 部署和安装 Hive Cli 的基本用法 HQL基本语法 | Hive 表关联 基于Hive航空客户价值分析平台数据预处理及查询 |
模块四 | 使用Pig开发及技巧 | Pig基础 Pig作用和原理 Pig部署和安装 Pig Latin语法简介Pig和Hive对比 | 运用Pig 过滤用户数据 |