大数据Hadoop系统开发最佳实践-易程培训-软件研发管理培训、咨询服务
首页 | 快捷通道:我是

关注的讲师:

分享到:
公开课
大数据Hadoop系统开发最佳实践

开课地点:北京
开课时间:2014-11-01至2014-11-03
课程费用:4600 元/人
课程简介:

课程背景

互联网企业和云计算服务企业每天都会产生大量的数据并面临高并发的严峻考验,传统的关系型数据库已经无法满足大数据量高并发的要求,何以解忧?Hadoop!我中心针对目前企事业单位信息技术研发人员对Hadoop大数据处理技术的紧迫需求,设计推出了Hadoop大型应用开发实战课程。

课程收益

  • 全面掌握Hadoop的架构原理和使用场景;
  • 全程项目实战训练;
  • 彻底掌握使用Hadoop进行MapReduce程序开发;
  • 熟悉分布式计算领域的常用算法;

培训对象

       软件工程师、数据库开发人员、网络后台开发人员、运维人员等。学员要求有一定的Java编程基础。

课程大纲

课程正常授课时间为3天,每天授课时间为上午9:00~12:00,下午13:30~16:30。

 

课程模块

课程主题

主要内容

案例和演示

模块一

Hadoop的来源和动机

1.传统大规模系统存在的问题

2.Hadoop概述

3.Hadoop分布式文件系统 

4.MapReduce工作原理 

5.Hadoop集群剖析

6.Hadoop生态系统对一种新的解决方案的需求

7.Hadoop的行业应用案例分析

8.Hadoop在云计算和大数据的位置和关系

数据开放,数据云服务平台时代

Hadoop平台在数据云平台上的天然优势

数据云平台(DAAS 平台)组成部分

互联网公共数据大云案例

Hadoop构建构建游戏云(Web Game Daas)平台

模块二

Hadoop简介和生态系统介绍

1.传统大规模数据分析存在的问题

2.Hadoop概述

3.Hadoop与分布式文件系统                 

4.Hadoop生态系统

5.Hadoop的行业应用案例分析

6.Hadoop在云计算和大数据的位置和关系

7.Hadoop版本介绍

8.Hadoop与Google FS的关系

9.Hadoop在国内的使用情况和未来

Hadoop在推荐领域的使用案例介绍

模块三

Hadoop安装和主要配置文件介绍

1.Hadoop安装所需软件介绍

2.Hadoop单机安装

3.Hadoop伪分布式安装

4.Hadoop完全分布式安装

5.Hadoop三个节点安装的配置介绍

6.Hahoop多节点ssh配置

7.Hadoop格式化详解

8.Hadoop核心配置文件介绍

9.核心配置文件core-site.xml

10.HDFS配置文件hdfs-site.xml

11.Mapreduce配置文件mapred-site.xml

12.master文件配置详解

13.slave文件配置详解

14.Hadoop启动和停止方法一

—start-all.sh详解

—stop-all.sh详解

15.Hadoop的启动和停止方法二

—hadoop-deamon.sh详解

16.Hadoop安装的常见错误介绍和解决方案

17.使用自带的wordcount和pi测试集群安装是否成功

18.使用Streaming来测试集群安装是否成功

Hadoop单机演示

Hadoop伪分布式演示

Hadoop完全分布式演示

Hadoop两种启动方式的演示

Hadoop安装常见错误的介绍和演示

Hadoop自带的wordcount和pi演示

Hadoop Streaming的案例演示

模块四

Hadoop组件介绍

1.Hadoop NameNode 介绍

2.Hadoop SecondaryNameNode 介绍

3.Hadoop DataNode 介绍

4.Hadoop JobTracker 介绍

5.Hadoop TaskTracker 介绍

 

模块五

MapReducer入门和高级开发实战

1.Mapreduce原理

2.MapReduce流程

3.剖析一个MapReduce程序

4.Mapper和Reducer抽象类详解

5.Mapreduce的最小驱动类

6.MapReduce自带的类型

7.自定义Writables和WritableComparables

8.Mapreduce的输入InputFormats

9.MapReduce的输出OutputFormats

10.自定义InputFormat

11.自定义InputSPlits

12.自定义RecorderReader

13.Combiner详解

14.Partitioner详解

15.DistributeFileSystem详解

16.Hadoop Tools工具介绍

17.Counter计数器详解

18.自定义Counter计数器

19.基于Hadoop二次开发实战

20.MapReduce的优化

21.Map和Reduce的个数设置

22.Hadoop小文件优化

23.任务调度

24.默认的任务调度

25.公平任务调度

26.能力任务调度

27.使用 Hadoop MapReduce Streaming 编程

28.MapReduce的单元测试

MapReduce实现海量数据比较大小案例

自定义Hadoop类型案例

自定义Partitioner案例

实现在内存随机生成100个数,分成两个Map来比较大小

自定义inputFormat和InputSplit和RecorderReader来实现MapReduce读取Redis里面的数据。

多文件输出和自动定义MapReduce的输出名

MapReduce实现Join算法案例

MapReduce实现海量文档相似度算法

自定义Counter案例实现

MapReduce实现Pangrank算法。

MapReduce单元测试:Map的单元测试测试、reduce单元测试和MapReduce整体的单元测试实战。

某公司使用MapReduce分析日志案例(10T数据以上)

MapReducer日志连续性验证

MapReduce加密解密

MapReduce索引倒排

配置公平调度器案例实战

 

模块六

Hadoop安全和性能优化

1.Hadoop的可伸缩性应用

2.Hadoop的线性伸缩性

3. Hadoop的最佳实战

4.Map/Reduce性能测试

5.HDFS的性能测试

6.Hadoop企业级架构

7.Hadoop的安全实战

8.Hadoop的运维知识总结

实战:

MapReduce性能测试案例实战,找出mapreduce的瓶颈和优化的参数

模块七

Sqoop介绍

1.Sqoop是什么

2.Sqoop安装

3.Sqoop把mysql数据导入HDFS

4.Sqoop把HDFS数据导入Mysql

5.Sqoop吧Mysql数据导入Hive

6.Sqoop吧Mysql数据导入Hive分区

Mysql、HDFS和HIVE之间数据转换的演示

 

 

 

讲师资料:


程老师

【基本情况】

中科院软件所架构师,通晓国际项目环境和设计模式,熟悉中国企业的软件项目管理实践。曾主持过中央电视台、信息产业部、北京商业银行等多个大型复杂项目的开发工作,培训客户包括西门子、摩托罗拉、联想集团、一汽集团等几百家企业,有着非常深厚的理论基础和丰富的实际工作经验。

主要关注方向:软件项目管理、需求管理、敏捷开发、软件设计模式、软件架构设计、软件测试、网络分布式计算、数据库、网络操作系统,精通J2EESQL、中间件服务器。在J2EE技术领域具有理论功底和实践经验。

【资质证书】
  • Sun认证SCJP、SCDP、SCWSD
  • BEA Weblogic Server系统管理员
  • 微软的MCSD
  • 微软的MCSE
【培训授课专长】
  • 软件项目管理、开发管理
  • 敏捷开发
  • 需求分析和需求管理
  • 软件设计模式
  • 软件构架设计
  • UML、OOAD
  • 构建企业级SOA应用系统
  • J2EE企业级高级应用开发
【技能】
  • 精通J2EE体系架构、设计模式
  • 精通JSP、Servlet、JavaBeans、EJB和Web Services的开发、测试以及Struts、JSF、Hibernate、Spring等开源框架的使用
  • 精通开发工具: Eclipse、 JBuilder等
  • 精通中间件服务器,如 WeblogicServer、Weblogic Portal、Websphere、JBoss、Tomcat的配置、管理、性能调优
  • 精通基于IBM、BEA产品的SOA解决方案实现
  • 精通J2EE项目开发流程各个环节:从开发团队的搭建、管理和项目的管理和风险控制等
  • 精通Oracle、MS SQL Server、MySQL数据库的开发和管理
【近期授课的企业和课程】
  • 西门子中国研究院的软件项目管理
  • 诺基亚西门子研发中心的敏捷开发
  • 深圳卓望数码的软件项目管理
  • 深圳晨星科技的敏捷开发
  • 广东发展银行的敏捷开发
  • 大庆油田勘探研究院的敏捷开发
  • 完美时空网络有限公司的软件项目管理
  • 西门子中国研究院讲UML和OOAD
  • 中国移动设计研究院基于需求分析和软件架构设计
  • 航空工业集团设计院讲需求分析、UML、OOAD
  • 深圳富士康科技集团需求分析和软件架构设计、软件项目管理
  • 中国石化集团公司的SOA
  • 铁道部信息中心讲UML、weblogic、需求分析、架构设计
  • 航天信息集团的UML、OOAD
  • 神州数码的J2EE和weblogic
  • 鄂尔多斯集团需求分析、软件架构设计
  • 中国农业发展银行的J2EE架构设计、软件项目管理
  • 上海电信研究院的软件架构设计
  • 摩托罗拉中国软件中心的J2EE、Weblogic Server开发
  • 富士通软件(中国)有限公司的详细设计实践
【近期主持的软件项目】
  • 中国移动Mobile Market项目(使用敏捷方法开发的项目)
  • 中科院三明治空间抽样和统计分析软件(使用敏捷方法开发的项目)
  • 北京市商业银行内部信息系统
  • 中央电视台通用信息系统
  • 南京中兴电信工单系统
  • 中央电大教务管理系统项目
  • 国家某部委内部综合业务系统(涉密)
  • 新华人寿银宝通业务系统
  • 鄂尔多斯集团分销物流系统
  • 内蒙古汇能集团生产物料管理系统
  • 北京国电中能公司能源基础信息管理系统
  • 北京国电中能公司企业门户站点系统
  • 中国建设银行软件系统安全集中业务
  • 中国农业发展银行基于SOA的OCR新增值业务系统
  • 中国建设银行特色业务集成项目
  • 北京汉王科技基于SOA的WebOCR系统

 



易程培训长期致力于面向软件研发团队的培训与咨询专业机构,专注于软件研发中心快速成长,提升软件研发团队技能、改善研发流程及研发产品创新能力。分享行业软件研发团队最佳管理实践,致力成为中国最专业权威的IT高端技术专业培训机构!

销售服务热线 010-56106823- CopyRight © 2009-2018 易程培训

京ICP备12043667号-1