Spark大数据处理与案例分析-易程培训-软件研发管理培训、咨询服务
首页 | 快捷通道:我是

关注的讲师:

分享到:
企业内训
Spark大数据处理与案例分析

课程目标

本课程将为大家全面而又深入的介绍Spark、Hadoop平台的构建流程,涉及Spark、系统基础知识,概念及架构, Spark实战技巧,Spark经典案例等。

通过本课程实践,帮助学员对Spark生态系统有一个清晰明了的认识;理解Spark、系统适用的场景;掌握Spark等初中级应用开发技能;搭建稳定可靠的Spark集群,满足生产环境的标准;了解和清楚大数据应用的几个行业中的经典案例,包括阿里巴巴等

 

培训特色

本课程将分别从理论基础知识,系统搭建以及应用案例三方面对spark进行介绍。

采用循序渐进的课程讲授方法,首先讲解Spark系统基础知识,概念及架构,之后讲解Spark实战技巧,最后详尽地介绍Spark经典案例,使培训者从概念到实战,均会有收获和提高。

 

培训大纲(3天课程)

课程模块

课程主题

主要内容(内容可以根据学员的要求可以现场调整)

模块一

Spark
生态介绍

¬ Mapreduce、storm和spark模型的比较和使用场景介绍
¬ Spark产生背景
¬ Spark(内存计算框架)
¬ SparkSteaming(流式计算框架)
¬ Spark SQL(ad-hoc)
¬ Mllib(MachineLearning)
¬ GraphX(bagel将被代)
¬ DlinkDB介绍
¬ SparkR介绍

 

模块二

Spark
安装部署

¬ Spark安装简介
¬ Spark的源码编译
¬ Spark Standalone安装
¬ Spark应用程序部署工具spark-submit
¬ Spark的高可用性部署

 

模块三

Spark
运行架构和解析

¬ Spark的运行架构
• 基本术语
• 运行架构
• Spark on Standalone运行过程
• Spark on YARN 运行过程
¬ Spark运行实例解析
• Spark on Standalone实例解析
• Spark on YARN实例解析

• 比较 Standalone与YARN模式下的优缺点

模块四

Spark
scala编程

• Scala基本语法与高阶语法

• Scala基本语法
• Scala开发环境搭建
• Scala开发Spark应用程序
• 使用java编程
• 使用scala编程
• 使用python编程

模块五

Spark
编程模型和解析

¬ Spark的编程模型
• Spark编程模型解析
• RDD的特点、操作、依赖关系
• Spark应用程序的配置

•  Spark的架构

•  spark的容错机制

•   数据的本地性

•   缓存策略介绍

宽依赖与窄依赖

 

模块六

Spark 数据挖掘

¬ Mllib的介绍
¬ graphX核心原理
¬ table operator和graph operator区别
¬ vertices、edges和triplets介绍
¬ 构建一个graph
¬ SparkR原理
¬ SparkR实战

 

模块七

Spark Streaming原理和实践

¬ Spark Streaming与Strom的区别
¬ Kafka的部署
¬ Kafka与Spark Streaming的整合
¬ Spark Streaming原理
• Spark流式处理架构
• DStream的特点
• Dstream的操作和RDD的区别

• 带状态的transformation与无状态transformation
• Spark Streaming的优化
¬ Spark Streaming实例

•  Streaming的容错机制

•  streaming在yarn模式下的注意事项

对于需结合第三方存储机制的与流式处理方案
• 文本实例
• 网络数据处理
• Kafka+Spark Streaming实现日志的实时分析案例

 

模块八

Spark的优化

¬ 序列化优化——Kryo
¬ Spark参数优化实战
¬ Spark 任务的均匀分布策略
¬ Partition key倾斜的解决方案
¬ Spark任务的监控
¬ GC的优化
¬ Spark Streaming吞吐量优化
¬ Spark RDD使用内存的优化策略
¬ Spark在使用中的感想分享

 

模块九

Spark的数据源

¬ Spark与HDFS的整合
¬ HDFS RDD原理和实现
¬ Spark与Hbase的整合
¬ Spark与Cassendera整合
¬ Hbase RDD的分区读取
¬ Hbase RDD的原理和实现
¬ Spark parallelism RDD的工作机制

 

模块十

Spark Streaming应用及案例分析

¬ Spark Streaming产生动机
¬  Spark Streaming程序设计
(1)创建DStream
(2)基于DStream进行流式处理
¬ Spark Streaming容错与性能优化
(1)Spark Streaming容错机制
(2)如何对spark Streaming进行优化
¬  Spark Streaming案例分析
基于Spark Streaming的用户标签系统,内容包括项目背景,项目架构以及实施方法

 

模块十一

典型项目
案例实战

¬ 基于spark日志分析
¬ 个性化推荐系统:带你揭开其神秘面纱
¬ 在线投放引擎
¬ 揭开淘宝点击推荐系统的神秘面纱
¬ 淘宝数据服务架构—实时计算平台

 

 

 

 



易程培训长期致力于面向软件研发团队的培训与咨询专业机构,专注于软件研发中心快速成长,提升软件研发团队技能、改善研发流程及研发产品创新能力。分享行业软件研发团队最佳管理实践,致力成为中国最专业权威的IT高端技术专业培训机构!

销售服务热线 010-56106823- CopyRight © 2009-2018 易程培训

京ICP备12043667号-1