|
|
本站资源全部免费,回复即可查看下载地址!
您需要 登录 才可以下载或查看，没有帐号？立即注册
x
适应人群：
有Java开发经验或Scala开发经验，较好了解Hadoop,Hive等使用经验。课程对于Spark初学者，Spark开发人员及Spark运维人员都具有比较大的学习价值。
课程目标：
深入理解Spark的运行原理
学会搭建Spark,hadoop集群环境
完全掌握Spark编程基础，了解Spark运维的基础知识
完成大数据入门，可逐渐转岗大数据相关职位。
课程环境:
准备环境：CentOS,eclipse或IntelliJ IDEA, Scala,JDK,Maven,sbt,Hadoop,hive，建议三台虚拟机。
课程简介：
本课程将会结合精典案例讲解Spark Job的整个生命周期，以及如何划分Stage，如何生成逻辑执行计划和物理执行计划。从Hash Shuffle到Sort Shuffle再到Tungsten Sort Shuffle详细分析Spark Shuffle机制的原理与演进，同时结合Yarn分析Spark的内存模型以及如何进行相关调优，其中两节课主要介绍Spark Streaming使用方式，分析通用流式处理系统的关键问题以及Spark Streaming对相应问题的解决方案，如窗口，乱序，Checkpoint等，并分析Spark Streaming与Storm和Kafka Stream各自的优缺点和适用场景。
最后将结合源码分析Spark SQL的原理，以及实现SQL引擎的一般方法，介绍如何进行Spark SQL性能优化。并结合大量真实案例，分析如何解决数据倾斜问题从而提高应用性能。
下载地址:
|
温馨提示：
1、本站所有内容均为互联网收集或网友分享或网络购买,本站不破解、不翻录任何视频!
2、如本帖侵犯到任何版权问题，请立即告知本站，本站将及时予与删除并致以最深的歉意!
3、本站资源仅供本站会员学习参考,不得传播及用于其他用途,学习完后请在24小时内自行删除.
4、本站资源质量虽均经精心审查,但也难保万无一失,若发现资源有问题影响学习请一定及时点此进行问题反馈,我们会第一时间改正!
5、若发现链接失效了请联系管理员,管理员会在2小时内修复
6、如果有任何疑问,请加客服QQ:1300822626 2小时内回复你!
|
[复制链接]
发表于 2017-11-26 01:19:53
发表于 2018-6-19 13:17:22
发表于 2018-9-14 20:38:11
