dmz社区

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 47904|回复: 182

[Spark/Scala] Spark Streaming实时流处理项目实战

  [复制链接]

该用户从未签到

21

主题

7903

帖子

1035

积分

终身会员[A]

Rank: 7Rank: 7Rank: 7

积分
1035

发表于 2018-3-2 02:41:06 | 显示全部楼层 |阅读模式

本站资源全部免费,回复即可查看下载地址!

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
171234xnwwkpnea5aznkrp.jpg 第1章 课程介绍
课程介绍

第2章 初识实时流处理
本章节将从一个业务场景分析出发引出实时流处理的产生背景,对比离线处理和实时处理的区别,了解常用的实时流处理框架有哪些,实时流处理在企业级应用中各个环节的架构以及技术选型

第3章 分布式日志收集框架Flume
本章节将从通过一个业务场景出发引出Flume的产生背景,将讲解Flume的架构及核心组件,Flume环境部署以及Flume Agent开发实战让大家学会如何使用Flume来进行日志的采集

第4章 分布式发布订阅消息系统Kafka
本章节将讲解Kafka的架构以及核心概念,Kafka环境的部署及脚本的使用,Kafka API编程,并通过Kafka容错性测试让大家体会到Kakfa的高可用性,并将Flume和Kafka整合起来开发一个功能

第5章 实战环境搭建
工欲善其事必先利其器,本章将讲解Hadoop、ZooKeeper、HBase、Spark的安装,以及如何使用IDEA整合Maven/Spark/HBase/Hadoop来搭建我们的开发环境

第6章 Spark Streaming入门
本章节将讲解Spark Streaming是什么,了解Spark Streaming的应用场景及发展史,并从词频统计案例入手带大家了解Spark Streaming的工作原理

第7章 Spark Streaming核心概念与编程
本章节将讲解Spark Streaming中的核心概念、常用操作,通过Spark Streaming如何操作socket以及HDFS上的数据让大家进一步了解Spark Streaming的编程

第8章 Spark Streaming进阶与案例实战
本章节将讲解Spark Streaming如何处理带状态的数据,通过案例让大家知道Spark Streaming如何写数据到MySQL,Spark Streaming如何整合Spark SQL进行操作

第9章 Spark Streaming整合Flume
本章节将讲解Spark Streaming整合Flume的两种方式,讲解如何在本地进行开发测试,如何在服务器上进行测试

第10章 Spark Streaming整合Kafka
本章节将讲解Spark Streaming整合Kafka的两种方式,讲解如何在本地进行开发测试,如何在服务器上进行测试

第11章 Spark Streaming整合Flume&Kafka打造通用流处理基础
本章节将通过实战案例彻底打通Spark Streaming和Flume以及Kafka的综合使用,为后续项目实战打下坚实的基础

第12章 Spark Streaming项目实战
本章节将通过一个完整的项目实战让大家学会大数据实时流处理的各个环境的整合,如何根据业务需要来设计HBase的rowkey

第13章 可视化实战
本章节将通过两种方式来实现实时流处理结果的可视化操作,一是使用Spring Boot整合Echarts实现,二是使用更加炫酷的阿里云产品DataV来实现

第14章 Java拓展
本章节作为扩展内容,将带领大家使用Java来开始Spark应用程序,使得大家对于使用Scala以及Java来开发Spark应用程序都有很好的认识
游客,如果您要查看本帖隐藏内容请回复




温馨提示:
1、本站所有内容均为互联网收集或网友分享或网络购买,本站不破解、不翻录任何视频!
2、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意!
3、本站资源仅供本站会员学习参考,不得传播及用于其他用途,学习完后请在24小时内自行删除.
4、本站资源质量虽均经精心审查,但也难保万无一失,若发现资源有问题影响学习请一定及时点此进行问题反馈,我们会第一时间改正!
5、若发现链接失效了请联系管理员,管理员会在2小时内修复
6、如果有任何疑问,请加客服QQ:1300822626 2小时内回复你!
回复

使用道具 举报

  • TA的每日心情
    无聊
    2024-1-31 22:36
  • 签到天数: 16 天

    [LV.4]偶尔看看III

    0

    主题

    72

    帖子

    185

    积分

    终身会员[A]

    Rank: 7Rank: 7Rank: 7

    积分
    185

    发表于 2018-5-9 09:55:09 | 显示全部楼层
    啥也不说了,感谢楼主分享哇!
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2023-1-31 21:54
  • 签到天数: 48 天

    [LV.5]常住居民I

    0

    主题

    257

    帖子

    310

    积分

    终身会员[A]

    Rank: 7Rank: 7Rank: 7

    积分
    310

    发表于 2018-5-15 10:16:21 | 显示全部楼层
    啥也不说了,感谢楼主分享哇!
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    奋斗
    2024-2-27 00:02
  • 签到天数: 8 天

    [LV.3]偶尔看看II

    76

    主题

    183

    帖子

    367

    积分

    荣誉会员

    积分
    367

    发表于 2018-6-11 15:49:50 | 显示全部楼层
    学习了,谢谢分享、、、
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    昨天 18:52
  • 签到天数: 305 天

    [LV.8]以坛为家I

    0

    主题

    1251

    帖子

    2725

    积分

    傲视群雄

    Rank: 8Rank: 8

    积分
    2725

    发表于 2018-6-11 16:34:34 | 显示全部楼层
    啥也不说了,感谢楼主分享哇!
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    无聊
    2021-11-3 23:07
  • 签到天数: 27 天

    [LV.4]偶尔看看III

    8

    主题

    270

    帖子

    574

    积分

    终身会员[A]

    Rank: 7Rank: 7Rank: 7

    积分
    574

    发表于 2018-6-16 18:48:48 | 显示全部楼层
    啥也不说了,感谢楼主分享哇!
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    32

    主题

    7817

    帖子

    974

    积分

    终身会员[A]

    Rank: 7Rank: 7Rank: 7

    积分
    974

    发表于 2018-6-22 21:55:19 | 显示全部楼层
    有道理。。。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    32

    主题

    7921

    帖子

    1073

    积分

    终身会员[A]

    Rank: 7Rank: 7Rank: 7

    积分
    1073

    发表于 2018-6-28 18:38:30 | 显示全部楼层
    珍惜生命,果断回帖。
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    26

    主题

    7770

    帖子

    1037

    积分

    终身会员[A]

    Rank: 7Rank: 7Rank: 7

    积分
    1037

    发表于 2018-7-27 19:29:14 | 显示全部楼层
    学习了,谢谢分享、、、
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2020-2-24 16:46
  • 签到天数: 5 天

    [LV.2]偶尔看看I

    0

    主题

    225

    帖子

    816

    积分

    技冠群雄

    Rank: 6Rank: 6

    积分
    816

    发表于 2018-7-28 11:56:28 | 显示全部楼层
    啥也不说了,感谢楼主分享哇!
    回复 支持 反对

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    QQ|Archiver|小黑屋|本站代理|dmz社区

    GMT+8, 2024-12-24 00:26 , Processed in 0.112716 second(s), 44 queries .

    Powered by Discuz! X3.4 Licensed

    Copyright © 2001-2021, Tencent Cloud.

    快速回复 返回顶部 返回列表