dmz社区

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 45585|回复: 177

[大数据] 玩转热门框架 用企业级思维 开发通用够硬的大数据平台 完整版

  [复制链接]
  • TA的每日心情

    2024-11-19 20:46
  • 签到天数: 244 天

    [LV.8]以坛为家I

    4434

    主题

    1459

    帖子

    1万

    积分

    会|员

    Rank: 9Rank: 9Rank: 9

    积分
    10734
    发表于 2020-4-8 11:27:43 | 显示全部楼层 |阅读模式

    本站资源全部免费,回复即可查看下载地址!

    您需要 登录 才可以下载或查看,没有帐号?立即注册

    x
    231757latieuuvtnrgg6tt.jpg

    第1章 课程导学与学习指南
    本章中将向大家介绍课程能学到什么、解决什么实际问题、项目成果展示,课程整体安排以及如何学习更高效。

    第2章 认识企业中的大数据平台
    为什么要有大数据平台?大数据平台究竟是为了解决什么问题产生的?如何判断一个大数据平台的好坏?在设计一个数据平台时,需要注意哪些,有什么步骤。各大企业现有的解决方案有哪些,常见的技术栈有哪些,我们自己设计的这个通用的大数据平台是什么结构。...

    第3章 大数据平台 —— 数据仓库之离线&实时
    你真的理解数据仓库是什么吗?数据仓库如何进行分层,为什么要分层呢?分层一定好吗?带你理解数据仓库,逐步掌握离线数仓工具Hive。对比离线数仓和实时数仓,了解实时数仓常见架构。

    第4章 大数据平台——数据仓库之权限管理
    解决三大问题:数仓安全问题,对比常见权限认证框架,使用Ranger开发数仓权限模块;数据来源问题,对常用数据采集工具进行介绍,使用DataX进行数据采集;数仓管理问题,介绍数据治理的概念及ApacheAtlas

    第5章 大数据平台 —— 调度系统
    解决离线批处理任务的定时执行问题,对主流调度框架Azkaban进行架构介绍、特性讲解和部署应用。通过Java程序调用Azkaban相关接口,实现创建任务、调度任务功能,实现API接口封装

    第6章 大数据平台 —— 计算引擎
    平台的计算引擎是基于Spark构建的,依托了Yarn进行资源调度。本章从Spark架构、核心介绍及部署开始,进行Spark部分开发。之后接入Spark SQL模块。最后介绍了Spark的一些高阶调优技巧。

    第7章 大数据平台建设 —— SQL查询引擎
    介绍SQL On Hadoop 方案。对Presto架构和应用做了一些介绍,利用Presto作为底层的SQL查询引擎,实现快速查询和多数据源查询。涉及Presto的配置优化,自定义函数、EventListener、以及通用UDF的开发,最后完成Presto On Yarn部署

    第8章 大数据平台建设 —— 监控预警
    集群监控能提高资源利用率,有效管理整个集群,本章对常见集群的预警方案做了介绍和应用,最后通过Ganafa展示项目监控数据

    第9章 大数据平台建设 —— 管理整合、任务定制
    整合前面章节中开发的数仓管理功能,整合数仓权限、数据治理和数据采集,通过界面化配置实现数据采集任务定制。实现任务调度功能,实现shell命令、JAVA程序、Python程序、Spark程序的运行和管理

    第10章 系统集成及可视化
    实现多引擎的数据查询及可视化模块,生成图表进行展示。将前面的数据仓库、调度系统、SQL引擎、计算引擎、预警监控系统、元数据管理系统等等,如何将他们集成到一起构建大数据平台



    游客,如果您要查看本帖隐藏内容请回复

    温馨提示:
    1、本站所有内容均为互联网收集或网友分享或网络购买,本站不破解、不翻录任何视频!
    2、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意!
    3、本站资源仅供本站会员学习参考,不得传播及用于其他用途,学习完后请在24小时内自行删除.
    4、本站资源质量虽均经精心审查,但也难保万无一失,若发现资源有问题影响学习请一定及时点此进行问题反馈,我们会第一时间改正!
    5、若发现链接失效了请联系管理员,管理员会在2小时内修复
    6、如果有任何疑问,请加客服QQ:1300822626 2小时内回复你!
    回复

    使用道具 举报

  • TA的每日心情

    2020-12-28 00:09
  • 签到天数: 340 天

    [LV.8]以坛为家I

    0

    主题

    779

    帖子

    2295

    积分

    终身会员[A]

    Rank: 7Rank: 7Rank: 7

    积分
    2295

    QQ
    发表于 2020-4-8 13:23:24 | 显示全部楼层
    珍惜生命,果断回帖。
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    12 小时前
  • 签到天数: 1776 天

    [LV.Master]伴坛终老

    10

    主题

    2318

    帖子

    1万

    积分

    终身会员[A]

    Rank: 7Rank: 7Rank: 7

    积分
    10206

    发表于 2020-4-9 07:37:34 | 显示全部楼层
    啥也不说了,感谢楼主分享哇!
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    奋斗
    2023-8-16 20:37
  • 签到天数: 239 天

    [LV.7]常住居民III

    0

    主题

    370

    帖子

    1344

    积分

    终身会员[A]

    Rank: 7Rank: 7Rank: 7

    积分
    1344

    发表于 2020-4-9 08:51:28 | 显示全部楼层
    正需要,支持楼主大人了!
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    擦汗
    2024-12-12 15:03
  • 签到天数: 919 天

    [LV.10]以坛为家III

    4

    主题

    1841

    帖子

    5775

    积分

    终身会员[A]

    Rank: 7Rank: 7Rank: 7

    积分
    5775

    发表于 2020-4-10 10:13:53 | 显示全部楼层
    啥也不说了,感谢楼主分享哇!
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    擦汗
    2021-8-25 11:14
  • 签到天数: 32 天

    [LV.5]常住居民I

    0

    主题

    234

    帖子

    560

    积分

    终身会员[A]

    Rank: 7Rank: 7Rank: 7

    积分
    560

    发表于 2020-4-10 14:59:29 | 显示全部楼层
    啥也不说了,感谢楼主分享哇!
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    无聊
    4 天前
  • 签到天数: 391 天

    [LV.9]以坛为家II

    3

    主题

    1127

    帖子

    3211

    积分

    终身会员[A]

    Rank: 7Rank: 7Rank: 7

    积分
    3211

    发表于 2020-4-10 21:54:54 | 显示全部楼层
    啥也不说了,感谢楼主分享哇!
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    郁闷
    2022-2-16 21:56
  • 签到天数: 77 天

    [LV.6]常住居民II

    0

    主题

    138

    帖子

    440

    积分

    终身会员[A]

    Rank: 7Rank: 7Rank: 7

    积分
    440

    发表于 2020-4-12 12:33:24 | 显示全部楼层
    啥也不说了,感谢楼主分享哇!
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2024-2-2 22:55
  • 签到天数: 144 天

    [LV.7]常住居民III

    1

    主题

    226

    帖子

    818

    积分

    终身会员[A]

    Rank: 7Rank: 7Rank: 7

    积分
    818

    发表于 2020-4-12 13:31:06 | 显示全部楼层
    确实是难得好帖啊,顶先
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    奋斗
    5 天前
  • 签到天数: 621 天

    [LV.9]以坛为家II

    0

    主题

    970

    帖子

    3686

    积分

    终身会员[B]

    积分
    3686

    发表于 2020-4-14 19:58:16 | 显示全部楼层
    啥也不说了,感谢楼主分享哇!
    回复 支持 反对

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    QQ|Archiver|小黑屋|本站代理|dmz社区

    GMT+8, 2024-12-23 20:18 , Processed in 2.061610 second(s), 46 queries .

    Powered by Discuz! X3.4 Licensed

    Copyright © 2001-2021, Tencent Cloud.

    快速回复 返回顶部 返回列表