尚硅谷基于腾讯云EMR搭建离线数据仓库(2023版)
课程介绍:
腾讯云EMR是由腾讯云打造的线上租赁式大数据解决方案平台,一站式高效部署。使用便携,没有繁琐的配置文件,直接线上修改配置;应用灵活,可以选择腾讯云提供的服务,也可以自行安装搭建服务。本套离线数仓项目由尚硅谷和腾讯云官方联合推出。
项目基于腾讯云EMR平台打通数据采集通道,从数仓建模到逐层构建离线数仓,拥有完整的数仓建模理论及建模过程,且在构建过程中采用了腾讯云EMR平台组件和原生组件相结合的方式,让企业在组件选择上更加灵活。通过本套教程的学习,你将全方位掌握腾讯云大数据服务组件的使用和调优!
课程目录:
01.腾讯云EMR离线数仓教程简介
02.采集模块介绍
03.课程目标
04.数据仓库概念
05.项目需求
06.技术选型
07.数据流程设计
08.框架版本选型
09.服务器选型
10.集群规模&规划
11.电商业务简介
12.选购EMR集群
13.远程连接
14.修改主机名
15.配置主机映射
16.配置免密登录
17.电商业务数据分析
18.上传资料包
19.MySQL安装与启动
20.远程连接MySQL&建库建表
21.业务数据生成
22.Kafka服务安装
23.Kafka服务群起&测试
24.Flume&同步策略和工具概述
25.开启MySQL Binlog 配置信息
26.开启MySQL Binlog 测试
27.使用Sqoop完成全量数据同步
28.增量数据同步数据通道
29.Flink部署
30.FlinkCDC简单代码说明
31.FlinkCDC简单代码本地测试
32.FlinkCDC完整代码说明
33.FlinkCDC完整代码打包测试
34.Flume配置文件
35.增量数据同步测试
36.Flume脚本完成
37.构建离线数仓文档说明
38.数据仓库概述
39.建模准备工作
40.建模具体工作
41.Hive环境准备-修改配置
42.Hive环境准备-测试
43.Yarn环境准备
44.开发环境准备说明
45.ODS层-建表
46.ODS层-装载数据
47.DIM层-商品维度表
48.DIM层-优惠券维度表
49.DIM层-活动维度表
50.DIM层-地区维度表
51.DIM层-用户维度表
52.DWD层-加购事实表
53.DWD层-下单事实表
54.DWD层-取消订单事实表
55.DWD层-其他事实表&脚本封装
56.DWD层-数据展示
57.DWS层-交易域用户商品粒度订单需求-需求分析
58.DWS层-交易域用户商品粒度订单需求-建表&装载数据
59.DWS层-交易域用户商品粒度退单需求-建表&装载数据
60.ADS层-品牌订单统计
61.ADS层-交易综合统计
62.数据可视化-建表&导出数据
63.数据可视化-最终总结
下载地址:
**** Hidden Message ***** 确实是难得好帖啊,顶先 666666666666666 啥也不说了,感谢楼主分享哇! 尚硅谷基于腾讯云EMR搭建离线数据仓库 啥也不说了,感谢楼主分享哇! 啥也不说了,感谢楼主分享哇! 啥也不说了,感谢楼主分享哇! 啥也不说了,感谢楼主分享哇! 啥也不说了,感谢楼主分享哇!