TA的每日心情 | 衰
2024-11-19 20:46 |
|---|
签到天数: 244 天 [LV.8]以坛为家I
会|员
 
- 积分
- 10734
-
|
本站资源全部免费,回复即可查看下载地址!
您需要 登录 才可以下载或查看，没有帐号？立即注册
x
第1章 课程介绍与学习指南
本章中将向大家介绍课程能学到什么、解决什么实际问题、项目成果展示，课程整体安排以及如何学习更高效。
第2章 开发环境与技术栈介绍
本章主要针对课程中应用的开发环境以及技术栈进行相关介绍。本课中会使用，虚拟化技术: virtualbox + vagrant，容器化技术:docker + docker-compose。技术栈涉及spark，Hadoop，hive等。
第3章 大数据环境搭建
本章主要讲解开发环境的搭建，虚拟机与docker的安装。针对没有docker基础的同学，我们也会涵盖部分基础知识，从而实现轻松上手。针对容器化的开发环境，我们会详细演示，如何去解决访问和数据持久化。本次环境搭建会配合详细操作文档，方便同学们本地复现。...
第4章 itag用户标签系统介绍
相较于现有业务的局限性，这章中我们会来共同来探讨标签系统的设计理念。通过UI初步讲解标签的数据含义，结合mysql数据库表结构，去理解业务和标签的实现算法，更为详细的标签算法及ETL清洗逻辑在后续章节会做详细讲解。...
第5章 数据同步
针对数据同步技术，本章中会介绍一些常用的数据同步中间件，以及实际项目中数据库同步至大数据集群的架构迭代（画图）。随后会演示利用sqoop导入数据到hive中。并学习如何对hive进行实际操作。
第6章 数据清洗
本章中主要讲解大数据项目中数据与业务的关系，数据血缘，数据平台，数仓等相关概念。讲解如何利用spark进行数据操作。分别从spark java，spark scala以及spark sql 三种不同实现方式进行代码演示与对比。
第7章 指标算法及标签ETL
本章中将根据产品文档，利用spark sql + spark scala 的方式实现标签ETL。会讲述ES mapping 的设计，演示如何利用spark操作ES，并最终对全流程数据做验证与复盘。
第8章 itag UI
本章中将介绍如何应用springboot + vue 实现项目的前端UI。用户选择特定标签后，ES背后的查询逻辑。对于查询的结果，标签清洗结果，数据库原始结果做一个验证。并最终将UI项目通过docker容器的方式部署起来。
第9章 课程总结
本章会进行课程回顾与总结，再次圈重点，敲黑板。并对后续的一个学习线路做规划。
|
温馨提示：
1、本站所有内容均为互联网收集或网友分享或网络购买,本站不破解、不翻录任何视频!
2、如本帖侵犯到任何版权问题，请立即告知本站，本站将及时予与删除并致以最深的歉意!
3、本站资源仅供本站会员学习参考,不得传播及用于其他用途,学习完后请在24小时内自行删除.
4、本站资源质量虽均经精心审查,但也难保万无一失,若发现资源有问题影响学习请一定及时点此进行问题反馈,我们会第一时间改正!
5、若发现链接失效了请联系管理员,管理员会在2小时内修复
6、如果有任何疑问,请加客服QQ:1300822626 2小时内回复你!
|
[复制链接]
发表于 2020-2-16 01:58:21
发表于 2020-2-16 11:19:38
发表于 2020-2-17 17:09:58
