手慢无｜StuQ邀你免费参加付费小班课大数据分析平台的首节预演(3)

发布时间：2021-05-14 05:10 所属栏目：[大数据] 来源：网络整理

导读：另附课程大纲：一大数据分析概述（By 桑文锋）大数据的概念数据驱动的概念数据处理流程数据平台总体架构思考：尝试列举每个子系统在市面上的开源或商业选型二百度大数据平台演进（By 桑文锋）日志统计

另附课程大纲：

一

大数据分析概述

（By 桑文锋）

大数据的概念

数据驱动的概念

数据处理流程

数据平台总体架构

思考：尝试列举每个子系统在市面上的开源或商业选型

二

百度大数据平台演进

（By 桑文锋）

日志统计平台

用户数据仓库

数据源管理

百度大数据平台架构

思考：百度在数据处理所面临的问题和学员本身所在公司的问题有何异同？

三

数据采集与传输

（By 曹犟）

数据采集与埋点

数据传输系统

开源传输系统介绍（kafka、flume、scribe）

思考：kafka能够保证数据不丢不重吗？

四

数据建模与存储

（By 曹犟）

数据模型

数据ETL

数据存储管理（包括元数据、hadoop）

调度器（包括开源调度器oozie、azkaban）

思考：为什么在大数据平台上，要把元数据独立出来？

五

查询引擎设计

（By 付力力）

查询引擎架构

开源查询引擎分析（包括impala、spark SQL、hive等）

思考：分布式查询系统和MySQL在设计上，有哪些特别的点？

六

数据可视化

（By 桑文锋）

数据可视化概述

可视化工具介绍

数据分析方法

运营分析实践

大数据分析总结

思考：结合所在公司的现状，设计一张大数据分析平台架构图。

扫描下方微信二维码，参加此次预演

【免责声明】本站内容转载自互联网，其相关言论仅代表作者个人观点绝非权威，不代表本站立场。如您发现内容存在版权问题，请提交相关链接至邮箱：bqsm@foxmail.com，我们将及时予以处理。