倒计时24小时开课｜StuQ大数据分析平台小班课（仅剩10个名额）(2)

百度大数据平台演进

（By 桑文锋）

日志统计平台

用户数据仓库

数据源管理

百度大数据平台架构

思考：百度在数据处理所面临的问题和学员本身所在公司的问题有何异同？

数据采集与传输

（By 曹犟）

数据采集与埋点

数据传输系统

开源传输系统介绍（kafka、flume、scribe）

思考：kafka能够保证数据不丢不重吗？

数据建模与存储

（By 曹犟）

数据模型

数据ETL

数据存储管理（包括元数据、hadoop）

调度器（包括开源调度器oozie、azkaban）

思考：为什么在大数据平台上，要把元数据独立出来？

查询引擎设计

（By 付力力）

查询引擎架构

开源查询引擎分析（包括impala、spark SQL、hive等）

思考：分布式查询系统和MySQL在设计上，有哪些特别的点？

数据可视化

（By 桑文锋）

数据可视化概述

可视化工具介绍

数据分析方法

运营分析实践

大数据分析总结

思考：结合所在公司的现状，设计一张大数据分析平台架构图。