哔哩哔哩大数据建设之路—数据开发篇

文章预览

本期作者 韩志华 大数据平台工具负责人 赵孔明 大数据平台资深开发工程师 邓晓 大数据平台资深开发工程师 01 平台总体简介  1.1 数据平台介绍 项目代号：Berserker - 狂战士 平台定位∶基于大数据生态组件的数据采集、传输、存储、查询、开发、分析、挖掘、测试、执行、运维管理的一站式数据开发治理平台，服务于公司内部对数据有需求的各种角色成员。 不同角色的日常工作∶ 数据分析师/产品/运营∶ ● 找到想要的数据表---数据地图； ● 启发式分析探索---即席查询； ● 简单ETL制作临时监控表---数据开发； ● 制作业务监控报表--报表工具； 数据开发∶ ● 异构数据源整合入仓---数据集成； ● 开发高质量的ETL例行任务---数据开发/运维中心； ● 数据探查---即席查询，数据地图； ● 管理数仓模型---数据管理； ● 数据治理工作的开展--- ………………………………