大数据平台层级架构图
发布时间：2022-10-08 10:33:17 所属栏目：大数据 来源：
导读： 主流数据平台架构
一般包含三个层级，ODS层、数据仓库层、数据应用层。
业务系统的操作和日志数据抽取到ODS层，ODS的数据经过ETL过程（抽取Extraction，转化Transformation，加载Loading）进入数
一般包含三个层级，ODS层、数据仓库层、数据应用层。
业务系统的操作和日志数据抽取到ODS层，ODS的数据经过ETL过程（抽取Extraction，转化Transformation，加载Loading）进入数
|
主流数据平台架构 一般包含三个层级，ODS层、数据仓库层、数据应用层。 业务系统的操作和日志数据抽取到ODS层，ODS的数据经过ETL过程（抽取Extraction，转化Transformation，加载Loading）进入数据仓库， 数据仓库反哺业务，为业务的分析和决策提供支持：反应业务现状，预测业务未来发展趋势，为业务的优化拓展赋能智慧。 先说目的，为什么分层，技术上分层是为了易于管理、减少耦合、增加灵活性。 最终的目标呢？是数据应用：反应业务现状、预测未来的趋势、根据当下和未来制定智慧决策。 先来一张简约版的大数据平台层级架构图大数据架构图，方便大家从宏观上了解，防止陷入细节。 文末有一张更加具体而详细的大数据平台层级架构图，方便大家拓展知识。 数据平台层级架构图 ODS层 设计方案 直接从业务系统和用户日志中抽取，可与业务系统、日志系统中的数据结构和关系保持一致。 作用 直接在业务系统和日志系统进行查询是会影响业务体统的正常运转，ODS的存在将查询操作和业务系统隔离开来，使分析师和决策者的查询更高效，隔离查询对业务系统运转的影响。 数据仓库 设计方案 推荐设计流程：业务建模-领域建模-逻辑建模-物理建模 业务建模-领域建模-逻辑建模-物理建模，的建模流程。 业务建模：深入业务现场，进行业务主线的划分，业务流程的整合。 领域建模：即是实体抽象的过程，抽象出各个业务主线涉及到的领域概念和实体。 逻辑建模：找出各个实体之间的关系，此时推荐3NF 建模方法，ER图很有帮助。 物理建模：ER图落地到具体的数据库。 作用 反应企业当前的经营状况、可进行多维度系统分析、数据挖掘的基础，为商业决策提供支持。 数据应用层 设计方案 数据的应用来自于实际的业务需要，不要为了赶时髦急于上各种高大上的项目。 以上的架构方案最终都是应因为有数据应用的需求才去实施。 不要等到ODS、DW“建好了”，再去想怎么用。首先要有Why。 没有目的和规划的建设是无意义的浪费。 作用 实践的好，也许能成为三体里的星环公司。 课后复习一个复杂的图，看上去很复杂和全面，但是并不容易理解，容易让人只见树木不见森林。 （编辑：草根网_连云港站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐
浙公网安备 33038102330470号