聊聊数据仓库树立步骤
估量到2025年，环球数据量将增长至180ZB，企业必定处置两个关键疑问——在哪里存储数据以及如何经常使用数据。数据仓库自20世纪80年代以来就曾经存在，并且其性能始终扩展，可以协助应答这两个应战。但是，依据独立市场钻研公司VansonBourne的钻研，无论技术成熟度如何，而且数据仓库通常由专家开发，失败名目的比例依然高居不下。
在本文中，咱们将经过概述数据仓库设计和数据仓库开发步骤的两种基本方法来深化讨论数据仓库成功的细节。
什么是数据仓库以及为什么要构建数据仓库？
数据仓库架构的3个外围组件
当创立未来数据仓库的架构时，必定思考多种要素，例如有多少数据源将衔接到数据仓库、每个数据源中的消息量及其性质和复杂性、剖析目的、现有技术环境等。但是，说每个架构都是唯一无二的是失误的，由于实践上每个架构都具备以下三个组件：
除了这些内容之外，企业数据仓库处置方案还蕴含数据控制和元数据控制组件。扩展数据仓库环境还可以包括OLAP立方体（存储聚合数据以成功交互式查问的多维数据结构）和数据访问层（供最终用户访问和操作所存储消息的工具和运行程序）。但是，这些内容是更大的生态系统（BI架构）的一局部，因此咱们不会在这里讨论它们。
经常使用Itransition构建高性能数据仓库
构建数据仓库的方法
用于构建数据仓库的两种基本设计方法是Inmon（自上而下）和Kimball（自下而上）方法。
Inmon的方法
在Inmon的方法中，首先，依据规范化数据模型设计企业消息的集中存储库，其边疆子数据存储在表中，这些表借助联接按主题畛域分组在一同。企业数据仓库建成后，存储的数据用于构建数据集市。
当须要口头以下操作时，Inmon的方法更为可取：
但是，该方法的关键限制之一是，与Kimball的方法相比，设置和实施须要更多的时期和资源。
Kimball的方法
Kimball的方法倡议首先创立维度数据集市，而后假设须要，公司可以继续创立逻辑企业数据仓库。
这种方法的提倡者指出，由于维度数据集市须要起码的规范化，因此此类数据仓库名目须要更少的时期和资源。另一方面，或许会在表中发现反双数据，并且必定重复ETL优惠，由于每个数据集市都是独立创立的。
虽然这两种方法或许看起来相当不同，但它们可以很好地互补，结合两种设计方法原理的代替方法的出现证实了这一点。
构建数据仓库的分步指南
通常的做法是经过片面的预备状况评价来启动数据仓库方案。在评价数据仓库名目的预备状况时，请思考以下要素：
在评价了名目的预备状况并宿愿对其感到满意之后，须要开发一个用于名目布局和控制的框架，而后最终继续启动数据仓库开发，这从业务需求的定义开局。
1.业务需求定义
业务需求简直影响整个数据仓库开发环节中的每一个决策——从应该提供哪些消息到应该多久访问一次性消息。因此，可以从调研业务用户开局定义：
在采访业务用户时，还应该与关键IT专家（数据库控制员、运营源系统专家等）启动有效的沟通，以确定可用的消息能否足以满足以下业务需求：
2.数据仓库概念化和技术选用
上一步的结果将用作定义未来处置方案范围的基础，因此应细心剖析业务和IT用户的需求和希冀并确定优先级，以制订最佳的数据仓库性能集。
之后，必定确定构建数据仓库处置方案的架构方法，评价并为每个架构组件（暂存区域、存储区域等）选用最佳技术。在制订技术堆栈时，请思考以下要素：
此时，还应该定义部署选项-本地、云或混合。部署选项的选用取决于多种要素，例如数据量、数据性质、老本、安保要求、用户数量及其位置以及系统可用性等。
3.数据仓库环境设计
在设计数据仓库之前和时期，须要定义数据源并剖析存储在其中的消息-可用的数据类型和结构，每天、每月生成的消息量等，以及其品质、敏理性、刷新率频率。
下一步是逻辑数据建模，或许将公司的数据陈列成一系列称为实体（理想环球对象）和属性（定义这些对象的特色）的逻辑相关。实体相关建模用于各种建模技术，包括规范化形式（相关数据库的设计方法）和星型形式（用于维度建模）。
接上去，将这些逻辑数据模型转换为数据库结构，例如将实体转换为表、将属性转换为列、将相关转换为外键解放等。
数据建模成功后，第一步是设计数据暂存区，以便首先为数据仓库提供高品质的聚合数据，并在后续一切数据加载环节中定义和控制源到目的的数据流。
设计步骤还包括创立数据访问和经常使用战略、树立元数据目录、业务术语表等。
4.数据仓库开发与上线
该步骤从定制和性能所选技术（DW平台、数据转换技术、数据安保软件等）开局。而后，该公司开发ETL管道并引入数据安保性。
引入一切关键组件后，它们必定与现有的数据基础设备（数据源、BI和剖析软件、数据湖等）以及彼此集成，以便之后可以迁徙数据。
在最终汇总之前，必定确保最终用户能够处置新技术环境，这象征着他们一切人都了解可用的消息、其含意、如何访问这些消息以及经常使用哪些工具。针对规范用户和初级用户的定制培训以及支持文档将对此有所协助。除此之外，还须要：
5.上线后支持与保养
初始部署后，须要关注业务用户并提供继续的支持和培训。随着时期的推移，必定测量数据仓库性能目的和用户满意度评分，由于它将协助您确保数据仓库的常年肥壮和增长。
须要牢靠的技术协作同伴来成功您的数据仓库名目吗？
数据仓库名目的关键角色
专案经理
业务剖析师
数据建模师
数据仓库数据库控制员（DBA）
ETL开发人员
品质保证工程师
除了这些关键角色之外，其余专业人员也或许介入该名目，例如处置方案架构师、技术支持专家、DevOps工程师、数据控制员、数据仓库培训师等。值得留意的是，有时一般上班人员可以表演多种角色。
须要思考的3种上游数据仓库技术
经常使用不适当的技术是数据仓库名目失败的要素之一。除了须要正确识别运行场景之外，还须要从市场上泛滥看似相似的选项当选用最佳的软件。在这里，咱们回忆了具备很高客户满意度、在各种市场钻研报告中取得高度评价并遵照数据仓库现代化准则的数据仓库服务敌对台。但所形容的性能并不详尽：在制订其形容时，咱们关键关注其数据集成性能、与剖析和商业智能服务的内置衔接、牢靠性和数据安保性。
谷歌BigQuery
确保数据仓库名目成功的技巧
启动矫捷数据仓库开发
数据仓库开发名目十分消耗时期和资源，因此选用矫捷方法（这象征着经过增量投资将名目合成为迭代）尽早开局取得投资报答，并最大限制地降落危险并防止少量的前期投资。
确保IT与业务之间的严密协作
数据仓库的成功是IT和业务专家的独特致力，他们独特担任从搜集业务需求到数据仓库部署和颁布后支持的方案。
关注最终用户
为最终用户提供牢靠的支持文档、培训和自助数据访问工具，确保数据仓库的高驳回水平。
思考专家倡议
构建数据仓库通常须要将上班负载迁徙到云，这并不容易，由于它须要特定的技艺和专业常识。因此，当开局开发名目时，不要漠视向云迁徙专家寻求倡议。
小结
精心构建的现代数据仓库可以协助组织成功的许少数据控制和剖析目的，包括冲破数据孤岛、实时剖析、交互式报告和受包全的企业数据。
