一 数据仓库 大话数仓

数据仓库，是越来越盛行的数据处置打算。传统烟囱式的数据开发形式，显然不能满足日益增长的数据需求，而作为大数据量化打算、处置大数据疑问、开掘数据价值的大数据仓库被很多公司采用经常使用。想要树立好数据仓库，就要了解数据仓库模型设计及其原理、怎样处置数据仓库树立的需求剖析？又如何处置基础数据元和维度表、理想表？上方就来繁难谈谈数据仓库。

一、什么是数据仓库？

数据仓库是一个面向主题的、集成的、时变的、非易失的数据汇合，用于允许控制决策、商业营销、运营剖析。数据仓库实践上是一种数据存储，它将各种异构数据源中的数据集成在一同，并坚持其语义分歧，为企业决策提供允许。

1.面向主题。 在较上档次对数据综合、归类，针对某一剖析畛域所形象进去的剖析对象。

构建主题的步骤：首先形象出须要剖析的主题域，确定每个主题域须要剖析的维度、其所蕴含哪些数据表。普通主题域一切表都有一个衔接键，作为主题的一局部，经过这个衔接键可把主题域一切表关联汇总成一张宽表。如会员主题，分为会员基本消息、会员积分数据、会员的资产数据、会员的行为数据、会员的信誉等多张表。

2.集成的。

把不同表、不同类型的数据放入到一致的数据仓库中。如Mysql、Oracle、Redis、Hbase中的数据，咱们经过同步全量数据把数据存入一致的系统中。关于增量数据设置定时抽取，可以采用并发架构，多义务同时同步，把数据继续存到咱们的散布式文件系统中来。

3.时变的。 数据仓库的数据是不同期间的数据汇合；随期间变动一直参与、删除、综合数据；数据仓库表结构中普通都带有期间字段。

数据仓库的数据不是原封不动的，它是随着期间变动一直新增内容，降级与期间无关的综合数据，这些数据普通都蕴含有期间字段。

4.稳固非易失的。.数据仓库中的数据普通只拔出新增，不做update降级、delete删除操作。

数据是经过抽取而构成的剖析型数据，不具备原始性(不是第一手数据，普通是经过其余数据源或业务系统，抽取到数据仓库中)，关键供企业决策剖析之用，口头的关键是查问操作，普通状况下不口头降级操作。抽到数据仓库的数据在ODS层不做任何操作，来坚持数据的原始性(不扭转字段属性，不补值等操作)。

二、数据仓库建模通常

数据普通用于两种目的，一种是基于操作型记载保留，一种是剖析决策的制订。繁难来说，前者是操作系统保留数据(OLTP-联机事务处置)，普通仅反映数据的最新形态，按单条记载事务性来处置数据；其提升的外围是更快地处置事务；后者是剖析系统经常使用数据(OLAP-联机事务剖析)，按少量量形式处置数据；其外围是高功能、多维度处置数据。针对两种不同的数据用途，如何组织数据，高效的经常使用数据，这里就触及到数据建模的疑问。

2.1、什么是Inmon范式模型？

数据仓库是商业默认的一局部，一家企业或公司只要一个数据仓库，数据集市的消息皆起源数据仓库。如今的数据库大少数都是依据3FN范式来树立的，而依据范式的思维来启动数据仓库建模，就是范式建模。数据仓库中的数据消息必定合乎第三范式。

范式是相关型数据库的基本概念。是指合乎某些条件、合乎某些规定的相关汇合。范式是分级的，每向上一级，条件和规定愈加严厉，每一级是下一级的子集。

范式最关键的目的是消弭冗余，每一份消息必定寄存一次性，也只能存储一次性。数据的冗余不只仅会形成存储资源的糜费，而且或许会引发数据的降级意外。

2.2、什么是Kimball维度建模？

数据仓库是公司外部一切数据集市的汇合，消息总是被存储在多维模型中。是面向数据集市、数据主题的，普通采用星型模型建模。依据星型模型，构建理想表和维度表，树立数据仓库模型的环节，就是维度建模。Kimball的外围理想就是星型模型和维度建模。

一切的表直接与理想表关联，整个图解就像星星一样，该模型称为星型模型。星型模型是一种非正轨化的结构，是反范式的。由于多维数据集的每一个维度都直接与理想表相衔接，不存在突变维度，所以数据有必定的冗余，

理想表形容业务环节的度量、以可加数据为主题，每一行代表一个可以观察的实体或事情。关键的是出现了业务环节，如卖出一件商品，用户购置一件商品，这都触发了业务环节。卖出的商品有商品属性、有卖出的门店、有出货记载，有购物者消息等等。

维度表形容理想所处的环境、面向剖析，代表针对理想的一种分类。直白点，维度表就是用来形容理想的。还以卖出商品为例，卖出的商品，商品有属性，包括色彩、尺码、格调、节令等多种属性，这些属性组合在一同就构成了形容商品的维度表。

对维度表再树立更细的维度，称为支架表。支架表是维度表的维度表，支架表是去冗余的产物，在星型模型中，对冗余很宽容。所以支架并不是必定的，并且应该尽量少用。适宜的方法是：将支架表兼并到和理想表直接衔接的维度表。

留意：维度表中须要留意维度退步和缓慢变动维

在维度类型中，有一种关键的维度称作为退步维度，亦称维度退步。这种维度指的是直接把一些繁难的维度放无理想表中。维度退步是维度建模畛域中的一个十分关键的概念，它对了解维度建模有着十分关键的作用，维度退步普通在剖析中可以用来做分组经常使用。

维度的属性并不是一直不变的，它会随着期间的流逝出现缓慢的变动，这种随期间出现变动的维度咱们普通称之为缓慢变动维。

罕用途理缓慢变动维的形式：用户变卦手机号码

当有维表没有直接衔接到理想表上，而是经过衔接其余维表直接衔接到理想表，其图解就像多个雪花衔接在一同，故称雪花模型。雪花模型是对星型模型的扩展。它对星型模型的维表进一步档次化，把原有的维表进一步拓展，构成更多细分档次。

处置雪花模型的形式，和支架表一样，理想的模型是只存在和理想表直接相衔接的维度表。在数据仓库中，数据冗余不关键，衔接功能更关键！咱们经过就义空间来换取期间，这些数仓很罕用的手腕。

雪花模型是一种规范的数据建模模型，规范化的目的是去冗余，在节俭存储的同时缩小重复降级。然而关于数据仓库来说，这两者都不关键，数据仓库原本就不降级。Kimball形式的数据仓库的查问功能优先！星型模型，是反范式的

总结：数据仓库建模环节是一个很复杂的环节，一方面不只要依据自家业务处置建模须要，一方面还要深化了解建模的通常基础。