数仓建模平台在网易严选的探求通常

一、背景及现状

首先来引见一下企业数仓树立的现状。

1、模型分层和建模流程

数仓树立的意义，便捷来说就是将业务数据经过整合、转换、计算以及其它一些操作，提取出有价值的信息，最终把这些信息反应给业务，为业务的开展继续赋能。

如今通用的模型遵照图中的分层设计准绳

两边局部是数仓建模。包括贴源层，咱们命名为D WD理想层，而后是DWS明细层，第三层是DWS汇总层，再前面是DM集市层，关键是面向下层的运行以及数据产品的需求。

图中左边是严选数仓建模的生命周期。首先是业务调研和需求剖析；而后定义目的，启动数据描写；第三步就是启动逻辑模型的设计，把不同的目的和它们的维度启动关联，也就是启动数据组织的环节；第四步就是编码开发，将数据消费进去；接上去是上线交付、对外服务，也就是启动数据经常使用；最后就是常年的运转保养。

2、网易严选数仓现状

网易严选的外围业务是电商 ，数仓树立已有六七年期间，曾经具备了相当大的规模，有少量的模型和目的都在服务于各种各样的消费环境上的产品。其中物理模型的数量有一万多个，开发义务有近万个，目的数也有近万个，产品和服务有数十个。

严选整个数仓建模流程中的各个步骤都有相应的一些产品启动承接 ，比如目的设计，就是经过咱们的目的控制系统启动目的定义和模型设计；模型开发和义务运维是经过离线开发平台启动编码；数据对外提供服务是经过数据服务平台。由于历史要素，咱们各个产品之间目前基本上是独立的形态，没有构成一个完整的体系，而各系统也存在着一些疑问，包括接上去将重点引见的目的控制系统。

3、旧目的控制系统现状

旧的目的控制系统存在的疑问大抵可以演绎为四慷慨面：

首先是配置边界有限。系统不允许DW层模型的设计和控制，没有模型物理化才干，无法有效指点模型开发，缺乏与义务运维和数据服务关联的才干。

第二是目的定义不规范。存在比拟多的目的重复定义、原子目的命名不规范、原子目的与派生目的混用等。比如蕴含派生词、未蕴含统计单位，另外非汇总数据也或许被失误的定义成一些目的，比如一些依据机器学习算法得出预测值。

第三是模型设计不规范。模型命名分层不明晰，模型开发线上化率比拟低，存在少量没有启动注销的模型，模型与目的的关联相关也比拟凌乱。整个模型设计，没有跟模型开发启动强绑定，或许有些需求比拟紧急就造成开发人员疏忽了设计环节。

第四是模型构建不规范。逻辑模型与物理模型的结构存在差异。存在很多烟囱式的开发，造成目的被重复计算。还有跨层依赖疑问，比如DM层间接依赖了最底下的DWD层；反向依赖疑问，比如DWS层依赖了DM层，DM层的有些数据当作汇总表在用。

4、数仓树立的痛点

经过对现有系统的量化剖析，咱们整顿出了数仓树立的痛点。

首先，业务复杂多变，比如电商会经常做优惠，各种玩法带来很多复杂的业务流程，由此带来的就是数仓体量宏大，数据之间的相关网十分复杂。

其次，当时布局无余，模型设计才干短少，经常产生目的重复定义、形容不规范的状况，目的和模型缺乏谨严性。

第三，设计和成功环节就脱节，一方面开发效率低下，职责不清，存在重复计算的疑问，另外，依赖相关凌乱，人工编码也很容易引入失误。

第四，预先控制艰巨，由于当时和事中没有做好，就会造成预先控制起来十分艰巨，比如业务有变化，模型设计或许目的的计算方式就会有变化，然而很难追溯，变卦环节十分复杂。数据品质也就无法保证，运维控制环节会十分低效。

第五，数据孤岛疑问，目的口径不分歧，观察视角不一致，比如 开发人员看到的是目的模型，而下层运行或许看到的是表字段的视角，继而造成学习和经常使用数据的老本比拟高。

二、处置打算

1、打算切入点

针对上述痛点，咱们制订了以树立完整、规范的数仓建模体系为目的的处置打算：制订一个规范，输入一款产品，落地一套规范。

咱们在一开局的时刻其实是有一个规范的，但仅逗留在文档层面，并没有十分好的落地。所以宿愿经过产品化的方式，对这套规范启动强迫的规范落地。产品会包括业务环节控制、维度控制、目的定义、模型设计等才干。经过这款产品，落地一整套的规范，比如目的定位数据、数据访问解放，以及前期的模型控制、义务运维规范等等。

2、打算做什么-平台定位

咱们的数仓建模平台，全体上还是以经典的数仓建模方法论为通常依据，联合网易严选的数仓树立现状，对标业界低劣的相关产品，借助大数据其它产品才干，指点数仓从设计、开发、经常使用到最后保养，这样一套全流程一站式的处置打算。

上图中左边是咱们新建的数据建模平台在大数据体系中的定位，以及与其它一些

3、打算怎样做-产品框架

上图是全体的产品框架，产品配置重点在红框中的数据模型设计局部 。关键分为五大块内容：数据布局、数据规范、维度建模、数据目的和数据资产。其中维度建模和数据目的是咱们整个产品设计的外围。数据布局和数据规范关键是联合严选现状，做一些定制化内容，相对来说没有前面几块做的灵敏。

上方一层是数据开发，这一层就是将上方的逻辑定义设计真正落实到代码当中。最上方是物理层，包括引擎、存储、计算等等。

左边的运行场景包括数据报表、风控引擎、用户画像、榜单服务、舆情控制等等。

4、打算怎样做-配置模块

配置模块中，有三个外围的配置模块：

第一块是业务环节和目的定义，包括业务环节定义、总线矩阵设计、维度控制、度量定义、原子目的控制、派生目的控制等等。

第二块是逻辑模型设计，联合现状设计了一个分层模型，最底下是数据引入层ODS层；经过荡涤转换，构成了明细模型DWD层；再经过一些细粒度计算，以及一些复杂的数据布局（如归一化、规范化、维度计算等），构成数据服务模型DWS明细层，在这个明细层关联原子目的；而后再把原子目的这一层数据启动派生汇总，构成汇总DWS层，这一层模型跟派生目的启动关联；最后上方是面向运行的集市层DM，按需启动取数。

第三块是模型物理化和构建，关键包括模型启生物理化，义务的颁布和运维，以及数据服务

三、实施步骤

1、实施环节-3步走策略

严选数仓规范化树立制订了三步走的策略：

第一步是规范目的定义体系树立，包括规范业务环节、度量、目的命名、目的分类、派生依赖、汇总算法、派生算法、派生词关联等等。

第二步是规范模型的设计体系树立，在目的定义规范的前提下，启动模型设计的规范，包括模型命名、分层、依赖、数据时效、维度关联等等。

第三步是规范目的计算和模型构建的环节，咱们宿愿 不只模型是规范的，数据的消费环节也必定是规范的，包括结构的分歧性、智能构建义务、义务运维、变卦通知、算法优化、参数调优等。

2、实施步骤1 - 规范目的定义体系树立

第一个实施步骤是规范目的定义体系的树立。原先的设计流程通常仅仅是很轻易地录入到旧的目的控制系统中，经常存在目的含意表述不清、重复设计等疑问；此外还存在不少目的只记载在离线文档，口口相传。

规范后的定义流程依照上方五步强迫流程来走：

（2）启动维度设计，生成派生词，也就是业务限定。

（3）设计业务环节，包括确定业务流程，设计维度矩阵以及度量。

（4）设计原子目的、衍生原子目的，包括关联度量，明白数据类型、汇总方式，公式化地形容衍生原子目的的计算方式。

（5）基于原子目的，设计派生目的、派生计算目的，保证派生目的能够智能关联依赖的原子目的，确定派生词汇合以及期间周期，智能生成中英文标识。

关于目的派生和依赖的规范树立，咱们制订了各类目的派生的准绳，定义派生目的=统计周期+派生词汇合+原子目的。比如”日支付成功抖音渠道开售额“，“日”就是统计周期，“支付成功”是支付形态维度的一个派生词，“抖音渠道”是渠道维度的一个派生词，“开售额”是原子目的。

在产品层面，如上图左边所示，做了一些限定去保证目的齐全依照咱们的设计规范启动设计。

咱们宿愿构成图中的逻辑闭环，首先在设计规范上达成共识，使得目的是可形容、可了解、可查问、可控制，并且可经常使用的，最后要到达可验证，经过验证来优化目的定义规范，从而构成一个逻辑闭环。咱们独自关于目的的可查问、可控制、可了解这一块做了一个目的地图，目的就是关于目的的一些必要信息能够极速定位和极速查问，能够极速消弭了解上的歧义，降落目的的经常使用门槛。

3、实施步骤2 - 规范模型设计体系树立

第二个实施步骤是规范模型设计体系树立。为了打破原有数据开发的一些不好的上班习气，咱们设计了一整套严厉的模型设计流程：

（1）设计DWD理想模型，要关联业务环节和度量设计。

（2）设计DWS底层模型，要成功标识智能生成，关联原子目的、维度，以及模型物理化。

（3）设计DWS汇总模型，由于DWS底层模型是关联原子目的的，而DWS汇总层模型是关联派生目的的，派生目的自身就有严厉的量化定义，所以DWS汇总模型的目的依赖包括模型的依赖相关是可以智能发现并智能关联的。借助产品的才干，可以做到一切目的、维度等信息都是可以溯源的，从而到达模型设计规范化树立的目的。

（4）设计DM集市层模型，咱们将这一层定位为仅取数，不做任何数据计算汇总、转换的上班，也就是到达one>

关于模型设计规范，举几个例子来说明。首先，咱们做了模型命名规范的分层，前后缀当中要表现分层和业务环节，后缀代表模型数据的降级方式。

模型分层职责划分为，DWD理想层只做荡涤、转换、归一化等上班；DWS明细层做一些细粒度计算，包括一些复杂的计算，比如有的订复数据外面须要对每一件商品的开售额计算用户支付的金额，要把这一单商品的运费均摊到每一件商品当中，那么就要在明细层中成功运费均摊计算；DWS汇总层就是基于明细层做派生计算；DM集市层仅仅是面向运行，只取数不计算。

最后，模型内容限定，就是不同层对应不同类型的目的，且只蕴含维度、汇总粒度、期间周期等这些信息。

上图是咱们产品设计的一个demo。可以看到，汇总信息是基于派生目的失掉的，所依赖的原子目的都可以智能发现，并且定位到抢先的模型以及计算的逻辑。基于规范的目的依赖和规范的模型定义，就可以成功对模型构建和目的计算的规范化。

4、实施步骤3 - 规范目的计算和模型构建

第三个步骤是规范目的计算和模型构建。原来咱们存在一些不规范的模型开发习气，首先，咱们的模型设计和开发简直是独立的，造成人工编码上班量大，还有或许前后不分歧，存在实践的业务逻辑与定义不符。另外为了极速交付，存在一些烟囱式开发、目的重复计算和跨层依赖的状况。

在规范后的模型开发流程中，咱们对DWD层和DWS底层模型还是依照平台设计+人工开发的方式。但对DWS汇总层启动了智能构建才干的树立，平台基于目的定义和模型设计，齐全能智能发现依赖并按目的汇总逻辑生成计算代码，智能成功义务的开发、调度和运维。最后DM层相对便捷，且定位明晰：只取数不计算，平台也做了智能构建才干的树立，并允许智能生成和绑定规范数据服务。

从DWD层模型到DM层模型构建的职责划分如上图所示。前两层只管是人工开发的，但为了尽或许规范整个数仓体系的树立，模型的设计必定在平台上成功，并且平台能够对这两层模型启动继续规范化扫描和监控，防范目的模型体系的极速蜕化。

前面两层则齐全由平台启动设计，基于目的之间的关联派生相关，黑盒方式成功数据的计算可以从源头保证目的口径一致、数据品质稳固。缩小开发上班量、降落变卦的复杂性，到达目的可定位、可控制、可追溯，并且可控制。整个数仓体系的目的成功“定义即成功，所见即所得”是本平台树立的最终目的。

咱们还成功了一个目的汇总代码生成引擎，允许并形象了严选离线数仓简直一切罕用的目的计算场景。关键包括9步：首先是找到派生目的依赖的原子目的，绑定底层模型，依据派生词拼接汇总时的过滤条件，而后依据目的汇总方法拼接聚合函数，依据维度关联相应维度表，再从维度表中失掉维度属性，接着是依据取数范围拼接取数的期间周期条件，依据模型粒度拼接分组条件，最后依据回刷周期拼接目的分区。

这是咱们系统智能生成的汇总代码的一个demo，外面每一局部都能表现出前面形容的流程。

模型的颁布、降级和运维是目的数据真正落地的环节，经过对接严选大数据体系的其它相关产品如离线开发平台、实时开发平台、数据品质平台等成功。

上图是产品设计的一个demo，对模型的颁布、降级和运维齐全成功了黑盒化。这样做的好处一方面是大大降落了数据开发人工操作的上班量，他们只有要 在平台上间接点颁布，就可以成功一整套流程；另一方面也可以防止数据品质以及时效性、产出效率等方面的疑问。

网易严选已有一个相对比拟完整和成熟的数据服务平台，所以咱们就间接对接即可成功数据的对外服务。咱们经过规范化的目的和模型的定义，生成规范的数据服务的查问代码，构成了代码的模板化构建，缩小了人工干预，为下游数据经常使用规范化启动了解放。

四、成绩和总结

1、取得效果

最后做一个成绩总结，如今咱们这个平台在模型目的的定义和设计规范化，以及模型的智能化构建这两块曾经片面落地。一方面是增量的目的模型，曾经成功齐全的规范化，关于存量的目的模型正在逐渐启动切换。另一方面由于DWS汇总层以及DM层的智能化构建才干的交付，使得模型的开发效率、业务需求的交付效率都有了大幅优化。

2、业务价值

咱们的产品最关键的价值是处置了目的口径不分歧的外围疑问，关于数据的设计、消费、经常使用、保养控制都构成一致的视角，到达了降本增效的目的。

在整个实施环节中，比拟关键的一点就是咱们不时在探求规范性和灵敏性之间的平衡点，有些规范定的太死或许会造成需求不能满足，即数仓建模一些现有的场景或许无法满足；然而太灵敏又或许会造成逐渐蜕化的结果。所以其间的平衡是很关键的一项上班。