探索数仓模型设计:从IBM BDWM到NCR FS-LDM的行业应用与启发 高端seo关键词推广


本文是我在写中台系列时在整理自己的历史文档时发现的关于数据仓库模型的设计文档。

本文最初由时任 IBM 信息技术专家  Bao 于 2008 年在 IBM 网站上发表。这篇文档当时给了我很大的启发。

俗话说,水无定势,兵无常法。不同的行业有不同的特点。因此,从业务角度来看,它们对应的数据模型有很大不同。目前业界比较主流的数据仓库厂商是IBM和NCR。这两家公司除了提供比较强大的数据仓库平台之外,还拥有自己针对某个行业的数据模型。

例如,在银行业,IBM有自己的BDWM(数据模型),NCR有自己的FS-LDM模型。在电信行业,IBM有TDWM(数据模型),NCR有自己的TS-LDM模型。所以我们看到不同的企业对于某个行业有自己的理解,所以针对某个行业就会有不同的企业模式。对于不同的行业,同一家公司也会有不同的模式,这主要取决于不同行业的不同业务特点。

例如IBM的TDWM模型总共包含以下9个概念,如下图:

图 1. IBM 的 TDWM 概念模型

很多人可能会问,为什么你的模型有9个概念,而不是10个或11个?您的数据仓库模型的基础是什么?事实上,这是我们在向客户介绍我们的数据模型时经常被问到的问题。希望读者读完本文后能找到自己的答案。

虽然每个行业都有自己的模型,但我们发现不同行业的数据模型在数据建模方法上有共同的基本特征。

本文的一个主要目的是希望读者通过阅读本文的同时,结合自己在数据仓库建设方面的经验,总结出一套适合自己在构建数据仓库时的建模方法。仓库,可以更好的帮助客户发挥数据仓库的作用。

本文的主线是回答以下三个问题:

最后,在本文的最后,我们向您介绍一个具体的数据仓库建模示例,帮助您理解整个数据建模过程。

什么是数据模型

数据模型是抽象描述现实世界的工具和方法。它是通过抽象实体和实体之间的关系来表示现实世界中交易相互关系的映射。这里,数据模型表示实体之间的抽象关系,并通过实体之间关系的定义和描述来表达实际业务中的具体业务关系。

数据仓库模型是针对特定数据仓库应用系统的数据模型中的具体数据模型。一般来说,我们的数据仓库模型分为几个层次,如图1所示。

图 2. 数据仓库模型

通过上图我们不难看出,在整个数据仓库建模过程中,我们需要经历四个大致流程:

因此,整个数据仓库模型的设计和架构既涉及到业务知识,又涉及到具体的技术。我们不仅需要了解丰富的行业经验,还需要一定的信息技术来帮助我们实现目标。数据模型,最重要的是,我们还需要一个非常适用的方法论来指导我们业务各个阶段的抽象、处理、生成模型。

为什么需要数据模型

在数据仓库的建设中,我们多次强调数据模型的必要性,那么为什么数据模型如此重要呢?首先,我们需要了解整个数据仓库建设的发展历史。

数据仓库的发展大致经历了三个过程:

通过数据仓库建设的发展阶段可以看出,数据仓库建设与数据集市建设的重要区别在于数据模型的支持。因此,数据模型的构建对于我们数据仓库的建设具有决定性的意义。

一般来说,数据模型的构建主要可以帮助我们解决以下问题:

如何构建数据模型

既然构建数据模型是整个数据仓库建设中非常重要的关键部分,那么如何构建我们的数据仓库模型就是我们需要解决的问题。这里我们将详细介绍如何创建适合您的数据模型。

数据仓库数据模型架构

数据仓库的数据模型架构与数据仓库的整体架构密切相关。我们先来了解一下整个数据仓库的数据模型应该包含哪几个部分。从下图中,我们可以清楚地看到整个数据模型架构分为5个部分,每个部分实际上都有自己独特的功能。

图 3. 数据仓库数据模型架构

从上图我们可以看出,整个数据仓库的数据模型大致可以分为5个部分:

通过对整个数据仓库模型的数据区域的划分,我们可以了解到,一个好的数据模型不仅对业务进行了抽象的划分,而且对实现技术也提供了具体的指导。它应该涵盖从业务到实施的所有内容。技术的各个部分。

数据仓库建模阶段划分

我们之前已经介绍过数据仓库模型的几个层次。下面分别讲一下这几个层次不同阶段数据建模工作的主要内容:

图 4. 数据仓库建模阶段的划分

从上图我们可以清楚地看到数据仓库的数据建模大致分为四个阶段:

业务建模,这部分建模工作,主要包括以下几个部分:

领域概念建模,这部分建模工作,主要包括以下几个部分:

逻辑建模,这部分建模工作,主要包括以下几个部分:

物理建模,这部分建模工作,主要包括以下几个部分:

从上面对数据仓库的数据建模阶段的划分,我们可以了解整个数据仓库建模的主要工作和工作量,希望对我们在实际的项目建设中有所帮助。

数据仓库建模方法

世界表面上看起来五光十色,但实际上,一切都遵循着自己的规律。数据仓库的建模方法也有很多。每一种建模方法实际上都代表了一种哲学观点、一种归纳、一种概括世界的方式。目前业界流行的数据仓库建模方法有很多。这里主要介绍范式建模方法、维度建模方法、实体建模方法等几种方法。每种方法实际上都是从不同的角度来看待的。我们业务中的问题,无论是从技术层面还是从业务层面,其实都代表了一种哲学世界观。下面我们将详细介绍这些建模方法。

1.范式建模方法(Third Form,3NF)

范式建模方法实际上是构建数据模型的常用方法。该方法主要由Inmon倡导,是主要解决关系数据库的数据存储和利用的技术方法。目前,我们在关系数据库中的建模方法大多采用三范式建模方法。

范式是数据库逻辑模型设计的基本理论。关系模型可以无损地从第一范式分解到第五范式。这个过程也可以称为标准化。第三范式一般用于数据仓库模型设计,它有严格的数学定义。从其表达的意义来看,符合第三范式的关系必须具备以下三个条件:

由于该范式是基于整个关系数据库的理论基础而开发的,所以这里就不介绍了。有兴趣的读者可以通过阅读相应的资料来获取这方面的知识。

按照Inmon的观点,数据仓库模型的构建方法与业务系统的企业数据模型类似。在业务系统中,企业数据模型决定了数据的来源,企业数据模型也分为两个层次,即主题领域模型和逻辑模型。同样,主题领域模型可以看作是业务模型的概念模型,而逻辑模型则是领域模型在关系数据库上的实例化。

图5 范式建模方法

从业务数据模型转向数据仓库模型时,还需要数据仓库的领域模型,即概念模型,同时还有领域模型的逻辑模型。这里,业务模型中的数据模型与数据仓库中的模型略有不同。主要区别是:

在笔者看来,Inmon的范式建模方法最大的优点是可以从关系数据库的角度,将其与业务系统的数据模型相结合,更加方便地实现数据仓库建模。但其缺点也很明显。由于建模方法仅限于关系数据库,有时会限制整个数据仓库模型的灵活性和性能,特别是考虑到数据仓库的底层数据转移到数据集市。在聚合数据时,需要进行一定的修改以满足相应的需求。因此,笔者建议读者在实际使用中参考该建模方法。

2. 维度建模方法

维度建模方法最先提出了这个概念。最简单的描述就是基于事实表和维度表构建数据仓库和数据集市。这种方法最广为人知的名称是星型模式(Star-)。

图 6. 维度建模方法

上图中的架构是典型的星型架构。星型模型之所以被广泛使用,是因为对每个维度都做了大量的预处理,比如按照维度进行预先统计、分类、排序等。通过这些预处理,可以大大提高数据仓库的处理能力。特别是对于3NF建模方法,星型模型在性能上具有明显的优势。

同时,维度建模方法的另一个优点是维度建模非常直观,紧密围绕业务模型,能够直观地反映业务模型中的业务问题。无需特殊抽象即可完成维度建模。这也是维度建模的优势。

然而,维度建模方法的缺点也非常明显。由于在构建星型模型之前需要进行大量的数据预处理,因此会导致大量的数据处理工作。而且,当业务发生变化,需要重新定义维度时,往往需要重新对维度数据进行预处理。在这些处理过程中,往往会造成大量的数据冗余。

维度建模方法的另一个缺点是,如果仅仅依靠纯粹的维度建模,无法保证数据源的一致性和准确性,并且在数据仓库底层,并不是特别适合维度建模的方法。

因此,在笔者看来,维度建模领域主要适用于数据集市层,其最大的作用其实就是解决数据仓库建模中的性能问题。维度建模很难提供一种抽象方法来完整地描述真实业务实体之间的复杂关系。

3.实体建模方法

实体建模不是数据仓库建模中的常用方法。它来自哲学流派。从哲学意义上来说,客观世界应该是可再分的。客观世界应该分为实体和实体之间的关系。那么我们就可以在数据仓库建模过程中引入这种抽象方法,整个业务就可以被一一划分为实体,而每个实体之间的关系以及这些关系的描述就是我们数据建模需要做的工作。

虽然实体法乍一看似乎很抽象,但实际上很容易理解。也就是说,我们可以将任何业务流程分为3个部分,实体、事件和描述,如下图所示:

图 7. 实体建模方法

上图表达了一个抽象的意思。如果我们描述一个简单的事实:“小明开车去学校”。以这个商业事实为例,我们可以将“小明”和“学校”视为一个实体。 “上学”描述了一个业务流程。这里我们可以将其抽象为一个具体的“事件”,而“开车去”则可以看作是对“上学”事件的解释。

从上面的例子我们可以了解到,我们使用的抽象归纳方法其实非常简单。任何一个业务都可以看作是三个部分:

由于实体建模方法可以方便地实现业务模型的划分,因此在业务建模阶段和领域概念建模阶段得到广泛应用。从笔者的经验来看,当没有现成的行业模型时,我们可以使用实体建模的方法,与客户一起理清整个业务模型,划分领域概念模型,抽象出具体的业务概念。结合客户的使用特点,您可以创建满足您需求的数据仓库模型。

然而,实体建模方法也有其固有的缺陷。由于实体描述方法只是一种对客观世界进行抽象的方法,注定了这种建模方法只能局限于业务建模和领域概念建模阶段。因此,到了逻辑建模阶段和物理建模阶段,就是发挥范式建模和维度建模优势的阶段。

因此,笔者建议读者在创建自己的数据仓库模型时,可以参考以上三种数据仓库建模方法,并在不同阶段使用不同的方法,以保证整个数据仓库建模的质量。

数据仓库建模示例

以上介绍的是一些抽象的建模方法和理论,可能比较难理解。因此,笔者在这里举了一个例子。读者可以按照我们的示例来初步了解整个数据仓库建模过程。

背景介绍

熟悉社保行业的读者都会知道,目前我国的社保主要分为六大业务领域:养老、失业、工伤、生育、医疗保险和劳动力市场。在这六大业务领域中,目前养老金和职业体系的现状已经基本完善,部分数据已经开始上线测试。但对于工伤、生育、医疗、劳动力市场业务,有的地方相对成熟,有的地方还不够成熟。

1.业务建模阶段

基于上面的背景介绍,我们在业务建模阶段就可以很容易的划分出相应的业务。因此,在业务建模阶段,我们基本确定了我们数据仓库建设的目标、建设方法以及长期规划。如下图:

图 8. 业务建模阶段

在这里,我们把整个业务明确划分为几大业务线,比如:养老、失业、工伤、生育、医疗、劳动力等,然后我们可以基于这几大模块,在每个业务线,考虑特定业务线内需要分析的业务主题。

所以,业务建模阶段实际上就是和业务人员一起梳理业务的过程。在这个过程中,不仅可以帮助我们的技术人员更好的了解业务,另一方面也可以发现业务流程中的一些不合理的环节。 、改进、改进。

同时,业务建模阶段的另一个重要任务就是确定我们数据建模的范围。例如,在某些数据准备不充分的业务模块中,我们可能会考虑先不构建相应的数据模型。当条件足够成熟的时候,我们可以再次考虑数据建模的问题。

2.领域概念建模阶段

领域概念建模阶段是数据仓库数据建模的重要阶段。由于我们在业务建模阶段已经完全明确了相应的业务范围和流程,所以我们在这个领域概念建模阶段最重要的工作就是对概念进行抽象,整个领域概念建模的工作层次如下图所示:

图 9. 领域概念建模阶段

从上图我们可以清楚地看到,领域概念建模采用实体建模的方法,从复杂的业务表示背后抽象出实体、事件、描述等抽象实体,从而找出业务后抽象实体之间的相互关联性。表示保证了我们的数据仓库数据按照数据模型能够达到的一致性和关联性。

从图中我们可以将整个抽象过程分为四个层次,分别是:

通过领域概念建模,将数据仓库模型抽象为实体,构建模型框架。下一步是在这些框架中注入有效的机构。

3.逻辑建模阶段

领域概念建模后,虽然模型的框架已经完成,但仍有大量的细节工作需要完成。一般来说现阶段我们还需要做很多工作,主要包括:

总而言之,在逻辑建模阶段,我们主要考虑抽象实体的一些细节属性。通过逻辑建模阶段,我们可以将整个概念模型完全连接成一个有机实体,充分表达业务之间的关联性。

现阶段笔者建议大家参考3NF建模方法来表达实体的属性以及实体之间的联系。例如:现阶段我们可以使用ERWIN等建模工具来创建符合3NF的关系数据模型。

4.物理建模阶段

物理建模阶段是整个数据建模的最后一个过程。这个过程实际上是实现前面的逻辑数据模型的过程。考虑到不同的数据仓库平台,数据模型的物理建模过程可能会略有不同。现阶段我们的主要工作是:

经过物理建模阶段,整个数据仓库模型就完成了。我们可以根据自己的设计,针对当前的行业,创建一个符合我们需求的数据模型。

在这里,作者希望通过一个数据建模的例子,让读者对数据仓库建模有一个感性的认识。希望读者在使用这些数据仓库建模方法创建自己的数据模型时,能够根据自己的实际业务需求和对抽象能力的掌握,创建出适合自己的数据模型。

结尾

作者:松子(李博渊),自由撰稿人,数据产品&BI高级总监。我从2000年开始涉足数据领域,是一名互联网数据考古学家,经历过互联网的古生代、中生代和当今时代。


# 探索数仓模型设计:从IBM BDWM到NCR FS-LDM的行业应用与启发  # 探索数仓模型设计  # 从IBM BDWM到NCR FS-LDM的行业应用与启发  # 自己的  # 我们可以  # 几个  # 主要包括  # 这部  # 上图  # 在这里  # 如下图  # 过程中  # 还需要  # 所示  # 您的  # 互联网  # 都有  # 也有  # 图中  # 在这个  # 就可以  # 是从  # 将其  # 涟源百度网站推广电话  # SEO网站系统变美文app  # 网站关键字自己推广  # 吉安市场营销推广服务费  # 优化网站排名很难吗  # 开封营销型网站建设  # 池州网站优化推广  # 企业网站的运营与推广方案  # 临沂网站建设免费推广  # 招商外贸机械网站建设  # 免费网站建设哪家更好  # 肇庆推广网站多少钱  # 面膜推广营销技巧  # seo涂鸦  # seo开源关键词系统  # 成都营销推广系统  # 医院内网网站建设  # 延边网站优化公司有哪些  # 关于5G网站建设  # 十堰房地产网站推广 


相关栏目: 【 Google疑问12 】 【 Facebook疑问10 】 【 网络优化76771 】 【 技术知识130152 】 【 IDC云计算60162 】 【 营销推广131313 】 【 AI优化88182 】 【 百度推广37138 】 【 网站推荐60173 】 【 精选阅读31334


相关推荐: 关键词定位:精准营销的核心利器,让你一招制胜!,金华抖音关键词搜索排名怎么投放  2020年网站优化的7个SEO核心技巧!  3种非常火爆的APP推广方法以及实用小技巧分享!  为什么选择老域名工具?提升网站SEO与品牌影响力的秘密武器,饰品店营销推广策略研究  广告推广的基本形式和推广特点分析  足不出户在家赚钱的项目有哪些呢?推荐这7种!  网站主动引流推广赚钱该怎么做?这6个方法简单又实用!  遇到一些“做任务”的推广你可要小心了,很容易被骗!  SEO优化:让你的网站在竞争中脱颖而出,优化首页网站加载  SEO有话:如何用精准优化助力企业在线增长,秦皇岛营销网站推广介绍  SEO考核:如何通过精准的SEO优化提升网站排名与流量,营销方案推广模板  高佣联盟是什么?使用高佣联盟有什么好处?  刷流浪软件:开启手机新世界,释放无限可能,永州关键词排名哪家靠谱  SEO超级,助力企业站点冲刺搜索引擎排名,热门游戏网站推广  【站长联盟】个人站长怎么通过网站赚钱?  app长期运营推广的5个全网覆盖、精细化运营思路!  为什么选择B站VIP?让你畅享更丰富的视听体验,学seo要注意什么  关键词截流:数字营销中的制胜利器,抖音推广怎么做热门网站  成年人副业赚钱是必选项!哪些副业挣钱项目比较靠谱?  SEO联系:如何通过SEO优化提升您的网络营销效果,黄陵360推广网站在哪  《命运交错的轨迹:小说背后的无尽魅力》,巴南区的网站推广团队  SEO文案:如何通过巧妙布局提升网站排名,吸引更多流量,重复关键词搜索排名  app运营精细化如何做?这三个核心指标务必明确!  互联网快排:助力企业网站流量爆发的秘密武器,晋中市场推广营销招聘  互联网留痕:数字时代的隐形轨迹与自我管理,最新seo网站优化教程视频免费  全民|直播|时代到来,|直播|赚钱真的很轻松吗?  七个零成本引流的app推广运营技巧,让目标用户主动来访!  日付广告联盟怎么样,怎么在上面赚钱?  网站上挂的广告联盟平台上的联盟广告不赚钱怎么办?  SEO王:掌控搜索引擎优化的至高法则,助力企业飞速腾飞,威海济南seo优化定制  SEO好吗?助力网站成功的关键之道,众筹网站建设哪家好  广告联盟都是怎么分析和判断数据是不是作弊的?  单价一般多少钱?有没有高价单子呢?  揭秘通过广告联盟年入百万所需要哪些条件!  竞价广告该如何投放,有什么技巧可借鉴的?  网站没流量?巧用这些网络推广方法来为网站引流!  加强曝光,让品牌快速崛起的营销利器,seo软件哪家便宜好用  SEO手法如何通过精准优化提升网站排名,获取海量流量,凤岗公司网站建设价格  秀场|直播|在微信*号上进行|直播|将成为一种可能?  怎样做才能够有效的增加网站流量?  四个非常有效且热门的引流方式,做好了日引流100+非常轻松!  交友联盟收益怎么样?哪家靠谱?  app推广拉新之app成功与否关键在于这3个运营策略!  怎么用个人社交账号来进行推广赚钱?  适合个人网站进行广告推广赚钱的5大广告联盟平台推荐!  社交app推广引流之微信陌生人社交推广引流吸粉!  高佣联盟赚钱是真的吗?高佣联盟怎么赚钱,有哪些技巧和方法?  优化百:开启数字时代的智能营销新时代,长安区竞价网站推广排名  ​怎样才能在联盟上推广|直播|、聊天交友类app注册赚到更多的钱?  教你如何利用app交叉推广来0成本推广自己的app,大量吸粉! 

 2026-01-15

了解您产品搜索量及市场趋势,制定营销计划

同行竞争及网站分析保障您的广告效果

点击免费数据支持

提交您的需求,1小时内享受我们的专业解答。

致胜网络推广营销网


致胜网络推广营销网

致胜网络推广营销网专注海外推广十年,是谷歌推广.Facebook广告全球合作伙伴,我们精英化的技术团队为企业提供谷歌海外推广+外贸网站建设+网站维护运营+Google SEO优化+社交营销为您提供一站式海外营销服务。

 915688610

 17370845950

 915688610@qq.com

Notice

We and selected third parties use cookies or similar technologies for technical purposes and, with your consent, for other purposes as specified in the cookie policy.
You can consent to the use of such technologies by closing this notice, by interacting with any link or button outside of this notice or by continuing to browse otherwise.