聊聊数据库是消息化的减速器

昨天关于NESTED LOOPBATCHING的文章，有好友说这是口头方案选用失误，而不是笛卡尔积的疑问。实践上此类SQL性能疑问，都是由于统计数据而选错了口头方案。

昨天谈到的疑问是由于NESTED LOOP BATCHING的存在，让NLJ的口头方案选用变得更为复杂了，NESTED LOOPBATCHING有三个行源，两层NESTED LOOP，Oracle实践上是把一个两表衔接改为三个行源(其中一张表发生两个行源)的衔接，并且NESTEDLOOPBATCHING可以经常使用笛卡尔积来处置内循环，这种衔接实践上是更为复杂了。因此在统计消息不准，并且表上存在相相似索引或许有独特索引字段索引的时刻，很容易选错索引。

Oracle数据库为什么要如此拼命的去优化优化器，优化对数据的处置才干呢?这种状况，让开发商分拆了SQL，敞开了表衔接，不就不会出疑问了呢?实践上这和我当天要谈的疑问是无关联的。

前几天有人问我，假设说操作系统是消息化的奠基石，那么数据库算什么?我想了想说，从这个角度讲，数据库是消息化的减速器。

现代的大型数据库系统曾经和40多年前刚刚发生的数据库系统齐全不是一个概念了，现在的RDBMS关键是作为数据存储和检索的基础设备，能成功高效的存取数据就可以了，而数据处置还是由运行程序去成功。

而如今的大型相关型数据库系统不只仅是一个数据存储的平台，更是一个数据计算的平台。假设在现代社会里，要求RDBMS回归数据存储与检索的配置，而让更多的数据处置和复杂计算交给程序代码去做，在大少数运行场景下，这实践上是一种技术的发展，而不是真正的提高。

90年代初，我刚刚参与上班的时刻，作为一个软件工程师，接触的数据库系统是十分繁难的，过后还不是RDBMS，而是一个记载治理系统(RMS)，咱们顶多可以经过索引减速某些检索，不过数据的复杂处置都须要我在C言语的程序里经过自己写算法来启动。这种开发是十分低效，几个月后，我第一次性经常使用大型数据库系统DEC-RDB的时刻，发现以前我花半天时间写的处置的数据的程序，改用SQL语句写，几分钟就搞定了，大局部的时刻处置效率还比我写的程序高。从那开局我就青睐上了相关型数据库，这是一个提高开发效率的利器。

从90年代C/S架构逐渐盛行开局，位于运行系统后端的大型集中式相关型数据库就曾经不是那个当年只是用来存储一些数据的小容器了，而变成了一个数据计算的平台。从那时刻起，再把数据库定位为数据存取的IT基础设备就不适合了。以Oracle数据库为例，它始终地把各种数据计算的配置整合在RDBMS中，空间计算、XMLDB等配置始终地空虚着Oracle的武器库，甚至在最新的Oracle数据库里，区块链表、深度学习模型等都曾经成为了标配的配置。开发人员不须要有太深的人工智能算法和区块链的通常，就可以极速高效的开发相关的运行系统了。

后端弱小的计算才干，也让前端开发人员获取了极大的束缚，只需能画个界面，写点繁难的环节化言语代码的人都可以成为一个合格的程序员了。这个趋向到了B/S架构时代就更为显著了。J2EE框架让运行程序开发的门槛进一步降落，很多中文系的毕业生都添加到了码农的队伍里了。

假设大型相关型数据库没有开展成为一个数据存储、数据处置、数据计算的综合性平台，那么仅仅依托那些数量有限的长得像黑客一样的人，写着C言语的代码去开发治理消息系统，那么我想咱们的消息化进程至少要滞后十年二十年。正是大型相关型数据库让运行开发的门槛降落到了一个十分低的低点，才大大促成了消息化的开展。从这一点过去说，数据库是消息化的减速器，并不夸张。

最近仿佛有一种思潮，那就是数据库的配置太弱小了，做了太多程序员该做的事件，因此运行的实质须要有所回归，让一些数据处置的上班从数据库中剥离进去，回归到程序中来。这实践上是互联网公司这些年都在做的事件，由于集中式数据库是一个核心单点，是极不容易横向裁减的，对互联网业务的开展是一个极大的制约。因此互联网企业驳回散布式架构来冲破集中式数据库的瓶颈，将数据扩散到海量的散布式的小型数据库中。这种数据架构的改革让以前大型数据库的很多集中式计算的配置都无法成功了，数据库逐渐又退步为数据存取的基础设备了。

互联网企业的成功让很多人都在反思大型数据库是不是捞过界了，是不是真的须要让数据库的配置向其远祖退步。有一阵子我也是这种思潮的粉丝，以为互联网企业的成功可以复制到传统行业中去，从而彻底处置集中式数据库的疑问。不过随着这些年在传统行业里摸爬滚打，我发现互联网企业的成功阅历并不必定都能够向传统行业去复制，由于业务迸发式的开展，须要处置的数据越来越多，企业治理越来越依赖消息化手腕，这造成了消息系统研发的压力越来越大。而咱们的研发才干的树立往往要慢得多，因此往往传统行业学习互联网企业的致力变成了东施效颦。

假设一切的传统行业运行开发才干要到达互联网企业的水平，那么具备很高数据复杂处置才干的的程序员就不够用了。消息化的开展是不等人的，不会等咱们再花数年的期间去造就一批能够应用互联网架构开发系统的高水平的码农，少量的消息系统的树立还只能驳回改良的传统架构。程序员还是须要以写SQL为主去成功复杂的业务逻辑。因此，在目前这个时代里，咱们还须要十分弱小的数据库来撑持消息化树立，数据库向着愈加复杂的数据处置综合平台开展的趋向也会越来越快，哪个数据库产品能够愈加高效，愈加低代码的成功复杂数据处置，哪个数据库在未来就能占据更大的市场份额。

高效的处置复杂数据对数据库厂商提出了更高的要求，咱们的国产数据库不只仅是要模拟国外商用数据库的形，更要追逐他人在数据处置种类，才干，性能等方面的技术，尽快把自己的产品与竞品的技术差距增加了。

最后要说的一点，数据库优化数据处置的才干抑或是研发人员繁难的经常使用数据库的超强的数据计算才干并不是说开发人员可以胡作非为的写SQL语句，从而让数据库接受渺小的压力。数据库可以高效的处置复杂的数据和业务逻辑，并不等于一切都交给数据库去做。当数据库对某些处置才干无余的时刻，还是须要咱们的开发人员去优化去规避的。这里只想表白的意思是，限度一条SQL不能超越3张表关联，不能写太复杂的SQL，这只应该是某些技术还不够成熟的不凡阶段的一些限度，随着数据库技术的开展，这些限度必需是越少越好。