您当前的位置:首页 > 电脑百科 > 数据库 > 百科

国产数据库的崛起

时间:2022-04-26 11:00:39  来源:  作者:平行宇宙2050
国产数据库的崛起

 

得数据者得天下。数据,是未来企业发展的基石。在全民都高喊数字化转型的大背景下,不管是企业的运营,还是民生,整个社会无时无刻不在产生数据。而关于如何更好地存储和运用这些海量的数据,是我们永远都绕不开的话题。

今天我们将从历史的角度,分析历代数据库的发展脉络及各自的优缺点。以及在各种“卡脖子”的世界格局之下,国产数据库的“异军突起”-OushuDB是如何在众多数据库的“拼杀”中脱颖而出,成为世界上最快的分析型数据库,并成为中国唯一一家把自主研发的高性能数据库产品出售到美国市场。


历史回顾

  • 第一代(19世纪70年代) 关系型数据库

早在19世纪70年代,第一代专门用来存储计算机产生的数据的数据库就已经诞生。以甲骨文、IBM为代表的公司,研发了第一代数据库Oracle和DB2,这些算是数据库的鼻祖,也一直延用至今。与此同时,用于数据库数据查询的语言,SQL的标准,也是在这个时代诞生。ANSI在1986年发布了首个SQL标准。

第一代数据库主要应用于关系型数据的存储和一些业务报表的分析,它一般以单节点的形式存在,最多只能扩展到十几个节点,而且扩展也比较困难。它的性能属于中差水平,无法应对海量数据的快速分析。

代表:oracle 、DB2、sqlserver

节点:十几;扩展困难
SQL兼容性:好

性能:中

云支持:差

  • 第二代(20世纪70年代中期) 分布式数据库

伴随着互联网的高速发展,数据的规模成指数级增长。第一代数据库无论是在存储容量上或是在计算速度上,都已经无法满足需求。一次商业计算分析任务,可能要花上几个小时的等待,才能得出结果。大规模并行计算正是在这个时代发展起来。它的核心应用方向就是大数据分析,通过分而治之的思想,来实现分析任务的快速完成。

代表:teradata、greenplum

节点:几百;扩展困难
SQL兼容性:好

性能:中

云支持:差

  • 第三代(2000s) SQL-on-Hadoop架构

这一代的数据库特点是以Hadoop、HDFS为理论基础,通过存算分离的架构,来实现大数据的存储与计算。而作为通用的数据操作语言SQL,自然也被容入到了这个体系中来。典型的有HiveSQL、SparkSQL等应用框架

代表:cloudera、hive、spark

节点:上千节点,易扩展
SQL兼容性:差

性能:较好

云支持:中

主角登场

国产数据库的崛起

OushuDB应用架构

虽然第三代数据库架构已经解决了大规模存储和大规模计算等问题,但其在SQL兼容性、在实时性、在云原生支持等方面,并不那么理想。而第四代数据库,不仅仅解决了大规模的存算问题,同时还拥有更好SQL兼容、大规模集群、流批一体、湖仓一体以及天生的云原生支持等特性。

作为第四代数据库中国产数据库的代表,OushuDB具备以上所有的特性,同时还具备以下特点:

国产数据库的崛起

OushuDB特点

从下图可以看出,OushuDB在与其它数据仓库的对比中,各项指标都占据上峰:

国产数据库的崛起

OuShuDB与其它数据仓库的比较

OushuDB采用存算分离架构,不管是存储节点还是计算节点,都支持云原生状态下的独立自由扩展。

关于存储:

OushuDB的存储单元通过可插拨的方式进行自由扩展,支持S3、HDFS以及自研的Magma存储方式。三种存储方式各有特点,用户可根据不同的应用场景和预算要求,选择合适的存储方式。此处我们重点了解一下自研的Magma存储方式:

1、作为存储,Magma存储的数据是表数据,是结构化数据,不是简单的KV。

2、Magma支持对表数据做更新和删除操作。

3、它的高可用是通过Raft的协议数据复制来实现的。

4、它的事务特性是通过多版本来实现的。

5、它的高性能的是通过行列混合的存储格式来支持OLAP高性能查询。

6、它提供了数据索引功能,可以建立主键索引和非主键索引。

7、作为分布式的存储,它整合数据预处理技术,提供了便捷的集群扩展、集群容错以及负载均衡。

关于计算:

OushuDB是目前全球最快的新一代分析型云原生数据库引擎,基于SIMD技术,可以实现PB级大数据交互式查询。其性能比传统数据仓库快5-10倍,比传统SQL on Hadoop引擎快几十倍。其领先的性能优化技术包括:

1、采用了基于SIMD的全新执行器

2、动态流水线架构

3、基于SIMD的压缩解压算法

关于标准支持:

OushuDB完整兼容ANSI-SQL-92, SQL-99, SQL-2003标准, 以及OLAP扩展。对于刚接触OushuDB的用户来说,入门的门槛极低。

1、与PostgreSQL和GPDB语法兼容

2、支持事务ACID

3、支持标准JDBC, ODBC连接

4、支持存储过程(PL/pgSQL, PL/Python/ target=_blank class=infotextkey>Python et al)

5、支持混合工作负载

6、提供了存储、查询和修改空间数据的能力产品亮点

关于AI支持:

OushuDB集成LittleBoyAI平台,可提供无缝的AI应用能力支持。

1、支持内置机器学习算法库,扩展数据库分析功能

2、支持LittleBoy自动化机器学习,降低AI应用开发的难度

3、提供多种数据转换、数据探索、统计、数据挖掘和机器学习算法

4、针对分布式架构对机器学习算法库进行了优化,易于使用并提升算法性能


最后

随着各种“卡脖子”事件的不断发生,随着国家信创的不断推进。各类技术的完全自主国产化发展必定是未来的主流方向,数据库也不例外。今天的OushuDB已经是在国际数据库竟争中展露头角,未来相信OushuDB能给我们带来更多的惊喜。也希望国内能够有更多的优秀数据库厂家加入这场“战争”。让中国的数据库解决方案走向世界,走向未来。



Tags:国产数据库   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
孟晚舟现身上海!华为“根技术”发力国产数据库
《科创板日报》6月7日讯(记者 黄心怡)今日(6月7日),华为全球智慧金融峰会2023在上海开幕。华为副董事长、轮值董事长、CFO孟晚舟在会上表示,当前,技术的奇点正在临近,生成式AI、云、...【详细内容】
2023-06-08  Search: 国产数据库  点击:(92)  评论:(0)  加入收藏
内核创新,这才是国产数据库该有的样子
缺乏自主的关键技术是国产数据库被诟病最多的痛点。众所周之,国产数据库中,绝大多数是基于开源数据库改造的,尤其是基MySQL或 PostgreSQL改造的居多,这本身无可厚非。自研,并非只...【详细内容】
2022-07-25  Search: 国产数据库  点击:(326)  评论:(0)  加入收藏
三年内收入翻倍,净利润超3亿元,国产数据库这么赚钱?
文丨刘雨琦马云曾说,数据是当下“最贵”的资产,若阿里巴巴不搞云计算,可能就会死掉。而数据库作为整个数据行业的基础软件,正在迎来它的春天。国产数据库的接连上市,为信创风口...【详细内容】
2022-07-05  Search: 国产数据库  点击:(281)  评论:(0)  加入收藏
国产数据库的崛起
得数据者得天下。数据,是未来企业发展的基石。在全民都高喊数字化转型的大背景下,不管是企业的运营,还是民生,整个社会无时无刻不在产生数据。而关于如何更好地存储和运用这些...【详细内容】
2022-04-26  Search: 国产数据库  点击:(461)  评论:(0)  加入收藏
从RDS算不算国产数据库谈起
RDS算不算数据库这个争论在几年前有过,DB-ENGINE把RDS收录为数据库产品后,这种争论少了很多。实际上RDS是关系型数据库服务的简称,本身RDS不是数据库,而RDS使用一些开源的数据库...【详细内容】
2022-03-29  Search: 国产数据库  点击:(418)  评论:(0)  加入收藏
▌简易百科推荐
向量数据库落地实践
本文基于京东内部向量数据库vearch进行实践。Vearch 是对大规模深度学习向量进行高性能相似搜索的弹性分布式系统。详见: https://github.com/vearch/zh_docs/blob/v3.3.X/do...【详细内容】
2024-04-03  京东云开发者    Tags:向量数据库   点击:(9)  评论:(0)  加入收藏
原来 SQL 函数是可以内联的!
介绍在某些情况下,SQL 函数(即指定LANGUAGE SQL)会将其函数体内联到调用它的查询中,而不是直接调用。这可以带来显著的性能提升,因为函数体可以暴露给调用查询的规划器,从而规划器...【详细内容】
2024-04-03  红石PG  微信公众号  Tags:SQL 函数   点击:(7)  评论:(0)  加入收藏
如何正确选择NoSQL数据库
译者 | 陈峻审校 | 重楼Allied Market Research最近发布的一份报告指出,业界对于NoSQL数据库的需求正在持续上升。2022年,全球NoSQL市场的销售额已达73亿美元,预计到2032年将达...【详细内容】
2024-03-28    51CTO  Tags:NoSQL   点击:(19)  评论:(0)  加入收藏
为什么数据库连接池不采用 IO 多路复用?
这是一个非常好的问题。IO多路复用被视为是非常好的性能助力器。但是一般我们在使用DB时,还是经常性采用c3p0,tomcat connection pool等技术来与DB连接,哪怕整个程序已经变成以...【详细内容】
2024-03-27  dbaplus社群    Tags:数据库连接池   点击:(19)  评论:(0)  加入收藏
八个常见的数据可视化错误以及如何避免它们
在当今以数据驱动为主导的世界里,清晰且具有洞察力的数据可视化至关重要。然而,在创建数据可视化时很容易犯错误,这可能导致对数据的错误解读。本文将探讨一些常见的糟糕数据可...【详细内容】
2024-03-26  DeepHub IMBA  微信公众号  Tags:数据可视化   点击:(11)  评论:(0)  加入收藏
到底有没有必要分库分表,如何考量的
关于是否需要进行分库分表,可以根据以下考量因素来决定: 数据量和负载:如果数据量巨大且负载压力较大,单一库单一表可能无法满足性能需求,考虑分库分表。 数据增长:预估数据增长...【详细内容】
2024-03-20  码上遇见你  微信公众号  Tags:分库分表   点击:(17)  评论:(0)  加入收藏
在 SQL 中写了 in 和 not in,技术总监说要炒了我……
WHY?IN 和 NOT IN 是比较常用的关键字,为什么要尽量避免呢?1、效率低项目中遇到这么个情况:t1表 和 t2表 都是150w条数据,600M的样子,都不算大。但是这样一句查询 ↓select *...【详细内容】
2024-03-18  dbaplus社群    Tags:SQL   点击:(9)  评论:(0)  加入收藏
应对慢SQL的致胜法宝:7大实例剖析+优化原则
大促备战,最大的隐患项之一就是慢SQL,对于服务平稳运行带来的破坏性最大,也是日常工作中经常带来整个应用抖动的最大隐患,在日常开发中如何避免出现慢SQL,出现了慢SQL应该按照什...【详细内容】
2024-03-14  京东云开发者    Tags:慢SQL   点击:(10)  评论:(0)  加入收藏
过去一年,我看到了数据库领域的十大发展趋势
作者 | 朱洁策划 | 李冬梅过去一年,行业信心跌至冰点2022 年中,红衫的一篇《适应与忍耐》的报告,对公司经营提出了预警,让各个公司保持现金流,重整团队,想办法增加盈利。这篇报告...【详细内容】
2024-03-12    InfoQ  Tags:数据库   点击:(37)  评论:(0)  加入收藏
SQL优化的七个方法,你会哪个?
一、插入数据优化 普通插入:在平时我们执行insert语句的时候,可能都是一条一条数据插入进去的,就像下面这样。INSERT INTO `department` VALUES(1, '研发部(RD)', &#39...【详细内容】
2024-03-07  程序员恰恰  微信公众号  Tags:SQL优化   点击:(22)  评论:(0)  加入收藏
站内最新
站内热门
站内头条