Sybase三驾马车引擎之-Sybase IQ快速智慧决策的奥秘

互联网 | 编辑: 江海明 2008-01-28 14:52:00转载-投稿 返回原文

查询响应时间

目前越来越快的生活和工作节奏,使得企业用户尤其是领导决策者,不能忍受几分钟甚至几小时出一张报表的缓慢节奏,即便是上亿条纪录的统计信息。快速的查询响应速度成为判断一个数据仓库是否成功的关键因素。

Sybase公司专为分析型应用与数据仓库而设计了Sybase IQ,使数据仓库应用拥有了卓越的查询性能与最低的总拥有成本。Sybase表示,不论有多少数据在数据仓库中,不论有多少用户在执行查询,使用Sybase IQ这款拥有列式存储、专利索引、查询优化等技术的数据仓库引擎,带来的查询速度将是传统数据库的10-100倍。无庸置疑,快速的决策并为企业带来高度的竞争优势。Sybase IQ如何帮助企业将海量信息快速转化为智慧的决策的呢?

查询响应时间

快速的响应速度可以帮助企业获得及时的信息,并快速做出反应,帮助企业在激烈的行业竞争中保持领先地位。Sybase IQ是如何实现快速的查询响应的呢?

首先,Sybase IQ是按列存储数据仓库阵营的主要推动者和倡导者。按列存储数据时,由于相邻接的字段值具有相同的数据类型,所以使Sybase IQ更容易对数据做压缩处理。按列存储可明显降低I/O,提高查询速度,并有效进行压缩,降低存储空间开销!在查询时,Sybase IQ可比传统的按行存储数据库节省90%的 I/O。

此外,Sybase IQ采用了专利的索引技术。通常,索引是传统数据库经常使用的提高查询的一种优化策略,通过索引,系统可快速定位所要的数据位置,避免在查询时对表进行全部扫描,减少查询工作量。工作量(多为磁盘I/O)减少的结果使得查询速度加快。针对不同的数据类型和使用方式,Sybase IQ中还引入了9大类索引来满足不同类型的查询需求。

通过采用了按列存储和专利的索引技术,Sybase IQ可提供高于传统数据库10-100倍的查询统计速度。

数据存储效率

传统的数据库,为支持快速的查询定位,通常要采用索引技术来加速查询定位速度,因此需要在数据库中保存2份数据--数据和索引。而在海量数据情况下,人们发现有时即便是采用索引也不能有效的获得所需的性能,因此又增加了第3份数据--中间汇总数据,也就是说在进行统计汇总前,先对明细流水进行日结或月结,这样当真正需要统计时,直接在日结或月结表这些中间数据进行就可以了,可以大大提高查询响应速度。

Sybase IQ专利的索引技术使其在进行数据存储管理时,不需要象传统数据库一样,分别保存数据和索引两份数据,而是保存了一份索引和数据合一的数据,因此可大大减少存储空间。同时,由于按列存储数据时每列的数据类型相同,所以更容易对数据作压缩处理。而在传统的按行存储数据的情况下,就不可能有这样的效果,因为列与列之间数据类型通常是不同的。数据压缩的另一好处,是经过规范化处理而形成的表不会对磁盘空间有过量的要求,因为重复的数据经压缩实际上就消除了。由于在索引中广泛的采用了压缩技术,因此存储后的数据所占用的空间比原始数据还小。

得益于Sybase IQ快速的查询响应速度,使用Sybase IQ的用户不必面临必须建立中间汇总表的窘况,因此与传统的数据仓库需要保存3份数据相比,Sybase IQ只需要保存1份压缩的数据,通常可实现30-70%的压缩。而不是其它传统数据库3-5倍的膨胀。如2007年刚刚公布的,架构在Sybase+SUN+BMMSoft 3家公司基础之上全球最大的数据仓库,原始数据为1PB(1024TB),但加载到Sybase IQ中只占用了153TB的存储。

系统可扩展性

Sybase IQ允许用户象滚雪球一样,从小规模启动,并不断扩展到巨大的规模。其Multiplex技术允许用户通过采用不断增加机器的方式,来获得系统性能的线性增长,以此来支持更多的用户和查询处理需求。

Sybase IQ的实际运行性能测试表明,它具有97%至100%的额外节点伸缩能力,而在类似的环境中,传统的关系型数据库只有50%至70%的伸缩能力。从轻负荷(任意一个节点以100%的速度运行,其它节点都处于停顿状态)转换到满负荷(所有节点都以100%的速度饱和运行),响应时间增加了1% 至 2%,因此,提供给我们的伸缩能力是 97%至100%。

数据加载速度

Sybase IQ提供了从源数据库直接进行数据加载,单条数据SQL语句加载,文本方式进行加载,通过ETL工具进行加载等多种数据加载方式。由于Sybase IQ采用的是按列存储方式,因此当加载数据量比较大时,其不建议采用单条轮循的加载方式,而建议采用批量加载方式以提高加载性能。

在由InfoSizing独立测试机构最新测试的“1PB数据仓库参考架构”测试中,Sybase IQ不论是对结构化,还是非结构化数据,均有出色的数据加载表现。

总拥有成本

我们了解,每项IT支出都应该增加正面的、可衡量的商业价值,而不是带来巨大的附加成本。现在,Sybase IQ真正满足您的需求:

节约存储成本/数据压缩:Sybase IQ 压缩数据存储可以多至70%。在由TPC测试专家Francois Raab主持的基准测试中,Sybase IQ加载了1PB的原始数据,而将其压缩到155TB的数据仓库中,大大节约了存储成本。

降低维护成本: 彻底消除为每个查询进行调优的需要,消除为管理和维护新增节点和数据花费大量时间和资源的的需要,Sybase IQ降低了数据管理成本,减少了维护工作量及其相关成本。

加快部署: 由于Sybase IQ从下到上都是为分析而建构,所以相比传统的数据库,仅需很少的部署时间。使用IQ,不需要为分析而在数据库上面花费很多工作。部署时间可以大幅减少多达80%。

利用现有投资: 正如所有Sybase技术,Sybase IQ基于开放标准,确保与企业现有IT资产的集成与协同工作。

综上所述,Sybase IQ可最大程度的降低您的投资成本,加快您的投资回报进程。

返回原文

本文导航

相关阅读

每日精选

点击查看更多

首页 手机 数码相机 笔记本 游戏 DIY硬件 硬件外设 办公中心 数字家电 平板电脑