当前,金融行业面临着两大难题:一是海量数据的存储及查询分析,二是信息系统的安全可控。传统的数据存储方案已无法满足银行等金融企业大数据的需求,银行IT系统随着数据量的增大,查询性能急剧下降,甚至达到无法响应的程度。另一方面,去年6月发生的棱镜门事件及随后中央网络安全信息化小组的成立,更加强化了金融网络和信息系统实现自主可控的重要性。
面对大数据时代的数据分析与数据安全问题,坚持自主创新、寻求国产化替代,将成为国内金融业信息化的突围之路。南大通用自主研发的国产新型数据库Gbase 8a数据库能够实现大数据的全数据存储管理与高效分析,为金融行业大数据应用提供完整的数据分析与安全解决方案。Gbase 8a已在金融、电信、政务、安全等领域取得规模化市场应用,在银行业信息系统中,银监会、农业银行、工商银行、招商银行和地方农商行均已上线或正在测试该产品。
挑战大数据,国产可期待
金融行业的经营、管理及监管类信息系统时刻产生并运行着海量数据,对这些大数据进行分析挖掘,可以更好地为金融客户提供增值服务,并对企业运营创新提供有力支撑。
南大通用国产新型数据库Gbase 8a是面向大数据分析类应用领域的一款高性能国产新型数据库产品,用于满足数据密集型行业日益增大的数据查询、数据统计、数据分析、数据挖掘和数据备份等需求,可用做数据仓库系统、BI系统和决策支持系统的承载数据库。其商业价值主要体现在八个方面:一级价值包括提速、省盘、省钱、成云等核心优势和直接为客户带来的效益,二级价值包括全文、转非、全数据、可视化等产品的创新功能带来的价值。
与国外同类厂商相比,南大通用具有服务质量好、团队规模大、服务性价比高的本地服务优势,得到了国内金融、电信、军工、政府及能源等行业客户的一致认可;与国内其他数据库相比,Gbase 8a的研发起步早(2007年),发展快(三代产品),技术领先,产品应用范围广。
根据赛迪顾问2014年发布的平台软件和大数据应用市场年报:南大通用2013年实现数据库软件产品销售额1.07亿元人民币,市场份额1.74%,蝉联国产数据库市场第一,被认定为行业“可期待者”;未来几年随着国产替代进程的推进,专注于行业大数据存储管理的Gbase数据库,将以市场“挑战者”身份迎来发展机遇。
2013年中国数据库管理系统市场厂商竞争态势四项限图
技术世界同步,国产可替代
伴随大数据技术的快速发展,海量数据管理能力,包括多类型、变化快、高可用性、低成本、高可扩展性等需求,给金融行业的数据战略带来了巨大挑战。南大通用坚持自主创新,新型数据库Gbase 8a与Oracle等传统通用型数据库相比,在数据查询和统计分析方面的性能可达到10-100倍提升,能较好地满足金融行业对数据分析高速处理的需求。较目前市场上国外新型数据库(EMC的Greenplum、HP的Vertica、SAP的Sybase IQ)的主流产品,在分析领域国产数据库已经与国外产品站在同一起跑线上。
国产新型数据库Gbase 8a采用了列存储、自适应压缩、智能索引等核心技术,其集群基于Shared Nothing架构,采用MPP(大规模并行处理)等关键技术,并内嵌了高性能的全文检索和分布式文件系统,实现了高效的大数据存储管理和查询分析。产品能够在百TB至PB级数据规模下实现数据查询的秒级响应;帮助用户节省50%-90%存储空间;进而为客户节省50%-90%的投资和运维成本;对结构化、半结构化和非结构化数据进行统一处理;实现千亿级文本条目全文检索的秒级响应;提供全过程可视化的数据查询分析及展现工具。
金融大数据,国产已应用
大数据时代,国内银行业务的运行越来越依赖信息系统的支撑,国外供应商的技术封锁和高采购成本让IT部门受制于人。越来越多的银行用户,开始在新建信息系统上使用国产数据库,或在已有系统的升级、完善方面寻求国产可替代方案,从而降低风险和成本,提高企业核心竞争力。下面就Gbase数据库在银行业的实际应用场景及解决方案进行简述。
海量数据复杂运算处理:银行业早期建立的分析类应用基于国外数据库建设,随着数据量的不断增大、接入系统的增多,原数据库已经很难在指定的时间窗口中完成统计,也无法继续接入其它的业务系统数据,进而无法满足银行内部数据分析和监管机构的数据监管要求。在中国农业银行数据仓库项目中,南大通用采用Gbase 8a数据库集群建设,共28个节点,包括14个safegroup,另部署4台加载机实现集群的数据分发加载。新系统能够支持500TB以上数据、超过1000亿行的数据库表、可支撑每天处理4000个以上的复杂作业。同时具有线性可扩展能力,较高比例的数据压缩,能够基于x86和Linux开放平台搭建,从而降低总体成本。数据加工后将支撑信用卡分析、借记卡分析、电子银行分析和资金转移计价等应用的数据需求。系统建成后接入总数将超过50个,通过建设数据集市全面支撑全行包括监管报表、个人金融板块、征信、反洗钱等应用在内的分析需求。
高效提速降低成本:以往银行的审计系统架构多采用“小型机+磁阵”。随着系统长期服役,面临数据加载时间长,审计模型运行和用户查询速度慢、并发用户操作宕机、系统维护和扩展困难等问题。招商银行审计系统二期项目,支持全部的审计业务数据,面向全国范围内的审计人员使用,要求数据加载和数据处理能够快速响应。南大通用采用基于PC Server + Linux的Gbase 8a数据库集群建设方案,替换原有系统,构建以列存储、智能索引、高效压缩、高可用安全组和分布式并行计算为核心技术的招商审计系统,支持3年的历史数据审计。集群系统由20个计算节点,2台加载机,2台监测机和万兆交换机组成,新的替代性方案帮助用户实现了系统扩容、性能提升、高性价比、高可用易扩展等价值。
全国产平台保障安全:现场检查是银监会对银行机构业务活动及其风险状况进行评估的重要手段,银监会迫切需要一套高效、实用的数据库系统,能够对银行海量业务数据在有限时间内实现高效分析、准确评估,从而改进传统模式,全面提高现场检查工作的质量和效率。金融数据属国家敏感数据,系统要满足高安全的要求,之前采用数据库为国外产品,并运行在国外的服务器、存储系统之上,存在极高的安全隐患。在银监会现场检查系统项目中,系统采用以国产高容错计算机为硬件基础平台承载具有自主知识产权安全可控的国产Gbase 8a分析型数据库,向用户提供业务模型、数据分析挖掘、数据提取、标准化数据和数据存储等服务,并实现对金融数据的安全保障。
高效易用提升决策能力:随着商业银行数据积累日益增多,海量的历史数据得不到有效利用,银行管理层在把控经营风险、制定管理决策时缺乏信息依据,为了实现信息化的辅助决策和业务创新的扩展需求。常熟农商行采用南大通用Gbase 8a新型数据库来构建数据中心,实现数据的快速入库,将银行账务、银行信贷、国际结算等业务系统的数据实时同步到数据中心,有效支撑历史数据的分析应用;通过Gbase 8a的列存储、智能索引、高压缩等技术,有效减少磁盘I/O访问量,在查询统计分析性能方面较原有系统有大幅度提升;支持即席查询和多维分析,支撑各种复杂的BI应用分析展示;系统的高可扩展性能够应对银行新的业务需求,并可随着数据量的增长通过集群在线扩展的方式实现数据中心存储容量的扩容。
金融自主创新,国产迎发展
与国际同行比较,中国金融业的信息化基础设施建设尚未完全到位,而应用的丰富性、完善度,管理水平和创新能力,仍有较大提升空间。目前,国内金融行业信息系统和硬件仍大量使用国外厂商生产的设备,这些设备使用的操作系统、数据库、芯片等关键技术也为国外厂商所垄断。现有银行信息系统仍存在着诸多安全隐患。
大数据的浪潮,推动了金融行业的自主创新,结合国家提出的安全可控政策,国产厂商将迎来难得的发展机遇。南大通用自公司创立之初便确定走自主创新的国产化研发之路,并坚持落实“自主可控、安全可靠”的国家政策。
在技术发展方面,Gbase将规划并打造行业大数据处理基础软件平台。该平台实现MPP数据库与Hadoop生态系统的深度融合,用MPP处理PB级、高质量的结构化数据,为应用提供丰富的SQL和事务支持;用Hadoop实现半结构化、非结构化数据处理。通过采用混合型架构,满足行业对全数据处理的需求。为了让平台能够更好地支撑行业大数据应用,不改变用户习惯的SQL访问接口,架构以MPP数据库及计算框架为核心,将MPP运算调度引擎完全融入非关系型运算调度框架,实现可以同时调度关系运算和非关系运算的调度引擎,构建统一的结构化信息提取和数据类型转换框架,将非/半结构化数据映射为关系模型,实现面向关系模型的全数据统一视图,从而平滑的实现MPP数据库和Hadoop的统一调度和处理,为新型的基础软件平台和上层应用提供数据服务。
2014年软件行业市场风起云涌,全新的状态下的软件产业与传统软件产业之间的博弈不断,“第七届中国软件渠道大会”旨在帮助广大软件厂商带来全新的发展机遇,不仅秉承了多年的成功经验,搭建软件行业权威、导向性的行业平台,还汇聚了众多软件厂商的参与,将最新的软件技术进行全面展示,为各界参会嘉宾提供无与伦比的参会体验,致力打造软件产业的“权威盛会”。
网友评论