数据仓库的实施是一个相当复杂的过程,主要包括五个部分的内容数据仓库的设计建模、数据转换与集成、数据存储与管理、数据的分析和展现和数据仓库的维护和管理。
Sybase提供了覆盖整个数据仓库建立周期的一套完整的产品包: Warehouse Studio,它包括数据仓库的建模、数据集成和转换、数据存储和管理、元数据管理和数据可视化分析等产品。以下说明了我们是如何结合Sybase的产品来做数据仓库的设计与开发。
根据贵州电信综合业务系统的要求,Sybase 和创智科技一起建议该决策支持系统解决方案采用集中式数据仓库建立的方式。决策分析系统从各业务系统采集所需数据,经过整理转换后,供决策分析系统使用。
数据仓库的实施是一个相当复杂的过程,主要包括五个部分的内容数据仓库的设计建模、数据转换与集成、数据存储与管理、数据的分析和展现和数据仓库的维护和管理。
Sybase提供了覆盖整个数据仓库建立周期的一套完整的产品包: Warehouse Studio,它包括数据仓库的建模、数据集成和转换、数据存储和管理、元数据管理和数据可视化分析等产品。以下说明了我们是如何结合Sybase的产品来做数据仓库的设计与开发。
数据存储与管理IQ
数据仓库的存储可以选用多维数据库,也可以选用关系型数据库或其它特殊的存储方式。数据的存储要保证数据的安全性、完整性、一致性,同时还要具有复杂的分析查询的高效性。
数据仓库的存储可以选用多维数据库,也可以选用关系型数据库或其它特殊的存储方式。数据的存储要保证数据的安全性、完整性、一致性,同时还要具有复杂的分析查询的高效性。
Sybase的数据仓库产品Sybase IQ。IQ是一个关系型数据库,为高性能决策支持和数据仓库的建立而进行了优化。IQ中的关键技术是纵向数据存储(通过列而不是通过行来进行)、Bit-Wise查询索引、数据压缩和Multiplex技术。使数据仓库应用拥有卓越的查询性能与最低的总拥有成本。
带压缩的列存储
适合决策处理中的很多查询只需要很少量的列数据
按列存储数据时由于相邻的字段值具有相同的数据类型,所以使Sybase IQ更容易对数据做压缩处理。 增加列时不会引起数据库结构的改变 IQ比典型传统数据库引擎少做超过10-100倍的磁盘I/O
按列存储数据时由于相邻的字段值具有相同的数据类型,所以使Sybase IQ更容易对数据做压缩处理。
增加列时不会引起数据库结构的改变
IQ比典型传统数据库引擎少做超过10-100倍的磁盘I/O
独特的索引结构
专利的比特式索引及相应的压缩技术是Sybase的一项专利
专利的比特式索引及相应的压缩技术是Sybase的一项专利
Sybase IQ中对所有的列至少进行一次索引化,由此不仅带来查询效率的大幅提高,而且还降低了对磁盘空间的使用。IQ所需的磁盘一般只占原始输入数据所需空间的40%-60%,而且,查询速度会比传统的数据库引擎数以千倍的提高。
灵活性
Sybase IQ支持任意类型的查询。存取方法只与数据有关而与查询无关,因此正确的数据结构在数据加载时就能够预期得到。因此,数据仓库的用户可以随心所欲地提出查询要求而无须数据库管理员作任何干预。
Sybase IQ支持任意类型的查询。存取方法只与数据有关而与查询无关,因此正确的数据结构在数据加载时就能够预期得到。因此,数据仓库的用户可以随心所欲地提出查询要求而无须数据库管理员作任何干预。
可扩展性
Sybase IQ还使企业在处理能力上拥有极大的伸缩性,用户可以从一个小型的数据仓库开始,扩展到大型的数据仓库。也可以






