时间：2022-11-21 08:30:01 | 来源：信息时代
时间：2022-11-21 08:30:01 来源：信息时代
数据流管理系统 : 科学地组织和存储数据流数据,以高效、实时、连续地获得快速的、随时间变化的、不可预测的、无界数据流数据的软件系统。DSMS已成为近年来数据库领域的一个热门研究领域,其含义、功能和结构尚没有统一的定义。
现实世界的许多应用中,数据出现的形式大都是连续的,而不是有限存储的数据集合,并且用户更可能需要长期的连续的查询,而不是一味的即席查询。例如,金融分析、网络监控、通信数据管理、传感器网络数据处理等。这些应用一是需要维护大量共享数据和控制信息,要求系统连续不断地自外部环境采集数据,并根据要求进行相应的处理及存储,然后在规定的时间内做出响应,同时所处理的数据往往是“短暂”的,即只在一定的时间范围内有效; 二是除了传统的即席查询,这些应用更可能需要连续查询,即查询结果是以连续的或间歇性连续的方式返回,且有时查询结果并不要求是精确的,只要反映数据的大概值或变化趋势等即可。而传统的数据库技术难于适应对数据流这种新型数据的管理要求,为此需要建立一种全新的数据管理系统,即数据流管理系统。
STREAM项目旨在研究通用的数据流管理系统,主要研究数据流查询语言的语法及语义,数据流系统中操作符的调度与资源优化管理问题。其目标是建立一个既可以处理流速非常高的数据,又能处理成千上万连续查询的通用数据流管理系统。在数据的流速和查询负载超出可获得资源的情况下,系统优化内部配置,可以为连续的查询提供相对准确的近似结果。系统内部的多查询优化策略、有效的资源分配算法和灵活的调度策略保证了系统的高性能。有限资源和结果近似性的自动平衡是系统最重要的关键技术。斯坦福大学在STREAM系统上所做的工作主要包括: 建立了全新的数据模型; 扩充了SQL语言,建立了适合数据流查询的连续查询语言(continuous query language,CQL);实现了原型系统并对实现方法进行了理论研究和实践,包括时钟管理、负载分流、队列缓存和算子调度等; 在查询处理和优化等方面提出了许多独到的见解和方法;也对数据流的信息统计做了许多研究; 最后还对建立分布式的数据流管理系统进行了探索。
Telegraph项目的特点是能够自适应地查询处理数据流,其数据流管理系统为Telegraph CQ。Telegraph CQ主要处理对大量高速变化的数据流而进行的大量连续查询。在该项目的早期工作中已经建立了一个Java版本的适应性数据流处理系统。Telegraph CQ是一个通用的数据流管理系统,在开放式关系数据库管理系统Postgre SQL基础上开发。它继承了UC Berkeley的Telegraph数据流项目开发成果,以Psoup系统为查询处理系统,以Flux系统作为负载平衡和容错处理系统。在系统中,注册的数据流查询经过预处理后被变换成一个操作符执行序列,而后交给元组路由选择器Eddy。
Aurora系统构建了一个新型的数据处理系统,它专门用于监控数据流。Aurora框架结构简单独特,可以处理三种不同的应用: 实时监控、处理以时间序列存储的大量历史数据及两者的混合。Aurora系统的核心是一个巨大的算子网络,对每一个使用Aurora系统的数据流监控应用,应用管理器创建一个算子网络,并同Aurora的总的算子网络合并。Aurora系统实现了算子网络优化,在运行时具有高效的算子调度算法,还可以根据检测数据进行负载分流。另外,他们还正在设计一种可升级的分布式Aurora,命名为Aurora*。Aurora*的主要目标在于处理分布式数据流,并提出了一些处理分布式数据流的算法思想。
COUGAR主要为传感器数据库,使用面向对象的方法定义传感器,产生连续的查询结果。它将传感器建模为ADTs,同时它的输入为一个时间序列。
Niagara CQ是University of Wisconsin-Madison和Oregon Graduat Institute联合开发的网络数据管理Niagara项目当中的可扩充的连续查询子系统,允许在动态的Web环境中建立连续的XML-QL查询。由于网络的可伸缩性,一个连续查询系统需要支持大量的查询,但目前不存在达到这种可扩充性的系统。为了解决这个问题,Niagara CQ将连续查询分组,分组的原则是将许多共享相似结构的Web查询分为一组。分为一组的查询能够共享相同的计算,有效地减少I/O代价。
与Niagara CQ系统相似,Open CQ系统都支持对分布于网络上的持久性数据进行连续的查询监控,如Internet上的Web站点。Open CQ采用一种基于增量视图维护的查询处理方法,而Niagara CQ则在许多查询中使用了分组连续查询技术,该技术的使用提高了查询求值的效率。
开发通用的、面向对象的分布式数据流管理系统是今后数据流管理系统的发展方向。数据流具有突发性,新一代数据流管理系统应当能够自适应环境的变化,特别是猝然变化的数据流速和流量,因此自适应的数据流管理系统也是未来的发展方向。
在线咨询
