云存储已在客观层面扮演数据湖角色
时间：2022-03-20 12:18:01 | 来源：行业动态
时间：2022-03-20 12:18:01 来源：行业动态
因为数据湖是专为保存那些不适合于其它位置且易丢失的数据而设计，所以当您想到数据湖时，您可能自然就会想到Hadoop。我们已经将数据湖定义为受管理的存储库，并致力于让其成为数据的默认提取点。但是，我们现在发现数据湖的安装启用超过了Hadoop。或者正如Mike Olson在2014年所预言的一般Hadoop终将消失。
数据湖以联动查询工具作为起点，现已成为每个分析数据库的配套项目。我们已经见证了JSON数据库通过Spark进行扩展，从而实现分析查询。此外，我们还目睹了各Hadoop供应商（例如Cloudera与Hortonworks）将其数据管理服务与HDFS分离。所以，现在数据湖即是数据存储的位置所在。
毫无疑问，云供应商享有最后的发言权：在云端，云存储显然已成为数据的默认摄取点。所以，云供应商正在致力于让其云对象存储配备直接查询功能。亚马逊方面现在已可通过S3直接访问配有Athena 的SQL 实际查询，并可作为Redshift Spectrum数据仓库的扩展。Google Cloud早已将其云存储作为BigQuery的默认来源，而Snowflake第三方云数据仓库也是如此。
此外，颇为讽刺的是，云存储最初其实专为存储需求而设计。然而，在云对象存储占据了大部分数据的世界里，催生了企业要优化访问需求。所以在2018年，我们预计几乎所有的数据仓库与分析数据库都将对接当下流行的云对象存储方案，具体包括S3、Azure BLOB Storage与Google Cloud Storage等支持目标。
在线咨询
