为现代化数据战略铺平道路的智能湖仓
时间：2022-04-07 07:39:01 | 来源：行业动态
时间：2022-04-07 07:39:01 来源：行业动态
为了易于分析，企业开始建设数据湖将所有数据放在单一的存储库中，这样就可以基于标准的数据格式，以任何规模、低成本、安全地存储数据，便于在以后根据应用程序和最终用户的需求进行传输和转换，现在云中的数据湖正在成为许多企业的主流策略。
为此，亚马逊云科技制定了现代化数据战略，并与Serverless理念结合越来越紧密，帮助企业更好地利用数据，更敏捷的创新。亚马逊云科技推出了智能湖仓新方法，"智能湖仓"架构不仅打通湖与仓，还将湖、仓、专用数据存储整合为一体。
其实早在 2017 年，智能湖仓架构就已初具雏形。当时，亚马逊云科技发布了Amazon Redshift Spectrum，让Amazon Redshift具备了打通数据仓库和数据湖的能力，实现了跨数据湖、数据仓库的数据查询。如今智能湖仓基于Amazon S3构建数据湖，结合多种数据服务，形成了数据的由内向外，由外向内，环湖运动的数据移动方式，集成数据仓库、大数据处理、日志分析、机器学习数据服务。
正是了解到亚马逊云科技智能湖仓的技术优势，为加速创新并大规模实现数据使用，宝马集团将其本地数据湖迁移到由Amazon S3提供支持的数据湖，现在宝马集团可以每天处理来自上百万辆汽车的TB级遥测数据，并在问题影响到客户之前解决问题。为了更好地管理这些数据，宝马集团引入了数据提供者和数据使用者概念，从而提高了其软件工程团队的自主性和敏捷性。
数据提供者利用亚马逊云科技的数据分析服务（如 Amazon Kinesis Data Firehose、Amazon Lambda、Amazon Glue 和 Amazon EMR）来接收和转换数据。然后，数据使用者可以利用诸如 Amazon Athena、Amazon SageMaker、Amazon Glue和Amazon EMR之类的Serverless服务，运用这些数据。提供者和使用者均是在自己的账户中使用这些服务，只共享可由中央 API 控制的明确定义的接口，这有助于防止出现瓶颈。各数据层均存储在 Amazon S3 存储桶中，其架构已在 Amazon Glue 数据目录中注册。
现在亚马逊云科技智能湖仓架构中的服务基本上具备了Serverless特性，将Serverless能力扩展到分析引擎，实现自动添加或减少资源，提供恰到好处的容量，满足企业对任何规模的数据分析需求。企业用户再也不需要担心因为调整集群大小或为满足峰值容量而过度配置造成资源的浪费，进而节省时间并优化成本。企业还可以快速、轻松地开始使用亚马逊云科技数据分析服务，享受Serverless的自动部署、按需扩展和按需付费，不仅降低成本，还可以将数据分析服务扩展到更多用户，也降低了门槛。
在线咨询
