Azure Databricks：搞定数据规模化问题

时间：2022-04-09 16:45:01 | 来源：行业动态

时间：2022-04-09 16:45:01 来源：行业动态

全球数据量的指数级增长已经成为共识，而要对如此庞大的数据进行治理和分析，仅靠人力并不现实，结合人工智能和机器学习技术，是高效、充分挖掘数据价值的必备手段。但是，在这个过程中，新的问题也在出现。

微软大中华区云计算和人工智能事业部总经理林家伟表示，问题主要来自三个方面：第一，是解决方案的复杂性，虽然针对数据治理和分析的产品、工具数不胜数，但是对企业来说能够真正满足需求、对症下药的却并不多，这让企业难以从中得到实际的价值；第二，是数据的质量不高，收集上来的数据往往需要经过清洗、处理才能真正赋能于业务，但这需要企业投入大量的精力和成本；第三，是数据量的规模化增长，要求企业使用更有效的工具和手段去应对。



微软大中华区云计算和人工智能事业部总经理 林家伟

尤其是针对数据规模化的问题，Azure Databricks其实就是其中一个解决方案。我们在Azure上做了大量优化，以便客户能够在全球部署的平台中，直接使用Databricks的服务。林家伟表示。

无论在企业内部还是外部，数据通常会有多个不同来源，包括传统数据库、海量数据湖，也包括IoT采集的数据，有结构化数据，也有非结构化数据。在使用这些数据的过程中，如何让不同的角色，比如数据工程师、科学家、机器学习工程师、数据分析工程师等，在统一的平台上实现迅速搭建、集群开启、数据共享，以及计算和分析？Azure Databricks就可以做到。并且，由于该平台基于的是Apache Spark，使用了内存方式进行计算，因此大幅提升了计算能力。

以全球知名的壳牌石油为例，该公司在全球有44,000家加油站，每一家加油站都有数个摄像机镜头，每天24小时都会产生拍摄数据，过去这些数据往往是在后续做调查和研究时才会使用。但为了增加加油站的安全性，壳牌把实时数据应用到了一个非常重要的场景帮助加油站更好地禁烟。具体来说，利用Azure Databricks，壳牌将所有摄像头数据，用流动性的方式输入进来，再通过数据科学家在Azure Databricks已经构建好的机器学习数据模型进行预警，几乎可以实时地在侦测到有人点烟或拿起香烟时，立即通知加油站站长，以便及时关闭加油泵，制止消费者在加油站区域范围内吸烟。

值得一提的是，面向中国市场，微软还特别发布了Power BI connector for Azure Databricks，以便一般的商业用户分析师也能够直接通过Power BI connector去分析在Azure Databricks当中的数据，或者是把相关数据收录到Synapse中去做分析。此外，Databricks还能够根据客户的身份或行为进行权限管理的控制等等，并集合在一个统一的平台上，拥有和Azure完全一样的安全性、可控性、鲁棒性。林家伟强调。

总的来说，Azure Databricks的核心价值可以总结为四点：第一，让数据不再混乱、孤立和缓慢；第二，让机器学习真正服务于业务运营；第三，为BI提供更高质量的服务；第四，提供的是企业级的就绪服务。