统一的数据分析和AI流水线
时间：2022-03-23 11:30:01 | 来源：行业动态
时间：2022-03-23 11:30:01 来源：行业动态
现在正处在数据变革的时代，全球超过90%的数据都是在近几年产生的，而其中超过一半的数据都是在过去两年产生的，而且我们可以预计之后当数字化的应用越来越多，包括IoT和5G，数据的生成速度和规模只会越来越大。但是与之形成对比的，这其中只有不到2%的数据经过了分析的，还有大量的沉默数据。
人工智能技术从实验室到真正生产线的过程当中，正面临的巨大挑战包括：本身算法上面的复杂性，部署上面的复杂性，数据处理上面的复杂性，还有成本、是不是可扩展，专有接口、数据隐私等等。
为了解决这样的难题，英特尔基于Spark开发和开源了两个项目：一个是BigDL，还有一个是Anlytics Zoo。
英特尔公司架构、图形与软件部（IAGS）资深软件架构师黄晟盛表示，BigDL是一个基于Spark的深度学习框架，使得深度学习算法能够用来处理大数据平台里面的数据，并具有可扩展性能。
Analytics Zoo进一步为大数据用户提供了一个统一的端到端的大数据分析＋深度学习的平台。这个平台构建在BigDL、Tensorflow等等引擎之上，可以基于Spark平台为多种深度学习框架提供分布式支持，并且提供了很多预训练和预定义的模型以及参考案例，使得用户构建应用更容易和更高效。
黄晟盛特别指出，Analytics Zoo能够做的事情就是你在笔记本上运行的算法和在集群上运行的算法是同一套实现，所以不会有不一致的情况发生，而且原先的脚本几乎不需要修改。
目前英特尔已经与京东、银联、宝信软件、微软Azure、美的等展开合作，将BigDL和Analytics Zoo应用在不同的应用场景中，并取得了不俗的成果。
在线咨询
