专为机器智能设计

时间：2022-04-20 12:36:01 | 来源：行业动态

时间：2022-04-20 12:36:01 来源：行业动态

Graphcore是IPU的扛旗人。Graphcore是一家来自英国的明星初创公司，到目前为止，公司总共融资超过4.5亿美金，其中包括一些非常知名的金融投资者、战略投资者，比如，微软、三星、博世、宝马、戴尔等。IPU是一种专为机器智能设计的全新芯片类型，采用的是完全不同于CPU、GPU的全新处理器架构，专门适用于AI负载。

Graphcore高级副总裁兼中国区总经理卢涛告诉记者，机器智能是一类全新的计算负载，有自己的特点。比如，AI算法通常涉及大规模的并行计算；数据结构通常是非常稀疏的矩阵；和传统的科学计算或者高性能计算（HPC）相比，智能计算普遍都是低精度计算。另外，AI应用经常会有数据参数复用、静态图结构。由于这些特点的存在，使得传统CPU、GPU在处理这类工作负载的效果并不理想，而IPU则有明显优势。



Graphcore高级副总裁兼中国区总经理卢涛

CPU是面向应用和网络设计的处理器，是一个标量处理器；GPU是面向图形和高性能计算、以向量处理为核心的处理器。AI是一个全新的负载、是以计算图作为表征，因此需要一种全新的处理器架构，而Graphcore开创的IPU就是针对计算图的处理来设计的专用处理器。卢涛说。

据卢涛介绍，Graphcore的IPU在架构上做了大量创新。其中一大创新是，IPU内核采用了大规模并行MIMD，有一个非常大的分布式片上SRAM，这个SRAM高达300 MB。因此，相比CPU DDR2或者GPU GDDR/HBM，IPU能够实现10到320倍的性能提升。

近些年，芯片的计算能力提升很快，但内存的性能提升却相对缓慢。IPU的一个创新设计就是采用了大规模并行MIMD和庞大的分布式片上SRAM。卢涛说。

Graphcore IPU的另一大架构创新是采用了构建大规模数据中心集群的BSP技术（Bulk Synchronous Parallel），这种技术目前在谷歌、Facebook、百度这样的大规模数据中心都在使用。IPU也是目前世界上首款BSP处理器，通过硬件来支持BSP协议，并通过BSP协议把整个计算逻辑分为计算、同步、交换三方面。

据悉，Graphcore IPU已经量产的GC2处理器拥有236亿个晶体管的芯片，在120瓦的功耗下有125 TFlops的混合精度、1216个独立的处理器核心（Tile），300 M的SRAM能够把完整的计算模型放在片内。另外，内存的带宽有45 TB/s、片上的交换是8 TB/s、片间的IPU-Links是2.5 TB/s。Graphcore IPU的这些硬件条件为其最后高性能地完成AI应用奠定了非常强大的基础。

一款全新架构的处理器要想真正落地，配套的软件自然必不可少，其中就包括编译器、开发平台以及其他相关的各种配套软件和工具。对此，Graphcore推出了IPU配套的开发平台Poplar SDK。Poplar是架构在机器学习的框架软件（比如TensorFlow、ONNX、PyTorch和PaddlePaddle）和硬件之间的一个基于计算图的工具和库，目前提供750个高性能计算元素的50多种优化功能，可以支持各种标准的机器学习框架，包括TensorFlow 1/2、ONNX和PyTorch，很快也会支持百度飞桨。在部署方面，Poplar目前可以支持容器化部署，能够快速启动并运行。今年5月，Graphcore还推出了一款名为PopVision Graph Analyser的分析工具。开发人员在使用IPU进行编程的时候，可以通过PopVision这个可视化的图形展示工具来分析软件的运行情况、调试效率。