ONNX Runtime
时间：2022-04-09 06:51:01 | 来源：行业动态
时间：2022-04-09 06:51:01 来源：行业动态
现已开放预览，这是专为ONNX格式机器学习模型设计的高性能推理引擎。ONNX Runtime兼容ONNX 1.2版本，自带支持CPU和GPU的Python包，可在Azure机器学习服务或任何运行Ubuntu 16的Linux设备上进行推理运算。
ONNX Runtime的发布进一步扩展了微软对ONNX的支持，让ONNX模型推理可以在多种平台和设备上运行。ONNX Runtime全面覆盖和支持ONNX定义的所有运算符。出于对扩展性与性能表现的特别关注，ONNX Runtime能为一系列不同平台和硬件的组合提供多种定制化的加速器，从而保证为推理运算提供最佳的整体性能表现。
插件式的执行者界面意味着ONNX Runtime可以快速适应软件和硬件的改进。执行者界面是硬件加速器向ONNX Runtime报告其性能的标准方式。英特尔、英伟达都在积极将ONNX Runtime整合到他们的硬件加速器中，目前英特尔的MKL-DNN、nGraph编译器以及英伟达优化的TensorRT推理引擎都已完成整合。
在线咨询
