阿里云机器学习平台 PAI宣布集成国产深度学习框架 OneFlow
11月4日消息,在云栖大会上,阿里云机器学习平台 PAI宣布集成自研深度学习框架OneFlow,进一步提升对国产算法框架的支持。
阿里云机器学习平台PAI是一站式AI开发平台,提供了丰富的机器学习组件和云原生开发工具,集成了国际主流的机器学习框架例如TensorFlow、PyTorch和Caffe等。同时,PAI具备开放性的技术架构,支持第三方社区框架集成到PAI平台,以社区镜像或自定义镜像的方式提供给开发者。
将自研深度学习框架OneFlow集成到PAI上,也是对机器学习平台PAI开放性的验证,PAI可以在架构上实现包括对国际主流、国内自研在内的任何第三方深度学习框架的支持。
OneFlow 是一款易用、高效、高扩展,自主研发的深度学习框架。其算子和模块编程接口与 PyTorch 兼容性极高,基于 PyTorch 搭建的常见模型几乎不用修改即可在 OneFlow 上运行,迁移成本低。并且可以轻松切换动静模式,模型调试阶段享有和PyTorch 完全一样的动态图编程体验;除此之外,OneFlow 计算性能卓越,在主流模型上最大有一个数量级的性能提升,极致系统级优化实现几乎零运行期开销。
目前,AI开发者已经可以在PAI的云原生开发环境中使用OneFlow进行机器学习训练和离线推理。开发者在PAI的深度学习容器DLC中创建训练任务时,只需要在"社区镜像"列表里选择OneFlow镜像,任务提交后PAI就可以使用OneFlow框架执行深度学习训练任务。开发者也可以在PAI的Data Science Workshop (DSW) 交互式开发工具中安装OneFlow软件并执行基于OneFlow框架的训练任务。
除了通过合作集成的方式实现对第三方社区框架的支持,PAI平台还允许开发者使用自定义镜像来执行云原生训练任务。开发者可以在深度学习容器DLC中选择自己事先保存好的镜像,或者指定自定义镜像地址,在提交训练任务时PAI就会使用该镜像执行相应的任务。PAI平台的开放性架构设计实现对任何第三方机器学习框架的支持,具有良好的可扩展性和丰富性,是基于云原生AI开发的强大平台。