OneFlow v0.6.0正式发布
今天是 OneFlow 开源的 528 天，OneFlow v0.6.0 正式发布。本次版本更新包括框架、模型和 OneFlow-ONNX 三大部分，主要有：
性能提升，包括静态图、动态图、算子性能、显存占用等方面
新增大量常用算子
完善静态图和 ConsistentTensor 功能
支持 OneFlow 作为 Nvidia Triton 的后端提供 Serving 功能
实现丰富的视觉预训练模型，与 torchvision、timm 对齐
实现更加完善的 OneFlow-ONNX 转换功能
以下为版本更新详情。
框架优化
1. 深度优化 nn.Graph 的性能
与 v0.5.0 相比， v0.6.0 的 nn.Graph 在 ResNet AMP和 WDL 等模型上的训练速度提升了 10%
新版的动静转换功能的性能还有可优化的空间，近期着重优化了 nn.Graph 在高频率迭代训练场景下的性能
重新设计实现了 nn.Graph 的调度指令， 重构了 Actor Graph 与 Eager VM 的交互逻辑，使得 Graph 的 runtime 执行与 Python input/output Tensor 尽可能异步流水并行
2. 深度优化 Eager 性能
与 v0.5.0 相比，v0.6.0 OneFlow Eager 在小 batch 场景下的训练速度大幅提升
深度优化虚拟机的调度逻辑
优化 get/set item
优化 tensor.numel()
优化 oneflow.Size()
3. 深度优化算子性能
着重优化了一些影响新模型性能瓶颈的算子，使得相关的模型训练速度有明显提升
新增 fused dropout系列算子
新增 CPU版 group deconv 并优化性能
给以下算子新增 inplace 版本实现：mul, hard_sigmoid, sin
对linalg.vector_norm在ord=2.0时进行了性能优化，相比之前提升了4倍
深度优化LayerNorm op，性能大幅度领先PyTorch和Apex实现
实现op的数据类型自动提升
4. 深度优化 Eager 显存占用
优化了某些算子在网络训练中对显存占用，使得相同计算设备可以跑更大的模型或数据
优化 broadcast binary 一族算子的后向显存占用
优化 Slice 算子的后向显存占用
优化 LayerNorm 的显存占用
5. 给静态图 nn.Graph 新增众多实用功能
静态图抽象 nn.Graph 增加了许多新功能，涉及静态图的效率、调试、完备性以及在更多场景下的易用性等方面：
为了辅助静态图的调试，我们新增了：
debug 模式支持 graph.debug(1) 打印更多构图信息
提供环境变量：ONEFLOW_DEBUG_PASS 来显示编译期 图优化前后计算图的变化
给 Nsight Profile 增加用户可读的线程命名信息，方便定位和检索目标关键线程位置
丰富了大量静态图的测试用例：增加伴随Eager测试的自动nn.Graph测试
为了支持使用 nn.Graph 做模型的部署（Serving），提供了 graph.save() 和 load() 接口
为了在使用 TensorCore 的 GPU 上做 AMP 的加速，提供了环境变量：ONEFLOW_ENABLE_NHWC 用于表示 CNN 相关算子进行 channels last 计算
使得 nn.Graph 支持更多的使用场景：
支持 稀疏更新 Optimizer，用于 WDL 场景下的参数稀疏更新
支持在nn.Graph下使用Sequential, ModuleList, ModuleDict, ParameterList, ParameterDict这些nn.Module Container
支持在nn.Graph的init函数中创建Optimizer
支持nn.Graph下多个参数共用同一个Tensor
支持实际的进程数大于GPU设备数的使用场景
nn.Graph下Consistent的SBP推理时考虑Inplace，支持更多Inplace执行
6. 新增了大量算子
新增算子：cumsum, meshgrid, linspace, diagonal, movedim, roialign, nms, arccos, roll
新增算子：masked_fill, floordiv, glu, pool1d, pool2d, pool3d
新增unfold和fold op
实现op的数据类型自动提升
实现expand和repeat op
目前 torchvision 库的模型可以通过import oneflow as torch实现一键切换
7. 支持用户自定义 autograd.Function
用户可以像 Torch 一样自定义 autograd.Function
8. 提供基础的 Serving 功能
支持 OneFlow 作为 Triton 的 backend 提供模型的 Serving 功能
9. 新增 Tensor（ConsistentTensor） 的部分功能
支持 Tensor 使用 2-D SBP 来表示任意的混合并行方式（如一个 Linear 运算在设备矩阵的行方向上数据并行，在列方向上模型并行）
支持 Tensor 从任意的 1-D SBP 到 2-D SBP 的转换（网络由 1-D 并行 和 2-D 并行混合组成）
支持从 numpy 构造 ConsistentTensor
新增 oneflow.from_numpy()
新增 oneflow.numel()
新增 tensor.expand_as()###
模型实现
发布 flowvison0.0.54
（链接：https://github.com/Oneflow-Inc/vision）
1. 实现了丰富的视觉预训练模型
图像分类
CNN系列: ResNet, DenseNet, VGG, ResNext, EfficientNet等
Vision Transformer系列: ViT, PVT, Swin-Transformer等
Vision MLP系列:Mlp-Mixer, Res-MLP, g-MLP等
目标检测
SSD, SSDLite
Faster R-CNN
RetinaNet
图像分割
FCN
DeepLabV3
风格迁移
StyleNet: 支持风格sketch, candy, mosaic, rain_princess, undie
undie
2. 实现了与torchvision对齐的数据增强操作
包括CenterCrop, ColorJitter等与torchvision对齐的数据增强操作，在大多数场景下可以import flowvision as torchvision直接替换
3. 对齐了timm中的高级的数据增强实现
flowvision.data中所实现的高级数据增强操作
Mixup
CutMix
Random-Erasing
AutoAugment
RandAugment
AugMix
4. 单独抽离出Layers模块，提供搭建模型时即插即用的Block
flowvision.layers.attention模块
实现了Non-Local, SELayer, CBAM, BAM, ECA等即插即用的attention模块
flowvision.layers.blocks模块
提供了PatchEmb, Pooler, ConvBnAct等在搭建模型时可能用到的模块
flowvision.layers.regularization模块
提供了drop-path, drop-block, stochastic depth等正则化模块，用来提升模型泛化能力此外还有activation, weight_init等单独的文件，用来提供激活函数，初始化方法等组件
OneFlow-ONNX转换
更新 OneFlow 转 ONNX 模型格式的工具包
支持CPU和GPU模式的OneFlow模型转onnx模型
新增算子和模型测试样例，对齐OneFlowVision库中的全部分类模型
修复PReLU转换时出现的onnx-runtime相关的bug
兼容1.9.0版本以上的onnx-runtime库
发布0.5.4版本oneflow-onnx包，pip install oneflow-onnx即可体验
页:
[1]