AUTOSPARSE: 深度神经网络稀疏训练自动化【英文版】

英文标题：AUTOSPARSE: Towards Automated Sparse Training of Deep Neural Networks中文摘要：本文提出通过渐进式变化策略的梯度退火（gradient annealing，GA）以及最新的可学习剪枝方法相结合的自动稀疏训练算法 AutoSparse，在 ImageNet-1K 数据集上表现优异，80% 稀疏 ResNet50 的训练和推断 FLOPS 减少分别达到 2 倍和 7 倍。与当前最好的稀疏到稀疏（sparse-to-sparse）方法 MEST 的表现相似，但使用的训练和推理 FLOPS 分别多 12％和 50％不到。英文摘要：Sparse training is emerging as a promising avenue for reducing thecomputational cost of training neural networks. Several recent studies haveproposed pruning methods using learnable thresholds to e