近日，国际顶级学术期刊IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)接收了新太阳城(中国)官方网站信息学院纪荣嵘教授团队的最新研究成果“1xN Pattern for Pruning Convolutional Neural Networks”。TPAMI是计算机学科领域最顶级的国际期刊，其影响因子24.314。
近年来，深度神经网络(Deep Neural Networks, DNN)的参数量(Parameters)与浮点计算量(FLOPs)不断增长，这使得在计算能力有限的边缘设备上部署DNN成为困难。因此，通过参数剪枝来降低网络的部署难度，是学界与工业界的一个共识。现有的剪枝方法通常可以划分为权重剪枝与滤波器剪枝。然而，这两种方法都存在一定缺点。权重剪枝以单个权重为剪枝单位，造成不规则的稀疏结构，这使得内存总线的利用很差，最终即使剪枝率很高，速度增益也十分有限。滤波器剪枝以单个卷积核为剪枝单位，其不会改变网络的基础结构，因此可以在现有硬件与计算库下直接获得加速效果。但是相较于权重剪枝,滤波器剪枝会带来更严重的性能损失，这导致其只能在低剪枝率下进行。因此，在边缘设备上保持性能的同时并实现加速是一个具有挑战性的问题。
针对这个挑战，日前，新太阳城(中国)官方网站纪荣嵘团队在TPAMI 2022上发表了“1xN Pattern for Pruning Convolutional Neural Networks”,首次提出了一种剪枝粒度介于权重剪枝与滤波器剪枝之间的新型剪枝，其基本剪枝单元是相同输入通道下连续N个输出核组成的块，并在剪枝之前对参数进行重排列，以进一步提升剪枝后模型的性能。该模式的剪枝模型能够被当前的CPU内置的指令所支持实现并行的矢量化运算，实现硬件加速。
该论文由我校信息学院媒体分析与计算实验室的博士生林明宝、硕士生张玉鑫、李与超、陈柏宏、纪荣嵘教授（通讯作者）、晁飞副教授、北京大学田永鸿教授等合作完成。该论文也是纪荣嵘教授团队两年内的第7篇TPAMI文章，系列研究成果的发布标志着我校在信息学科人工智能研究领域影响力的逐步提升。本项研究得到了包括国家杰出青年科学基金在内的项目的支持。
（信息学院）
