新芽专题介绍：神经网络压缩与加速

Last updated on Oct 3, 2025

选择此专题并在新芽系列课程中获得优秀的同学，可以免去前期筛选考核流程，直接进入南开大学媒体计算团队以及国家人工智能学院等合作院校团队推免生招收面试的最后一轮。

一、专题介绍

1.1 研究背景

“如何实现低功耗人工智能”是2023年中国科协发布的10大年度问题之一，模型轻量化是实现低功耗人工智能的重要手段，旨在精度损失量可接受的前提下，将高参数量、高浮点运算需求的模型通过剪枝、蒸馏、量化等方式转化为低参数量、低浮点运算量的等价模型，从而降低功耗，提升推理速度，在蓬勃发展的具身智能、低轨星网卫星、大规模无人车/无人机集群等领域应用扮演重要角色。

1.2 研究意义

神经网络压缩与加速的研究具有极其重要的现实意义和战略价值，主要体现：

  1. 推动产业落地：模型轻量化将成为边缘AI落地的关键技术支撑。通过优化模型结构，促进AI技术在边缘计算设备（如无人机、卫星、物联网终端）的部署，解决传统模型因算力和存储限制难以落地的痛点。

  2. 降低算力成本负担：大型模型训练和推理需海量算力资源，轻量化技术可减少云计算中心能耗，降低AI应用门槛。

  3. 技术推动：模型压缩技术能够使大型网络在资源受限平台高效运行，实现“云-边-端”协同计算架构。

1.3 当前主要挑战

尽管方向重要，但实现神经网络压缩仍然面临多重挑战：

  1. 挑战一：精度与效率平衡难

    • 大幅压缩往往伴随信息损失，易在复杂任务中模型性能显著下降。

    • 非结构化稀疏在通用硬件加速效果不稳定，而结构化稀疏往往以更高的精度代价换取。

    • 蒸馏、剪枝、量化等组合测量的协同效应复杂，缺乏统一的理论框架。

  2. 挑战二：跨平台异构性挑战

    • 硬件生态多样，缺乏统一的压缩框架在各平台实现稳健加速。

    • 编译器与框架的支持鸿沟导致优化难以落地，缺乏端到端和自动化的部署工具链。

  3. 挑战三：系统级整合和评测管理不足

    • 缺乏统一且可重复的基准与评测体系，难以对比不同压缩策略的实际效益。

    • 端到端部署链路复杂，需要稳定的工具链支持和协作整合。

    • 在模型压缩过程中，易造成隐私数据迁移而导致泄露，对安全性提出更高要求。

综上，神经网络压缩与加速技术仍在探索和突破阶段，这是连接软件算法和智能硬件的中间桥梁：既能接触实际需求，又能跟随前沿探索研究。

二、学习资料与参考文献

为了引导新芽学子逐步进入研究，本专题结构分为以下四部分：

2.1 基础教材与学习材料

在开始探险之前，你需要掌握一些基础的“内功心法”，这些是后续一切学习的基石。以下是你可以使用的一些书籍/教程：

此外，你也可以使用一些入门工具：

Tips：务必摆脱所有基础都打好后，再进行下一阶段学习的心态，在干中学，遇到不明白的再回溯补基础。

2.2 入门文献（神经网络压缩与加速经典方法）

学生第一阶段的阅读训练，可帮助理解神经网络压缩与加速的经典方法。

  • Data-free: Data-free parameter pruning for deep neural networks (BMCV 2015)

  • SSL: Learning Structured Sparsity in Deep Neural Networks (NeurIPS 2016）

  • L1-Norm: Pruning Filters for Efficient ConvNets (arXiv 2016)

  • BNScale: Learning Efficient Convolutional Networks Through Network Slimming (ICCV 2017)

  • : Channel Pruning for Accelerating Very Deep Neural Networks (ICCV 2017)

  • APG:Data-driven sparse structure selection for deep neural networks (ECCV 2018)

  • FPGM: Keypoint Triplets for Object Detection (CVPR 2019)

  • Online: Online Filter Clustering and Pruning for Efficient Convnets (ICIP 2018)

  • taylor: Importance Estimation for Neural Network Pruning (CVPR 2019)

  • LAMP: Layer-adaptive Sparsity for the Magnitude-based Pruning (ICLR 2021)

  • CURL: Neural Network Pruning With Residual-Connections and Limited-Data (CVPR 2020)

  • DCN: Learning Efficient Image Super-Resolution Networks via Structure-Regularized Pruning (ICCV 2017)

  • Metapruning: Meta learning for automatic neural network channel pruning (ICCV 2019)

  • KD: Distilling the Knowledge in a Neural Network (NIPS 2014)

  • OBKD: Learning efficient object detection models with knowledge distillation (NIPS 2017)

  • KT: Like What You Like: Knowledge Distill via Neuron Selectivity Transfer (NIPS 2017)

  • SSKD: Knowledge distillation meets self-supervision (ECCV 2020)

  • RKD: Relational knowledge distillation (CVPR 2019)

  • CCKD: Correlation congruence for knowledge distillation (ICCV 2019)

  • [Binarized neural networks](Binarized neural networks:): Training deep neural networks with weights and activations constrained to+ 1 or-1 (ML 2016)

  • XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks (ECCV 2016)

  • [Dorefa-net](Dorefa-net: Training low bitwidth convolutional neural networks with low bitwidth gradients): Training low bitwidth convolutional neural networks with low bitwidth gradients (NEC 2016)**

  • SSQ: Learned step size quantization (ML 2019)

2.3 进阶文献（神经网络压缩与加速前沿方法）

学生可在此部分选择进阶文献进行专题汇报。

  • GCN: Graph pruning for model compression (Springer 2022)

  • DepGraph: Towards Any Structural Pruning (CVPR 2023)

  • Sparse R-CNN: End-to-End Object Detection with Learnable Proposals (CVPR 2021)

  • SRP: LEARNING EFFICIENT IMAGE SUPER-RESOLUTION NETWORKS VIA STRUCTURE-REGULARIZED PRUNING (ICLR 2022)

  • MGD: Masked generative distillation (ECCV 2022)

  • PKD: General distillation framework for object detectors via Pearson correlation coefficient (NIPS 2022)

  • CrossKD: Cross-head knowledge distillation for object detection (CVPR 2024)

  • LLT: Learnable lookup table for neural network quantization (CVPR 2022)

  • EQV: Towards Efficient Verification of Quantized Neural Networks (AAAI 2024)

  • IGQ-ViT: Instance-Aware Group Quantization for Vision Transformers (CVPR 2024)

  • GPTVQ: The Blessing of Dimensionality for LLM Quantization (ML 2024)

2.4 弱小目标检测模型压缩与加速方法

结合本专题的研究背景，逐渐引导学生进入红外弱小目标检测模型压缩与加速方法。

红外弱小目标检测模型压缩与加速可分为剪枝、知识蒸馏、量化手段。

剪枝方法

  1. Irprunedet：Efficient Infrared small target detection via wavelet structure regularized soft channel pruning.（AAAI 2024）

  2. IRPruneDeXt：Efficient Infrared Small Target Detection via Musical Wavelet-Regularized Channel Pruning（TNNLS 2025）

  3. SAGCP：Sparsity-Aware Global Channel Pruning for Infrared Small-Target Detection Networks（TGRS 2025）

知识蒸馏

  1. KDD：An Efficient Knowledge Distillation-Based Detection Method for Infrared Small Targets（RS 2024）

  2. ST-KDNet：A Saliency-Transformer Combined Knowledge Distillation Guided Network for Infrared Small Target Detection（ICSINC 2022）

  3. IRKD：Feature-based knowledge distillation for infrared small target detection（GRSL 2022）

  4. SAM：Unleashing the Power of Generic Segmentation Model: A Simple Baseline for Infrared Small Target Detection（ACM MM'24）

  5. MM-IRSTD：Conv Self-Attention-Based Multi-Modal Small and Dim Target Detection in Infrared Dual-Band Images（RS 2024）

量化

  1. SPMix-Q: Mixed-Precision Network Quantization for Infrared Small Target Segmentation (TGRS 2023)

  2. BiisNet: 10K is Enough: An Ultra-Lightweight Binarized Network for Infrared Small-Target Detection (arXiv 2025)

  3. ILN-SSR: Improved Logarithmic Norm and Sparse Structure Refinement for Infrared Small Target Detection (RS 2024)

三、结语与期望

“新芽计划”的初衷是点燃新芽学子对未知探索的热情，并为大家提供一片成长的沃土。红外弱小目标检测是一个充满挑战与机遇的领域，它既是国家需求的“硬骨头”，也是学术创新的“试金石”。希望通过这个专题，新芽学子不仅能学到前沿的 AI 知识，更能培养出独立思考、动手实践和解决复杂问题的能力。

我们热切期待，在最终的汇报中，能看到大家闪耀着智慧火花的解读与创见！

Yimian Dai
Yimian Dai
Associate Professor

南开大学计算机学院副教授，专注于红外弱小目标检测、多模态视觉感知方向的研究。