新芽专题介绍：大模型数值量化
选择此专题并在新芽系列课程中获得优秀的同学，可以免去前期筛选考核流程，直接进入南开大学媒体计算团队以及国家人工智能学院等合作院校团队推免生招收面试的最后一轮。
一、专题介绍
1.1 研究背景
大模型近年来在自然语言处理、计算机视觉等领域取得了显著突破，其强大的泛化能力和复杂任务处理能力使其广泛应用于智能对话、机器翻译、内容生成等场景。然而，大模型通常具有数十亿甚至上千亿的参数，导致其计算复杂度和资源需求极高，部署在边缘设备或资源受限环境中面临巨大挑战。数值量化技术（Quantization）作为一种模型压缩和优化方法，通过降低模型参数和计算的数值精度（如从32位浮点数到4位整数），显著减少内存占用、提升推理速度，同时尽量保持模型性能。量化技术在大模型优化中的重要性日益凸显，已成为学术界和工业界的研究热点。
1.2 研究意义
数值量化具有重要的研究意义，具体而言：
降低资源需求：量化技术能够大幅减少大模型的存储需求和计算开销，使其在边缘设备（如手机、物联网设备）上部署成为可能，拓宽应用场景。
提升推理效率：通过降低计算精度，量化技术可显著加速模型推理，满足实时应用（如自动驾驶、语音助手）对低延迟的需求。
节能减排：大模型训练和推理的能耗巨大，量化技术通过减少计算量有助于降低能耗，符合绿色计算的可持续发展目标。
推动普惠AI：量化技术降低了对高端硬件的依赖，使更多企业和个人能够使用大模型，促进人工智能技术的普及和公平性。
因此，这一研究主题不仅意义重大，而且是深度学习、大模型领域的一个典型研究案例，非常适合作为本科生进入科研领域的启蒙训练。
▲深度学习数值量化示意图。
1.3 当前主要挑战
尽管方向重要，但实现高精度低比特数值量化仍然面临多重挑战：
挑战一：精度损失问题
- 量化过程通常会导致模型精度的下降，尤其是在低比特量化（如4位或更低）时，如何在压缩模型的同时保持性能是一个核心难题。
挑战二：量化算法复杂性
- 现有的量化方法（如量化感知训练QAT、后训练量化PTQ）在实现上较为复杂，特别是在处理异构结构和动态范围较大的模型时，算法设计和调优难度高。
挑战三：硬件适配性
- 不同硬件平台对量化模型的支持程度不一，缺乏统一的量化标准和硬件加速支持，导致量化模型的跨平台兼容性不足。
挑战三：动态量化需求
- 在动态任务场景（如在线学习或多任务处理）中，模型需要实时调整量化策略，当前的静态量化方法难以满足这种需求。
综上，大模型数值量化技术仍在探索突破阶段，相关指标有待进一步提升，这是一个很好的学习窗口：既能接触实际需求，又能跟随前沿研究。
二、学习资料与参考文献
为了引导新芽学子逐步进入研究，本专题结构分为以下部分：
2.1 基础教材与学习材料
在开始探险之前，你需要掌握一些基础的“内功心法”，这些是后续一切学习的基石。以下是你可以使用的一些书籍/教程：
《Deep Learning》（Ian Goodfellow 等）——深度学习入门经典教材
PyTorch 官方教程，也可以使用 PyTorch 中文文档
《Pattern Recognition and Machine Learning》（Christopher M. Bishop）——机器学习原理入门（难度不小）
此外，你也可以使用一些入门工具：
Google Colab：免费云平台，不用安装软件，就能跑PyTorch代码。
Kaggle平台：免费数据集和竞赛
Tips：务必摆脱所有基础都打好后，再进行下一阶段学习的心态，在干中学，遇到不明白的再回溯补基础。
2.2 相关文献
学生初期的阅读训练，可帮助理解模型数值量化这个大方向。仅用于入门，不可选择此部分文献汇报。 更多文献学生们可以自行搜索。
[AdaRound]: Up or Down? Adaptive Rounding for Post-Training Quantization (ICML 2020)
[ZeroQuant]: Zeroquant: Efficient and affordable post-training quantization for large-scale transformers (NeurIPS 2022）
[GPTQ]: Gptq: Accurate post-training quantization for generative pre-trained transformers (ICLR 2023)
[AdaQuant]: Accurate post training quantization with small calibration sets (ICML 2021)
[Smoothquant]: Accurate and efficient post-training quantization for large language models (ICML 2023)
[SpinQuant]: Spinquant: Llm quantization with learned rotations (ICLR 2025)
[Q-dit]: Q-dit: Accurate post-training quantization for diffusion transformers (CVPR 2025)
[SVDQuant]: Svdquant: Absorbing outliers by low-rank components for 4-bit diffusion models (ICLR 2025)
[Mpq-dm]: Mpq-dm: Mixed precision quantization for extremely low bit diffusion models (AAAI 2025)
三、结语与期望
“新芽计划”的核心使命是点燃新芽学子对科学探索的热情，为年轻学者提供一片孕育创新的沃土。大模型数值量化技术作为人工智能领域的前沿方向，不仅是应对大规模模型资源需求与计算复杂度的关键技术，也是推动人工智能普惠化与绿色计算的重要基石。这一领域既充满技术挑战，又蕴含广阔的应用前景，是学术创新与实际需求的交汇点。
我们期待通过本次专题研究，新芽学子能够深入理解数值量化技术的核心原理与前沿进展，掌握优化大模型效率的方法，并在实践中锤炼独立思考、算法设计和问题解决的能力。我们热切期盼，在最终的报告中，看到大家以敏锐的洞察力和创造性的思维，展现出对大模型数值量化技术的独特解读与创新成果，为人工智能的未来发展点燃新的智慧火花！
