新芽专题介绍：鱼眼镜头目标检测
选择此专题并在新芽系列课程中获得优秀的同学，可以免去前期筛选考核流程，直接进入南开大学媒体计算团队以及国家人工智能学院等合作院校团队推免生招收面试的最后一轮。
一、专题介绍
1.1 研究背景
鱼眼镜头凭借180°-270°的超大视场角，成为自动驾驶、智能监控、机器人导航等领域的核心感知设备。与传统相机相比，其单设备即可实现全景覆盖的优势，显著降低了多相机协同的部署成本。然而，鱼眼图像特有的非线性径向畸变（边缘区域拉伸/压缩）和非均匀分辨率分布，使得目标在图像中呈现高度变形的形态（如中心区域近似正常、边缘区域严重扭曲），传统目标检测算法（如YOLO、Faster R-CNN）难以直接适用。
随着智能系统对环境感知精度要求的提升，鱼眼镜头下的目标检测已成为计算机视觉的关键瓶颈问题。例如：自动驾驶中需通过鱼眼相机检测周边车辆、行人及交通标志；智能安防中需识别大范围场景内的异常目标；移动机器人需实时定位障碍物——这些场景均要求算法在处理畸变的同时，保证检测的精度与速度。
1.2 研究意义
鱼眼镜头目标检测的研究不仅是解决工程需求的“刚需”，更推动了计算机视觉理论的突破：
- 自动驾驶与智能监控：突破传统检测算法在大视场场景的局限性，为自动驾驶、智能监控等领域提供可靠的感知能力。例如，通过环视鱼眼相机实现 360° 无死角障碍物检测，能够有效避免多个传统相机拼接出现“盲区漏检”的问题。是提升行车安全、降低低速场景下碰撞事故率的关键技术 。
- 填补传统检测技术的畸变适配空白：传统目标检测算法均基于 “正视场图像无畸变” 的前提设计，面对鱼眼镜头下的 “径向非线性畸变”，会出现三大典型失效：①中心目标重复检测（因特征过度清晰）；②边缘小目标漏检（因特征被拉伸失真）；③边界框定位偏差（矩形框无法贴合扭曲目标）—— 鱼眼镜头目标检测的研究，并非 “颠覆传统技术”，而是 “针对性解决畸变场景的技术盲区”，形成可复用的具体方案：
- 针对 “特征提取失效”：催生出 “径向距离自适应卷积” 技术 —— 根据像素到图像中心的径向距离，动态调整卷积核的大小与权重。
- 针对 “边界框适配差”：提出 “扇形 / 圆形边界框” 与 “畸变校正锚框”—— 结合鱼眼相机内参，让边界框随目标的径向位置动态调整形状。
- 针对 “预校正信息丢失”：替代 “先校正、后检测” 的传统流程，开发 “端到端畸变感知模型”—— 直接将鱼眼图像与相机内参作为输入，让模型自主学习畸变规律。
- 降低多领域全景感知门槛：除核心产业外，基于传统相机的检测技术在无人机巡检、VR/AR 室内导航、农业植保等场景的应用，受限于 “检测算法不成熟、成本高” 导致落地难的问题，如在无人机巡航领域，传统多相机方案需无人机搭载多台相机，大大增加了载重与能耗；而通过鱼眼镜头目标检测技术，可让单台无人机设备实现全景覆盖。
1.3 当前主要挑战
鱼眼镜头目标检测的核心难点源于畸变对目标特征的破坏，具体可归纳为三大挑战：
挑战一：目标形态畸变无规律，特征提取困难
同一类目标在鱼眼图像中呈现位置相关的形态差异（如边缘区域的车辆可能被拉伸为 “椭圆形”，中心区域则接近正常）。这种强烈的径向畸变破坏了CNN的平移不变性归纳偏置，导致传统CNN的固定感受野难以适配 。
畸变导致目标轮廓模糊、纹理失真，标准的矩形边界框无法很好地贴合物体，导致定位精度下降 。同时，基于外观特征的匹配算法（如 SIFT、ORB）也因此失效。
如下图所示，具体展示了在鱼眼镜头下的目标的严重畸变：
特别地，在红外场景下本就特征不明显的目标，畸变后特征提取难度会进一步增大：
挑战二：尺度跨度极大，检测鲁棒性不足
大视场下，近景目标可能占据数百像素，远景目标仅占几个像素，尺度差异可达 100 倍以上，远超传统多尺度检测机制（如 FPN）的处理范围 。具体场景如下图所示：
边缘区域目标被压缩后，边界框回归难度激增，易出现定位偏移。
挑战三：实时性与精度的矛盾
- 鱼眼图像分辨率通常高达 4K（为保留边缘细节），直接输入深度学习模型会导致计算量剧增，难以满足自动驾驶等场景在嵌入式设备（如 Jetson AGX Orin）上的实时性要求（需≥30fps）。
- 现有方法多依赖预校正（将鱼眼图转为透视投影图），但校正过程不仅会引入边缘信息损失，还会因像素插值产生重采样伪影，反而可能降低检测精度 。
这些挑战使得鱼眼镜头目标检测成为计算机视觉中 “畸变建模” 与 “目标感知” 交叉的前沿方向，现有解决方案仍存在较大优化空间。
二、学习资料与参考文献
2.1 基础教程与学习材料
扎实的基础知识是解决复杂问题的前提，推荐优先掌握以下内容：
2.1.1 核心教材与教程
- OpenCV 鱼眼相机标定教程—— 理解畸变模型与校正原理
- 李沐《动手学深度学习》—— 第 13 章（目标检测）、第 15 章（注意力机制）
- 《计算机视觉：算法与应用》（Richard Szeliski）—— 第 2 章（相机模型）、第 10 章（目标检测）(CV经典教材)
- 《计算机视觉：从感知到重建》—— 上海科学技术出版社
2.1.2 关键公开数据集
| 名称 | 发布机构/公司 | 年份 | 图像数量 | 核心贡献 |
|---|---|---|---|---|
| WoodScape | 法雷奥 | 2019 | >10000 | 首个大规模、多任务、真实的汽车级环视鱼眼数据集 |
| FishEye8K | AI City Challenge | 2024 | 8000 | 提供了专注于交通监控场景下的鱼眼镜头图像数据 |
| VOC-360 | 西蒙弗雷泽大学工程科学学院 | 2019 | 通过对PASCAL VOC施加畸变，为早期研究提供了可用的物体合成数据集 | |
| Wider-360 | 西蒙弗雷泽大学工程科学学院 | 2019 | 针对鱼眼镜头下的人脸图像 | |
| 360VOT | 香港科技大学 (HKUST) | 2023 | 113,000+ 帧 | 首个大规模全向视觉目标跟踪基准，将挑战从静态检测推向动态跟踪 |
2.1.3 实用工具
- MMDetection—— 目标检测开源框架，支持鱼眼镜头目标检测模型。
2.2 入门文献（经典通用目标检测方法）
这里仍然列举了一些经典传统的目标检测方法：
- YOLO: You Only Look Once: Unified, Real-Time Object Detection (CVPR 2016)
- Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks (NeurIPS 2015）
- FCOS: Fully Convolutional One-Stage Object Detection (ICCV 2019)
- DETR: End-to-End Object Detection with Transformers (ECCV 2020)
- SSD: Single Shot MultiBox Detector (ECCV 2016)
- Focal Loss(RetinaNet): Focal Loss for Dense Object Detection (ICCV 2017)
- DCN: Deformable Convolutional Networks (ICCV 2017)
- RepPoints: Point Set Representation for Object Detection (ICCV 2019)
- AutoAssign: Differentiable Label Assignment for Dense Object Detection (arXiv 2020)
- GFocal Loss：Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object DetectionLearning Qualified and Distributed Bounding Boxes for Dense Object Detection（NeurIPS 2020）
- GFocal Loss V2：Generalized Focal Loss V2 - Learning Reliable Localization Quality Estimation for Dense Object Detection（CVPR 2021）
- GWD:Rethinking Rotated Object Detection with Gaussian Wasserstein Distance Loss(ICML 2021)
- Cascade R-CNN：Cascade R-CNN: Delving into High Quality Object Detection（CVPR 2018）
- Libra R-CNN:Libra R-CNN: Towards Balanced Learning for Object Detection(CVPR 2019)
- RoI Transformer:Learning RoI Transformer for Oriented Object Detection in Aerial Images(ICCV 2019)
- SABL:Side-Aware Boundary Localization for More Precise Object Detection(ECCV 2020)
- STD:Spatial Transform Decoupling for Oriented Object Detection(AAAI 2024)
2.3 进阶文献（鱼眼镜头目标检测核心方法）
基于校正的鱼眼镜头目标检测方法：
- FisheyeYOLO：FisheyeYOLO: Object Detection on Fisheye Cameras for Autonomous Driving（NeurIPS Conference Workshop 2020）
端到端畸变自适应与新范式方法:
为了克服校正方法的弊端，研究主流迅速转向设计能够直接处理原始畸变鱼眼图像的端到端（End-to-End）模型。这类方法将畸变视为一种可以被网络学习和适应的图像特征，而非需要预先消除的噪声。
- FIsheyeDet: A Self-study and Contour-based Object Detector in Fisheye Images（IEEE Access 2020）
- SphereNet: Learning Spherical Representations for Detection and Classification in Omnidirectional Images（ECCV 2018）
- FisheyeMODNet:FisheyeMODNet: Moving Object detection on Surround-view Cameras for Autonomous Driving(ICCV 2019)
- Swin-fisheye: Swin-fisheye: Object detection for fisheye images（IET Image Processing 2024）
- Panoramic Distortion-Aware Tokenization：Panoramic Distortion-Aware Tokenization for Person Detection and Localization Using Transformers in Overhead Fisheye Images (arXiv 2025)
- DarSwin-Unet：DarSwin-Unet: A Distortion-Aware Radial Swin Transformer-based U-Net for Zero-Shot Adaptation in Fisheye Cameras (arXiv 2025)
- OmniDet：OmniDet: Surround View Cameras based Multi-task Visual Perception Network for Autonomous Driving（ICRA 2021）
轻量化与实时优化方法：
- Fisheye-YOLOv8： Lightweight Network for Real-Time Object Detection in Fisheye Cameras（Laser & Optoelectronics Progress 2025）
2.4 鱼眼图像前沿应用文献
近年来，鱼眼镜头下的目标检测的核心方法论经历了深刻的变革。研究者们不再将畸变视为一个需要预先消除的“问题”，而是将其看作一种可以被模型学习和利用的“信号”。这一转变催生了以数据为中心、模型内生畸变感知和自监督学习为代表的三大技术浪潮。
- Edge-case Synthesis for Fisheye Object Detection: A Data-centric Perspective（arXiv 2024）：利用生成式数据增强解决鱼眼数据稀缺问题。
- Extending Foundational Monocular Depth Estimators to Fisheye Cameras with Calibration Tokens (arXiv 2025)： “零样本”域自适应，让预训练大模型适应鱼眼相机。
- Robust Data Augmentation and Ensemble Method for Object Detection in Fisheye Cameras（CVPRW 2024）
- Enhancing Fisheye Object Detection Using Frequency-Domain Attention and Dual Aggregation Transformer（IEEE Access 2025）
- SimFIR: A Simple Framework for Fisheye Image Rectification with Self-supervised Representation Learning（ICCV 2023）
三、结语与期望
鱼眼镜头下的目标检测是 “畸变环境下智能感知” 的典型问题，既需要扎实的计算机视觉基础，又需对鱼眼成像特性有深刻理解。当前的研究趋势已清晰地从“先校正、后检测”的流水线模式，转向了能够直接处理原生畸变图像的端到端新范式。
“新芽计划” 希望通过本专题，引导学子们从分析畸变对目标特征的影响入手，探索传统算法的改进空间或深度学习的创新方向 —— 例如设计畸变自适应卷积、构建更优的非矩形目标表示方法、或是利用生成式AI等前沿技术克服数据瓶颈。
期待在汇报中看到大家结合具体数据集（如 FishEye8K）的实验分析，以及对 “精度 - 速度 - 通用性” 平衡的独到思考，让创新的种子在解决实际问题的过程中生根发芽！
