【论文解读】毫米波雷达技术地图，从信号处理到感知、融合与 SLAM

编者按

如果只从参数表看，4D 毫米波雷达最直观的变化，是在距离、方位和速度之外增加了俯仰信息。随着 MIMO 阵列规模扩大、角分辨率提升，毫米波雷达 带来的数据量、信息维度以及可支撑的感知任务也在快速增加。

本研究系统梳理了 4D 毫米波雷达从信号处理、分辨率提升、点云生成，到感知、融合、定位建图与数据集的发展脉络。对于希望快速建立 4D 毫米波雷达技术全景的开发者来说，它更像是一张值得收藏的 4D 毫米波雷达技术地图，希望本文对你有所帮助！

论文信息

论文标题：4D Millimeter-Wave Radar in Autonomous Driving: A Survey

论文作者：Zeyu Han、Jiahao Wang、Zikun Xu、Shuocheng Yang、Zhouwei Kong、Lei He、Shaobing Xu、Jianqiang Wang、Keqiang Li

通讯作者：Jianqiang Wang、Keqiang Li

研究机构：清华大学、重庆长安汽车股份有限公司

论文类型：综述论文

论文出处：https://arxiv.org/html/2306.04242v4

引言

毫米波雷达早已是自动驾驶的重要传感器。

它可以直接测量目标距离和径向速度，同时具备远距离、全天候、对光照不敏感等特点。

但传统车载雷达也有明显短板：角分辨率有限，尤其缺乏有效的俯仰测量能力；

最终输出的点云通常比较稀疏，并伴随杂波和噪声。

MIMO 技术的发展改变了这一局面。

通过增加收发通道、扩大虚拟阵列孔径，毫米波雷达开始获得更好的俯仰分辨能力，由此形成今天通常所说的 4D 毫米波雷达：距离 + 方位角 + 俯仰角 + 径向速度。

但从工程角度看，4D 毫米波雷达并不是简单给传统雷达增加一个俯仰字段。

更大的 MIMO 阵列意味着更多通道和更大的原始数据量；更高分辨率也意味着后续信号处理、点云生成、感知和计算需要处理更多信息。。

因此，4D 毫米波雷达一方面获得了更加丰富的数据，另一方面也面临着原始数据量增加、点云稀疏、噪声以及后续算法适配等问题。

信号处理流程

4D 毫米波雷达虽然在角度分辨能力和输出维度上发生了明显变化，但底层仍然建立在大家熟悉的 **FMCW（调频连续波）**雷达原理之上。

一个典型 FMCW Chirp 的频率随时间线性变化，主要参数包括：

• 起始频率 f_c
• 带宽 B
• 调频斜率 S
• Chirp 持续时间 T_c

发射信号遇到目标后反射回接收天线。由于信号传播存在时间延迟，当前发射信号与接收到的回波之间会产生频率差。

目标距离 r与信号传播时间 t之间满足：

r=\frac{ct}{2}

对于线性调频信号：

t=\frac{\Delta f}{S}

其中：

• c为光速；
• t为信号往返目标的传播时间；
• \Delta f为发射信号与接收信号之间的频率差；
• S为调频斜率。

因此，FMCW 雷达并不是直接测量这个极短的传播时间，而是利用线性调频关系，将传播时延转换成更加容易测量的频率差，再进一步恢复目标距离。

一帧 FMCW 雷达通常又包含多个 Chirp。

目标运动会使连续 Chirp 的回波之间产生相位变化。

根据多普勒效应，径向相对速度 v可以表示为：

v=\frac{c\Delta f}{2f_c}

相邻 Chirp 之间的频率变化又可以通过相位变化得到：

\Delta f=\frac{\Delta\varphi}{2\pi T_c}

其中：

• f_c为载频；
• \Delta\varphi为相邻 Chirp 之间的回波相位变化；
• T_c为 Chirp 周期。

于是，一帧 ADC 数据实际上包含两个非常关键的采样维度：

Chirp 内采样 → 距离信息，也就是 Fast Time；

多个 Chirp 之间的采样 →多普勒信息，也就是 Slow Time。

经过距离维和多普勒维的二维 FFT 后，就可以形成距离-多普勒图（RD Map）。

但 RD 图只能告诉我们：某个距离、某个速度的位置上有多强的回波。

它还没有给出完整的方位角和俯仰角。

从 RD 图恢复角度

角度信息主要来自 MIMO 虚拟阵列。

如果雷达包含 n个发射天线和 m个接收天线，理论上可以形成：

n\times m

组虚拟收发通道。

同一个目标到不同虚拟通道之间存在微小的传播距离差，因此对应回波也会产生不同的相位。

利用这些通道之间的相位关系，再结合天线的空间排列，就可以进行 DOA（到达方向）估计，恢复方位角和俯仰角。

从原始回波到最终点云，一条典型的数据链可以概括为：

原始ADC
↓
距离 FFT
↓
多普勒 FFT
↓
Range-Doppler Map
↓
角度估计
↓
距离-方位-俯仰-多普勒四维张量
↓
CFAR目标检测
↓
雷达点云

在实际处理链中又存在两种典型路线：

路线一：先估计角度，再执行 CFAR

RD → DOA → 4D Tensor → CFAR → Point Cloud

路线二：先执行 CFAR，再恢复角度

RD → CFAR → DBF / DOA → Point Cloud

区别在于 CFAR 发生在哪一个阶段。

• 前者保留完整四维数据后再筛选目标，数据量更大；
• 后者先筛选候选单元，再进行角度估计，计算负担相对较低。

原论文将两种典型流程在图中进行了完整展示。

分辨率提升

4D 毫米波雷达最关键的变化之一，是俯仰维度真正进入了雷达测量。

本研究将提升方式概括为两条路线：硬件扩展和软件增强。

硬件扩展

增加虚拟收发通道数量，或者扩大有效孔径。

常见方式包括多芯片级联，以及在单芯片上集成更多收发通道。

例如，多个标准雷达芯片级联后，可以形成规模更大的虚拟阵列，从而改善方位和俯仰角分辨率。

代价同样明显：更多通道意味着更复杂的同步、更大的数据量、更高的功耗以及更复杂的系统设计。

另外一条硬件路线是通过新的天线或元材料构建孔径，在控制尺寸的同时扩大有效孔径，但这种方法还不够成熟，无法广泛应用。

软件增强

分辨率也不完全只能靠增加天线解决，通过虚优化信号处理算法，也可以在软件层面提高雷达分辨率。

例如，合成孔径雷达（SAR） 可以利用雷达自身运动，在不同空间位置连续采集回波，从而在软件侧合成更大的等效孔径，但通常需要级联的帮助来降低噪声。

同时，超分辨算法也在尝试突破传统 FFT、CFAR、DBF 等方法的分辨能力。

最终雷达的分辨率变得像一个“阵列 + 波形 + 信号处理”的系统问题，而不是只由天线数量决定。

外参标定

当 4D 毫米波雷达与摄像头、激光雷达、IMU 等传感器共同工作时，准确的外参标定是后续融合的基础。

但雷达标定比想象中更困难。

一方面，雷达点云本身相对稀疏，频谱数据不够直观；

另一方面，多径和杂波会产生额外干扰，而雷达、摄像头和激光雷达对同一个目标的观测方式又存在很大差异。

继传统的三维毫米波雷达校准方法之后，大多数开发者通常使用回复反射器来提高校准精度。

通过在已知位置布置强反射目标，在雷达、激光雷达和摄像头中建立明确对应关系，并将其数据进行比较，可以校准外部参数

本研究还介绍了一些改进方法。

• 多传感器可以直接相对于机器人本体进行联合标定；

• 利用单个角反射器，通过 RANSAC 和非线性优化完成雷达与摄像头的标定。

• 不依赖专门布置反射器，而利用雷达自身的运动测量完成在线标定。

对于实际系统而言，实验室标定解决的是“第一次对准”，长期在线运行则需要解决“如何一直保持对准”。

尤其在恶劣天气、震动以及传感器长时间运行的情况下，稳健的在线标定仍然值得继续研究。

点云生成

传统 CFAR 的优势非常明确：成熟、计算量可控，而且可以保持稳定的虚警率。

但现实世界里的目标并不是理想点目标。

车辆、行人、护栏等通常跨越多个距离、速度和角度；

多径和目标间遮挡也会进一步改变局部背景分布。

因此，经过 CFAR 以后，很容易出现：真实回波被过滤、目标点过少、相邻目标相互掩蔽。

4D 毫米波雷达 的一个典型矛盾由此出现：前端拥有越来越丰富的频谱信息，最后交给算法的却仍然是一组比较稀疏的点云。

围绕这个问题，有两类路线。

点云重建

第一类是在传统信号处理后继续增强已经得到的点云。

目标是让雷达点云更稠密、更完整、噪声更少。

这类方法通常借鉴点云补全和重建技术。

它并不改变传统雷达处理链的前半部分，而是在后处理阶段提升数据质量。

直接检测

另一类路线则直接向 CFAR 前移动。

模型不再以最终雷达点云为输入，而直接从：

• RD 图
• RA 图
• RAD 数据
• 四维张量

中判断哪些区域属于真实目标。

本研究将这两类方法分别概括为 Reconstructor 和 Detector。

这并不意味着传统 CFAR 会消失。

论文展示的实验中，基于学习的方法生成的点云相比 OS-CFAR 更加稠密，同时包含更少杂波。

数据集

对于 4D 毫米波雷达研究而言，数据集的价值并不只是“有多少帧”。

更重要的是：

雷达数据开放到了哪一级。

从底层到上层，大致可以分成：

原始 ADC 数据

↓

RD / RA / RAD 等频谱数据

↓

四维张量

↓

雷达点云

不同数据层级，可以研究的问题完全不同。

如果数据集只开放雷达点云，开发者主要能够研究三维检测、跟踪、融合和 SLAM 等下游任务。

如果进一步开放四维张量或 RAD 数据，则可以研究 CFAR 前检测、特征提取以及更加底层的数据处理。

如果开放原始 ADC，则开发入口继续向雷达信号处理延伸。

论文梳理了多套具有代表性的 4D 毫米波雷达数据集，例如：

Astyx

是较早公开的 4D 毫米波雷达数据集，包含约 500 个雷达、激光雷达和摄像头同步帧。

RADIal

提供约 2.5 万帧数据，并开放原始雷达数据、RAD 数据和雷达点云。

View-of-Delft（VoD）

包含约 8700 帧复杂城市交通数据，并提供三维目标框和跟踪编号。

TJ4DRadSet

覆盖城市道路、高速公路和工业园区等不同交通场景。

K-Radar

包含约 3.5 万帧数据，覆盖晴、雾、雨、雪等多种天气，并提供完整的距离-方位-俯仰-多普勒四维张量。

面向定位和建图，还有：

ColoRadar

提供原始 ADC、距离-方位-俯仰张量和雷达点云三个数据层级，该数据集收集了室内和室外几种独特环境中的数据，提供了各种各样的传感器数据。

这些数据集反映出了一个很重要的变化：雷达数据集正在从“提供最终输出”，逐渐向“提供完整的数据处理链”演进。

不过，与视觉和激光雷达数据集相比，现有 4D 毫米波雷达数据集的规模仍然有限。

另外，不同雷达在阵列、参数、分辨率、数据格式甚至前端处理流程上差异明显，跨雷达、跨数据集的统一评测仍然比较困难。

SuperRadar 社区正在建设数据集一站式开发管理平台，欢迎大家共建，期待早日上线！

感知应用

随着 4D 毫米波雷达点云密度和空间分辨能力提升，其点云密度已经达到了与近光束激光雷达相当的水平，4D毫米波雷达在低能见度和恶劣天气条件下表现出优越的鲁棒性。相关应用已经开始从传统目标级输出向更加复杂的环境感知延伸。

目前主要研究方向包括：

• 三维目标检测；
• 目标跟踪；
• 自由空间分割；
• 场景流估计；
• 多传感器融合。

与此同时，算法的数据入口也在发生变化。

• 继续使用雷达点云；

• 直接使用 CFAR 前的频谱数据甚至原始数据。

3D 目标检测

三维目标检测是目前 4D 毫米波雷达研究最集中的任务之一。

一个很自然的起点，是把成熟的激光雷达点云检测算法迁移到雷达。

例如论文整理了 PointPillars、CenterPoint、PillarNeXt 等基础算法在雷达点云上的测试，也收录了 RPFA-Net、MVFAN、RadarPillarNet、SMURF 等针对 4D 毫米波雷达进一步设计的方法。

雷达的数据本身还有一些非常重要的独有信息：

• 径向速度；
• 反射强度；
• 俯仰信息；
• 特殊的噪声分布；
• 与激光雷达不同的空间采样特性。

因此，越来越多模型不再简单复制激光雷达算法，而是开始单独处理雷达的位置、多普勒、反射强度和不同空间视图。

还有一类方法进一步绕开点云，直接使用四维张量。

例如 K-Radar 提供的基线研究表明，完整四维数据中的俯仰信息对三维检测具有直接价值。

场景流估计

雷达与摄像头、激光雷达一个非常重要的区别，是能够直接测量多普勒速度。

这意味着雷达数据不只是告诉系统“目标在哪里”，还天然包含一部分“目标正在怎么运动”的信息。

场景流描述的是环境中不同三维点随时间发生的运动。

在摄像头或激光雷达中，这类运动通常需要依靠多帧数据估计；

对于雷达，则可以进一步把点云自带的多普勒作为重要输入。

相关研究已经尝试通过跨模态监督的方式训练雷达场景流：在训练阶段利用其他传感器提供监督，再让雷达独立估计空间运动。

论文还提到一种值得关注的思路：先跟踪，再检测。介绍了一种用于跨模态学习问题的多任务模型体系结构。大量实验表明了该方法的最先进性能，并证明了跨模态监督学习在推断更准确的4D毫米波雷达场景流方面的有效性。

也就是先利用多普勒和时间信息理解运动、估计场景流，再通过时序信息去噪和增强特征，最后完成检测和跟踪。

融合方法

除了雷达点云，论文还专门梳理了多种 CFAR 前数据的感知方式，包括：

• 四维张量；
• RAD 数据；
• RD 图；
• RA 图；
• 原始 ADC 数据。

例如，一些方法直接从 RD 图完成自由空间分割和二维目标检测；另一些方法从完整四维张量进行三维检测。

数据越靠近 ADC 数据，信息确实越丰富，但同时：

• 数据量更大；
• 计算开销更高；
• 标注更困难；
• 不同硬件之间更难统一。

多模态融合

4D 毫米波雷达的发展并不意味着摄像头或激光雷达会被取代。从自动驾驶感知来看，三类传感器仍然具有不同优势。

毫米波雷达与摄像头融合、雷达与激光雷达融合，都成为 4D 毫米波雷达的重要研究方向。

从算法上看，多模态融合可以发生在数据层、特征层、决策层。

目前研究主要集中在特征层融合。例如，在雷达与摄像头融合中，可以分别构建视觉特征和雷达鸟瞰图特征，再通过注意力等模块进行交互。

雷达与激光雷达融合，则尝试结合激光雷达的高精度几何与雷达的远距离、速度等信息。

如果最终只留下几个稀疏的空间坐标，那么雷达自身的多普勒、RCS 和其他物理信息并没有被真正利用起来。

定位与建图

除了感知，4D 毫米波雷达另一条非常重要的发展路线是定位与建图。

在 GNSS 不可靠、高精地图不可用，以及烟雾、雨雪或低能见度场景中，毫米波雷达的环境适应能力使其具备独特价值。

论文将 4D 毫米波雷达 SLAM 相关研究整理为几条主要路线：

• 多普勒信息利用；
• 传统几何方法；
• 基于学习的方法。

里程计

多普勒在 SLAM 中最直接的一个作用，是估计雷达自身的运动速度。

假设某个雷达点的三维坐标为：

\boldsymbol{p}_i

它相对于雷达的单位方向向量可以表示为：

\boldsymbol{r}_i= \frac{\boldsymbol{p}_i} {\|\boldsymbol{p}_i\|}

如果这个点来自静态目标，那么测得的径向多普勒速度，本质上就是自车速度在该方向上的投影：

v_{d,i} = \boldsymbol{v}_e\cdot\boldsymbol{r}_i

展开为：

v_{d,i} = v_{e,x}r_{i,x} + v_{e,y}r_{i,y} + v_{e,z}r_{i,z}

只要环境中存在足够多静态雷达点，就可以把多个这样的方程组合起来，通过线性最小二乘估计自车三维速度。

这是一条非常典型的雷达里程计路线：多普勒 → 自车速度 → IMU / 运动模型 → 里程计

但真实道路中当然还存在动态车辆、行人和噪声。

这些点如果直接进入最小二乘，就会成为异常值。

因此实际系统通常还会加入：

• RANSAC；
• 加权最小二乘；
• 动态点剔除；
• IMU 融合。

一些研究还根据每个雷达点的信号强度或残差大小设置不同权重，以降低噪声和动态目标对速度估计的影响。

回环与重定位

SLAM 系统除了逐帧估计位姿，还需要识别：当前场景是不是以前来过。

这就是回环检测，已有工作大多借鉴激光雷达中经典的 Scan Context。

原始 Scan Context 会按照方位把点云划分成不同网格，并使用每个区域中的最大高度形成场景描述。

但雷达的高度分辨能力与激光雷达不同。

因此部分雷达 SLAM 会使用最大反射强度替代最大高度，构建更加适合雷达的场景描述。

也有研究从当前雷达扫描中提取特征，再与已有全局地图进行匹配，从而完成重定位。

未来展望

4D毫米波雷达有可能给自动驾驶汽车带来深刻的变化，未来发展趋势可能主要取决于以下几个方面。

点云增强

作为最常用的数据格式，4D毫米波雷达点云与其他传感器相比质量明显较低。雷达的多径效应等特性严重影响了点云的数据质量。

此外，迫切需要改进信号处理流程中的信息损失，特别是通过用精确设计的基于学习的方法取代CFAR。基于学习的DOA估计方法，而不是DBF方法，也可以用于超分辨率角度估计。

应用算法重新设计

除了改进4D毫米波雷达点云外，信号处理后的应用算法是另一个不可忽视的问题。到目前为止，许多4D毫米波雷达的应用算法都是在相应的激光雷达算法的基础上进行修改的。

4D毫米波雷达的特殊性，如速度测量能力和在极端环境下的自适应能力，有待于未来的研究进一步探索。

对于感知任务来说，多模态融合无疑是未来的发展方向。然而，其他传感器分支的集成仍将削弱天气条件。对于4D毫米波雷达的定位和测绘，传感器与激光雷达和相机的融合有很大的发现空间。

点云前数据利用

至于4D毫米波雷达信号处理流程中的独特数据格式，如原始ADC数据、RD图和4D张量，利用这些数据进行感知、定位和映射是一个有趣但几乎没有触及的话题。

基于学习的模型可以利用这些数据中的充足信息，同时保持可接受的实时性能，这可能是一个研究热点。

数据集丰富

与所有其他数据驱动的研究领域一样，4D毫米波雷达的数据集在相关研究中发挥着重要作用。包含4D毫米波雷达的现有数据集相对较少。数据格式和场景丰富性是有待扩展的两个主要领域。

SuperRadar 社区正在推进的 AI 雷达，已经开始从雷达硬件、点云、ADC数据、数据等层面重新构建毫米波雷达的能力边界。相比传统毫米波雷达，当前雷达输出的点云密度、空间完整性和整体数据质量已经有了明显提升，能够保留下来并提供给后续算法使用的信息也更加丰富。

同时，我们也愿意与更多开发者一起，共建 AI 雷达生态，推动 AI 雷达应用，创新 AI 雷达市场，为智能时代的到来贡献力量，致力于服务 AI 雷达的同行者，共建繁荣生态。