物体检测与跟踪算法
1、物体检测与跟踪算法
1.1 dbscan
dbscan: density based spatial clustering of applications with noise;dbscan是基于密度的聚类方法，对样本分布的适应能力比k-means更好。
红色的点是核心对象 黑色的点是非核心对象
注意:距离的度量不限于点的空间距离，还可以是其它点特征，比如速度、反射强度等
基本思路
假定类别可以通过样本分布的紧密程度决定，通过将紧密相连的样本分为一类，得到不同的聚类类别。
基本概念
(ε,minpts):用来描述邻域的密度;
ε :描述了某一样本的邻域距离阈值;
minpts:描述了邻域中的最小样本数。
核心对象:对于任一样本，其邻域至少包含minpts个样本。
算法流程
找到所有的核心对象
对于每一个未处理的核心对象，生成新的聚类;
搜索其 ε 邻域，将 ε邻域中的点加入该聚类;
不断重复以上步骤
k-means与dbscan 的对比
k-means
需要手工指定cluster的数量
所有点都进行聚类，不会去除outlier
各个方向同等重要，只适合于球形的cluster
具有随机性，每次运行结果不一致
dbscan
不需要指定cluster个数
可以排除outlier
对样本分布的适应性更好
每次运行结果是一致的
1.2 卡尔曼滤波
基本概念
雷达目标跟踪:多目标.tracking-by-detection
由聚类算法在单帧点云得到目标输出;
提取目标的特征，包括统计特征(比如点位置的均值，方差等)和运动特征(比如速度和加速度等) ;
根据特征计算当前帧的检测目标(detections)与已跟踪的多个目标(tracks)的相似度;
按照相似度将de tections分配给tracks;
卡尔曼滤波更新tracks的状态参数(位置、速度等)。
2、毫米波雷达公开数据库的未来发展方向
单模态数据库
只包含雷达数据，相对来说应用范围较窄
很难进行准确有效的标注
多模态数据库
除了雷达数据，还包括同步的图像和激光雷达数据
雷达数据：数据块或者点云
nuscenes，carrada，scorp，cruw，seeingthroughfog
未来发展方向
多模态数据
➢包括同步的图像，激光雷达等数据，用来进行多传感器融合的研究。
多数据类型
➢包括adc数据，rad数据，点云数据等，为不同层次的算法研究和实际应用提供支持。
360度视场
➢需要多个雷达配合完成，以满足多种自动驾驶应用的需求。8.01。
大规模数据
➢一般来说，至少要有超过10万帧的不同场景，不同天气条件下采集的数据。
丰富的标注信息
➢物体级:类别，位置，大小，方向，分割的mask
➢场景级:语义信息，比如free space, occupied space等。
3、4d毫米波雷达特点及发展趋势
4d指的是距离(range) ，水平角度(azimuth) ，俯仰角度( elevation)和速度(doppler) 。一般来说， 4d 毫米波雷达的角度分辨率相对较高，因此也经常被称为4d成像雷达。
4d毫米波雷达的两个主要特点是: 1)可以测量高度的信息; 2)角度分辨率较高。
为了更好的理解这两点，首先要了解fmcw雷达角度分辨率的依赖因素,以及为了增加角度分辨率所采用的mimo机制。
3.1.1 fmcw雷达角度分辨率
想要测量目标的方位角，至少需要两个接收天线(rx).可以通过相位差来求得方位角
在有多个接收天线时，每个接收信号与前一个接收信号之间的相位差都是 ω。以下图为例，假设有4个接收天线，以第一个接收天线为基准，4个接收信号的相位差分别为0， ω，2 ω，3 ω。这个序列信号的变化频率就是 ω ，因此我们通过fft来提取这个分量(也就是角度fft)。
如果场景中存在多个目标，而且其距离和速度都相同,那么雷达能够区分这些目标的最小角度差称之为角度分辨率。假设有以下场景，场景中有两个目标，其方位角分别为 θ 和 θ + δ θ ，对应的相位差分别为 ω 1 和 ω 2 。
因为 sin ( θ ) 的导数为 cos ( θ ) ，所以可得
根据傅里叶变换理论，n点的fft可以区分的频率分量最小为2π/n,这里的n就是接收天线的个数。这样我们就可以得到可以分辨的最小角度差，也就是角度分辨率。
从上面的推导可以看出，角度分辨率主要依赖于两个因素: 1) 目标的方位角。在boresight方向分辨率最高。越靠近雷达fov的边缘,角度分辨率越低。2)天线的个数。角度分辨率与天线个数城正比关系。第一个因素我们无法控制，而提高fmcw雷达角度分辨率的主要手段就是增加天线个数。
3.1.2 mimo ( multiple input multiple output)技术
从角度分辨率的计算公式中可以看到，想要提高雷达的角度分辨率，必须增加接收天线的个数。但是，增加天线的个数，会使天线体积变得很大，此外每一个接收天线上都要附加一个单独的链路来处理信号，比如混频器、if滤波器和adc。不仅硬件设计变得复杂，而且成本也会增加。
采用mimo (多发多收)的天线设计来降低接收天线的个数。比如，如果想要得到8个接收天线，采用2个发射天线和4个接收天线，这样就可以得到等效的8个虛拟接收天线阵列。一般来说，不同的发射天线会间隔发射，或者发射不同波形的信号，这样接收天线就可以区分来自不同发射天线的信号。
当发射天线有垂直方向的分布时，就可以测量目标的俯仰角度。下图就是一个典
型的3发4收的天线排列结构。等效的接收天线有12个，垂直方向上有两个天线
可以用来测量俯仰角度。
3.2 4d毫米波雷达发展趋势
3.2.1 芯片级联
4d成像雷达的核心在于较高的水平和垂直角度分辨率，这就需要增加发射和接收天线的个数。目前绝大多数毫米波雷达都是采用单片收发器，通常只有3发4收，也就是只有12个虛拟天线。一个增加虚拟天线的方案是基于现有的量产雷达，将多个雷达芯片进行级联，比如德国大陆的ars540和华为的4d成像雷达。
ars540采用4片级联的形式，将4片nxp的77ghz毫米波雷达收发器(mmic)mr3003进行级联。每个mr3003是3发4收，4片联在一起就是12发16收，这样就可以产生192个虚拟天线。ars540是第一个具备能够真正测量目标高度的毫米波雷达，其垂直角度分辨率可以达到2.3°，水平角度分辨率可以达到1.2°
3.2.2 专用芯片
除了采用现有的量产雷达进行级联，还有的公司直接将多发多收的天线嵌入到一个雷达芯片里，比如arbe, vayyar 以及mobileye。arbe 提供的4d成像毫米波雷达phoenix，采用48发48收，虚拟通道达到个2304个。mobileye 同样也是48发48收的天线配置，水平和垂直角分辨率可以做到0.5°和2°。
3.2.3 标准芯片+软件提升
这种方案基于标准的雷达芯片，但是采用软件和ai的方法来提高雷达的分辨率。这里比较有代表性的是傲酷的虚拟孔径成像技术。传统fmcw雷达重复单一的发射波形，相位差来自于多根实体接收天线，而傲酷虚拟孔径成像雷达波形可以对发射波进行调频，调相、调幅，也就是说每根接收天线在不同时间产生不同的相位，形成“虚拟天线孔径”。而且这种调整是可以根据当前环境进行自适应的，也就是说根据上一帧的检测结果来调整当前帧的波形。
超高速10位CMOS D/A转换器AD9751的原理、特点及应用设计
运算放大器(OP-AMP)振荡器电路图解析
智慧粮库升级粮门异动监测装置的特点
什么是NDI 5技术，它的应用优势都有哪些
Holtek推出感烟与CO/燃气探测专用Flash MCU
物体检测与跟踪算法
重点讨论如何优化Docker镜像以使其轻量化
5G有没有新的应用场景 设备造价及网络建设成本是否过高
如何才能提供容器云服务？
布局布线技术的发展
Linux 调试器之堆栈展开！
可变增益放大器电路图
保护型低压电流互感器的准确级10P20是什么意思
工程师：有关赛灵思器件调试视频应用的经验总结
意法半导体(ST)电力线通信芯片组解决方案助力新智能电力基础设施
数智新生长 澎湃兴算力 中兴通讯全栈算力布局亮相2023中国算力大会
选频放大电路的概念及特点介绍
新型电子皮肤可让人们在虚拟现实中互动更真实
PCB制造中如何避免配装和子配装的重新设计
嵊泗智能岛屿电网开始建设，计划离网微电网
1.1 dbscan
dbscan: density based spatial clustering of applications with noise;dbscan是基于密度的聚类方法，对样本分布的适应能力比k-means更好。
红色的点是核心对象 黑色的点是非核心对象
注意:距离的度量不限于点的空间距离，还可以是其它点特征，比如速度、反射强度等
基本思路
假定类别可以通过样本分布的紧密程度决定，通过将紧密相连的样本分为一类，得到不同的聚类类别。
基本概念
(ε,minpts):用来描述邻域的密度;
ε :描述了某一样本的邻域距离阈值;
minpts:描述了邻域中的最小样本数。
核心对象:对于任一样本，其邻域至少包含minpts个样本。
算法流程
找到所有的核心对象
对于每一个未处理的核心对象，生成新的聚类;
搜索其 ε 邻域，将 ε邻域中的点加入该聚类;
不断重复以上步骤
k-means与dbscan 的对比
k-means
需要手工指定cluster的数量
所有点都进行聚类，不会去除outlier
各个方向同等重要，只适合于球形的cluster
具有随机性，每次运行结果不一致
dbscan
不需要指定cluster个数
可以排除outlier
对样本分布的适应性更好
每次运行结果是一致的
1.2 卡尔曼滤波
基本概念
雷达目标跟踪:多目标.tracking-by-detection
由聚类算法在单帧点云得到目标输出;
提取目标的特征，包括统计特征(比如点位置的均值，方差等)和运动特征(比如速度和加速度等) ;
根据特征计算当前帧的检测目标(detections)与已跟踪的多个目标(tracks)的相似度;
按照相似度将de tections分配给tracks;
卡尔曼滤波更新tracks的状态参数(位置、速度等)。
2、毫米波雷达公开数据库的未来发展方向
单模态数据库
只包含雷达数据，相对来说应用范围较窄
很难进行准确有效的标注
多模态数据库
除了雷达数据，还包括同步的图像和激光雷达数据
雷达数据：数据块或者点云
nuscenes，carrada，scorp，cruw，seeingthroughfog
未来发展方向
多模态数据
➢包括同步的图像，激光雷达等数据，用来进行多传感器融合的研究。
多数据类型
➢包括adc数据，rad数据，点云数据等，为不同层次的算法研究和实际应用提供支持。
360度视场
➢需要多个雷达配合完成，以满足多种自动驾驶应用的需求。8.01。
大规模数据
➢一般来说，至少要有超过10万帧的不同场景，不同天气条件下采集的数据。
丰富的标注信息
➢物体级:类别，位置，大小，方向，分割的mask
➢场景级:语义信息，比如free space, occupied space等。
3、4d毫米波雷达特点及发展趋势
4d指的是距离(range) ，水平角度(azimuth) ，俯仰角度( elevation)和速度(doppler) 。一般来说， 4d 毫米波雷达的角度分辨率相对较高，因此也经常被称为4d成像雷达。
4d毫米波雷达的两个主要特点是: 1)可以测量高度的信息; 2)角度分辨率较高。
为了更好的理解这两点，首先要了解fmcw雷达角度分辨率的依赖因素,以及为了增加角度分辨率所采用的mimo机制。
3.1.1 fmcw雷达角度分辨率
想要测量目标的方位角，至少需要两个接收天线(rx).可以通过相位差来求得方位角
在有多个接收天线时，每个接收信号与前一个接收信号之间的相位差都是 ω。以下图为例，假设有4个接收天线，以第一个接收天线为基准，4个接收信号的相位差分别为0， ω，2 ω，3 ω。这个序列信号的变化频率就是 ω ，因此我们通过fft来提取这个分量(也就是角度fft)。
如果场景中存在多个目标，而且其距离和速度都相同,那么雷达能够区分这些目标的最小角度差称之为角度分辨率。假设有以下场景，场景中有两个目标，其方位角分别为 θ 和 θ + δ θ ，对应的相位差分别为 ω 1 和 ω 2 。
因为 sin ( θ ) 的导数为 cos ( θ ) ，所以可得
根据傅里叶变换理论，n点的fft可以区分的频率分量最小为2π/n,这里的n就是接收天线的个数。这样我们就可以得到可以分辨的最小角度差，也就是角度分辨率。
从上面的推导可以看出，角度分辨率主要依赖于两个因素: 1) 目标的方位角。在boresight方向分辨率最高。越靠近雷达fov的边缘,角度分辨率越低。2)天线的个数。角度分辨率与天线个数城正比关系。第一个因素我们无法控制，而提高fmcw雷达角度分辨率的主要手段就是增加天线个数。
3.1.2 mimo ( multiple input multiple output)技术
从角度分辨率的计算公式中可以看到，想要提高雷达的角度分辨率，必须增加接收天线的个数。但是，增加天线的个数，会使天线体积变得很大，此外每一个接收天线上都要附加一个单独的链路来处理信号，比如混频器、if滤波器和adc。不仅硬件设计变得复杂，而且成本也会增加。
采用mimo (多发多收)的天线设计来降低接收天线的个数。比如，如果想要得到8个接收天线，采用2个发射天线和4个接收天线，这样就可以得到等效的8个虛拟接收天线阵列。一般来说，不同的发射天线会间隔发射，或者发射不同波形的信号，这样接收天线就可以区分来自不同发射天线的信号。
当发射天线有垂直方向的分布时，就可以测量目标的俯仰角度。下图就是一个典
型的3发4收的天线排列结构。等效的接收天线有12个，垂直方向上有两个天线
可以用来测量俯仰角度。
3.2 4d毫米波雷达发展趋势
3.2.1 芯片级联
4d成像雷达的核心在于较高的水平和垂直角度分辨率，这就需要增加发射和接收天线的个数。目前绝大多数毫米波雷达都是采用单片收发器，通常只有3发4收，也就是只有12个虛拟天线。一个增加虚拟天线的方案是基于现有的量产雷达，将多个雷达芯片进行级联，比如德国大陆的ars540和华为的4d成像雷达。
ars540采用4片级联的形式，将4片nxp的77ghz毫米波雷达收发器(mmic)mr3003进行级联。每个mr3003是3发4收，4片联在一起就是12发16收，这样就可以产生192个虚拟天线。ars540是第一个具备能够真正测量目标高度的毫米波雷达，其垂直角度分辨率可以达到2.3°，水平角度分辨率可以达到1.2°
3.2.2 专用芯片
除了采用现有的量产雷达进行级联，还有的公司直接将多发多收的天线嵌入到一个雷达芯片里，比如arbe, vayyar 以及mobileye。arbe 提供的4d成像毫米波雷达phoenix，采用48发48收，虚拟通道达到个2304个。mobileye 同样也是48发48收的天线配置，水平和垂直角分辨率可以做到0.5°和2°。
3.2.3 标准芯片+软件提升
这种方案基于标准的雷达芯片，但是采用软件和ai的方法来提高雷达的分辨率。这里比较有代表性的是傲酷的虚拟孔径成像技术。传统fmcw雷达重复单一的发射波形，相位差来自于多根实体接收天线，而傲酷虚拟孔径成像雷达波形可以对发射波进行调频，调相、调幅，也就是说每根接收天线在不同时间产生不同的相位，形成“虚拟天线孔径”。而且这种调整是可以根据当前环境进行自适应的，也就是说根据上一帧的检测结果来调整当前帧的波形。
超高速10位CMOS D/A转换器AD9751的原理、特点及应用设计
运算放大器(OP-AMP)振荡器电路图解析
智慧粮库升级粮门异动监测装置的特点
什么是NDI 5技术，它的应用优势都有哪些
Holtek推出感烟与CO/燃气探测专用Flash MCU
物体检测与跟踪算法
重点讨论如何优化Docker镜像以使其轻量化
5G有没有新的应用场景 设备造价及网络建设成本是否过高
如何才能提供容器云服务？
布局布线技术的发展
Linux 调试器之堆栈展开！
可变增益放大器电路图
保护型低压电流互感器的准确级10P20是什么意思
工程师：有关赛灵思器件调试视频应用的经验总结
意法半导体(ST)电力线通信芯片组解决方案助力新智能电力基础设施
数智新生长 澎湃兴算力 中兴通讯全栈算力布局亮相2023中国算力大会
选频放大电路的概念及特点介绍
新型电子皮肤可让人们在虚拟现实中互动更真实
PCB制造中如何避免配装和子配装的重新设计
嵊泗智能岛屿电网开始建设，计划离网微电网