使用光流 + CNN的方法来预测车辆的速度
导读
使用光流 + cnn的方法来预测车辆的速度，用pytorch实现，有代码。
代码：https://github.com/sharifelfouly/vehicle-speed-estimation
我想要解决的问题是：在一辆车里有一个摄像头，我想知道车开得有多快。你显然不能看速度表，只能看视频片段本身。深度学习魔法应该能帮助我们。
数据
我有两个不同的视频。一个用于训练，另一个用于测试。训练视频有20399帧，测试视频有10797帧。视频下载地址：https://github.com/commaai/speedchallenge。下面是一些例子：
视频中的样本图像
训练视频的标签是a .txt文件，其中每一行对应于特定帧的速度。
方法
这个问题最有趣的地方是你的神经网络输入会是什么样子。仅从一个静态图像计算速度是不可能的。一种有效的方法是将两个或更多的图像堆叠在一起，或者像lstm或transformer那样连续地堆叠。另一个是计算光流，我决定用它。
什么是光流？它基本上是一种为每个像素计算矢量的方法，告诉你两幅图像之间的相对运动。有一个很棒的computerphile视频：https://www.youtube.com/watch?v=4v_kemnrov4，你可以了解更多细节。有一些“经典”的计算机视觉算法可以用来计算光流，但深度学习已经变得更好了(这一点也不奇怪)。那么什么是sota方法，让我们看看paperswithcode：
raft 看起来不错，它还有pytorch的实现。我forked原始存储库，并使其更简单一些。我不需要训练，评估等等。我只会用它来推理。
计算光流
为了进行推断，网络将两幅图像拼接起来，并预测了一个维度为*(2, image_height, image_width)*的张量。如前所述，图像中的每个像素对应一个二维向量。我们将在实际训练中使用这些文件，因此我们将它们保存为.npy文件。如果你想象光流图像它会是这样的：
训练
记住我们训练的目的：
光流→模型→车速估计
我选择的模型是efficientnet。我非常喜欢它，因为它的可扩展性。它有8个不同的版本供你选择，最大的一个，efficientnet-b7仍然非常非常好。你可以从一个像b0这样的小变体开始，然后如果一切工作正常，你有一个足够好的gpu，你可以选择一个更大的。还有一个pytorch库，我会使用它来非常容易地加载预先训练好的网络模型，地址：https://github.com/lukemelas/effecentnet-pytorch。如果你打开[train.ipynb](https://github.com/sharifelfouly/vehicle-speed - estimate)，你就可以看到训练是如何运作的。
我总是从b0开始，然后放大到b3，因为我的gpu只有6 gb内存。经过训练，我得到如下结果(loss为均方误差)：
训练损失
验证损失
很好，看起来一切都很正常！训练和验证损失都在降低，网络没有过拟合。
结果如下：
虽然不完美，但它确实有一些用
总结
我通常不太喜欢特征工程，但我认为在这种情况下它做得很好。下一步是尝试一些序列化的东西，比如transformer或lstm。
英文原文：https://medium.com/@selfouly/vehicle-speed-estimation-from-video-using-deep-learning-18b41babda4c
原文标题：使用深度学习从视频中估计车辆的速度
文章出处：【微信公众号：新机器视觉】欢迎添加关注！文章转载请注明出处。
最舒适的蓝牙耳机上手体验！享受好音乐岂能让耳朵受累
北京动物园完成5G通信基站建设，提供优质、便捷的旅游服务及体验
荣耀20曝光采用了三摄像头取消了后置指纹改为了屏幕指纹
京微齐力异构FPGA产品帮助行业客户实现应用创新和性能突破
魅族flyme6你用了吗？one mind魅族粉亲测好用！
使用光流 + CNN的方法来预测车辆的速度
触摸传感器DIY图解
python程序文件扩展名主要有哪两种
用于检测煤气泄漏的传感器应用介绍
目前市场上应用最广泛的陶瓷patch天线概述
测定示波器的电压水平灵敏度
DRAM芯片与知名企业有很大差距，DDR4仍是紫光国微主流
联发科天玑游戏生态圈火速拓展，天玑9300旗舰芯坐享其成
CVPR2023 I BUFFER：点云配准中卓越精度、高效性和泛化性的完美平衡
苹果官网停售Intel版MacBook Air
FF将于2022年下半年正式在中国实现量产
比特币的底层技术是由什么托起的
上海汽车电子产业链一家电容企业抗疫守“沪”
安波福亚太区总裁杨晓明博士荣获上海市“白玉兰荣誉奖”
Yandex计划自己研发自动驾驶传感器
使用光流 + cnn的方法来预测车辆的速度，用pytorch实现，有代码。
代码：https://github.com/sharifelfouly/vehicle-speed-estimation
我想要解决的问题是：在一辆车里有一个摄像头，我想知道车开得有多快。你显然不能看速度表，只能看视频片段本身。深度学习魔法应该能帮助我们。
数据
我有两个不同的视频。一个用于训练，另一个用于测试。训练视频有20399帧，测试视频有10797帧。视频下载地址：https://github.com/commaai/speedchallenge。下面是一些例子：
视频中的样本图像
训练视频的标签是a .txt文件，其中每一行对应于特定帧的速度。
方法
这个问题最有趣的地方是你的神经网络输入会是什么样子。仅从一个静态图像计算速度是不可能的。一种有效的方法是将两个或更多的图像堆叠在一起，或者像lstm或transformer那样连续地堆叠。另一个是计算光流，我决定用它。
什么是光流？它基本上是一种为每个像素计算矢量的方法，告诉你两幅图像之间的相对运动。有一个很棒的computerphile视频：https://www.youtube.com/watch?v=4v_kemnrov4，你可以了解更多细节。有一些“经典”的计算机视觉算法可以用来计算光流，但深度学习已经变得更好了(这一点也不奇怪)。那么什么是sota方法，让我们看看paperswithcode：
raft 看起来不错，它还有pytorch的实现。我forked原始存储库，并使其更简单一些。我不需要训练，评估等等。我只会用它来推理。
计算光流
为了进行推断，网络将两幅图像拼接起来，并预测了一个维度为*(2, image_height, image_width)*的张量。如前所述，图像中的每个像素对应一个二维向量。我们将在实际训练中使用这些文件，因此我们将它们保存为.npy文件。如果你想象光流图像它会是这样的：
训练
记住我们训练的目的：
光流→模型→车速估计
我选择的模型是efficientnet。我非常喜欢它，因为它的可扩展性。它有8个不同的版本供你选择，最大的一个，efficientnet-b7仍然非常非常好。你可以从一个像b0这样的小变体开始，然后如果一切工作正常，你有一个足够好的gpu，你可以选择一个更大的。还有一个pytorch库，我会使用它来非常容易地加载预先训练好的网络模型，地址：https://github.com/lukemelas/effecentnet-pytorch。如果你打开[train.ipynb](https://github.com/sharifelfouly/vehicle-speed - estimate)，你就可以看到训练是如何运作的。
我总是从b0开始，然后放大到b3，因为我的gpu只有6 gb内存。经过训练，我得到如下结果(loss为均方误差)：
训练损失
验证损失
很好，看起来一切都很正常！训练和验证损失都在降低，网络没有过拟合。
结果如下：
虽然不完美，但它确实有一些用
总结
我通常不太喜欢特征工程，但我认为在这种情况下它做得很好。下一步是尝试一些序列化的东西，比如transformer或lstm。
英文原文：https://medium.com/@selfouly/vehicle-speed-estimation-from-video-using-deep-learning-18b41babda4c
原文标题：使用深度学习从视频中估计车辆的速度
文章出处：【微信公众号：新机器视觉】欢迎添加关注！文章转载请注明出处。
最舒适的蓝牙耳机上手体验！享受好音乐岂能让耳朵受累
北京动物园完成5G通信基站建设，提供优质、便捷的旅游服务及体验
荣耀20曝光采用了三摄像头取消了后置指纹改为了屏幕指纹
京微齐力异构FPGA产品帮助行业客户实现应用创新和性能突破
魅族flyme6你用了吗？one mind魅族粉亲测好用！
使用光流 + CNN的方法来预测车辆的速度
触摸传感器DIY图解
python程序文件扩展名主要有哪两种
用于检测煤气泄漏的传感器应用介绍
目前市场上应用最广泛的陶瓷patch天线概述
测定示波器的电压水平灵敏度
DRAM芯片与知名企业有很大差距，DDR4仍是紫光国微主流
联发科天玑游戏生态圈火速拓展，天玑9300旗舰芯坐享其成
CVPR2023 I BUFFER：点云配准中卓越精度、高效性和泛化性的完美平衡
苹果官网停售Intel版MacBook Air
FF将于2022年下半年正式在中国实现量产
比特币的底层技术是由什么托起的
上海汽车电子产业链一家电容企业抗疫守“沪”
安波福亚太区总裁杨晓明博士荣获上海市“白玉兰荣誉奖”
Yandex计划自己研发自动驾驶传感器