网页标题: DRIVE 视频系列 | 体验新推出的 AV 创新 | NVIDIA 网页链接: https://www.nvidia.cn/solutions/autonomous-vehicles/drive-videos/ # NVIDIA DRIVE 视频 NVIDIA DRIVE® 软件团队不断创新，致力于为转变行业且安全可靠的辅助驾驶系统，开发冗余且多样化的深度神经网络。 ## 体验我们最新的辅助驾驶算法创新 点击下方标题栏，观看该视频合集。 * NVIDIA 辅助驾驶实验室 * NVIDIA 智能汽车快讯 深入探究特定辅助驾驶算法的短视频。 ### 无图驾驶 —— 城市级 AI 辅助驾驶 高精地图是世界详细的数字模型，已被广泛用于辅助驾驶中，但绘制成本高且维护困难。因此，对“无图驾驶”的需求日益增长。在本期 DRIVE Labs 中，我们将探索 NVIDIA 通过消除信息瓶颈、提高任务准确性并加速模型的训练和推理，从而增强无图驾驶作为城市规模的 AI 辅助驾驶的创新技术。 播放视频 [了解详情](https://github.com/alfredgu001324/MapUncertaintyPrediction) ### 借助基础建模对异常情况做出实时响应 在本期视频中，我们展示了使用先进的 GPT 模型时，快速异常分类器的性能如何优于自回归推理，即使使用相对较小的语言模型进行实例化也是如此。这使我们的实时监控器能够在资源和时间受限的情况下，提高动态机器人系统 (如四旋翼飞行器或智能汽车) 的可靠性。 播放视频 [了解详情](https://ariostgx.github.io/lctgen/) ### 利用生成式 AI 增强辅助驾驶仿真 在本期 DRIVE Labs 中，我们将讨论 NVIDIA 的三项关键进展，即利用生成式 AI (例如文本转仿真) 创建逼真的道路环境、生成自然的驾驶行为，并支持对场景的灵活编辑，以实现全面和规模化的辅助驾驶训练和评估。 播放视频 [了解详情](https://ariostgx.github.io/lctgen/) ### 端到端辅助驾驶：鸟瞰图 (BEV) NVIDIA 的端到端驾驶模型采用简约的设计，将检测、跟踪、预测和规划结合到单一网络中。规划模块的输入直接来自由传感器数据生成的 BEV 特征图。 播放视频 [阅读博客](https://blogs.nvidia.cn/blog/auto-research-cvpr-2024/) ### LLM 道路规则指南让驾驶更简单 让驾驶行为适应新的环境、习惯和法律是辅助驾驶领域长期面临的挑战。LLaDA (大语言驾驶助手) 是一个 LLM 网络，通过为驾驶员和智能汽车提供多语言和地区交通规则的实时指导，使陌生地方的驾驶变得更加轻松。 播放视频 ### 使用自监督学习大规模重建动态驾驶场景 智能汽车仿真必须准确地再现真实场景，随着动态场景、多样化和高保真度需求不断增加，实现起来更具挑战性。本期 DRIVE Labs 介绍了 EmerNeRF，一种重建动态驾驶场景的方法。 播放视频 ### 通过 Dynamic View Synthesis 确保动态视角精度 在本期 DRIVE Labs 视频中，我们将深入探讨视角的鲁棒性，并介绍动态视图合成技术的最新进展如何解决感知问题。 播放视频 [阅读博客](https://developer.nvidia.com/zh-cn/blog/using-synthetic-data-to-address-novel-viewpoints-for-autonomous-vehicle-perception/) ### 基于剪枝的 AI 模型优化 HALP (Hardware-Aware Latency Pruning) 是一种旨在调整卷积神经网络 (CNNs) 和基于Transformer的网络结构以实现实时性能的新方法。在本期 DRIVE Labs 视频中，探讨HALP如何优化预训练模型以最大限度地提高计算利用率。 播放视频 [了解详情](https://github.com/NVlabs/HALP) ### 为智能汽车带来先进 3D Occupancy 预测 人类在做决策时，能够自然地感知物体和场景的 3D 几何形状信息。同样，对辅助驾驶来说，“3D Occupancy 预测”的概念对开发安全、鲁棒的辅助驾驶系统至关重要。在本期视频中，我们将展示超越传统鸟瞰视角方法的 3D 感知技术，该技术赢得了 CVPR 2023 3D Occupancy 预测挑战赛的冠军。 播放视频 [阅读博客](https://blogs.nvidia.cn/2023/06/15/autonomous-driving-challenge-cvpr) ### 增强狭小空间内自动泊车的避障功能 Early Grid Fusion（EGF）是一种可提高自动泊车辅助系统近距离避障能力的新技术。EGF 结合了机器学习摄像头和超声波传感器，能够准确检测和感知周围障碍物，提供 360 度环视。 播放视频 [阅读博客](https://developer.nvidia.com/zh-cn/blog/near-range-obstacle-perception-with-early-grid-fusion/) ### 如何通过 AI 分割模型增强辅助驾驶安全性 准确的环境感知对于智能汽车的安全至关重要，在处理未知条件时尤为明显。在本期 DRIVE Labs 中，我们讨论了名为 SegFormer 的 Vision Transformer 模型，该模型可在保持高效率的同时生成鲁棒的语义分割结果。本视频介绍了 SegFormer 背后的机制，以实现其鲁棒性和效率。 播放视频 [了解详情](https://github.com/NVlabs/SegFormer) ### 为智能汽车生成基于 AI 的事故场景 本期视频将为大家介绍 NVIDIA 研究人员提出的一种名为 STRIVE（Stress-Test Drive 压力试驾）的新方法，该方法使用生成式 AI 交通模型自动生成辅助驾驶仿真中的潜在事故场景。这种方法允许在各种现实情况下安全地大规模测试辅助驾驶堆栈的规划部分。 播放视频 [阅读博客](https://developer.nvidia.com/zh-cn/blog/generating-ai-based-accident-scenarios-for-autonomous-vehicles/) ### 使用停车标志辅助功能提升自动代客泊车功能 基于算法的先进停车标志辅助 (PSA) 系统对于智能汽车了解停车规则的复杂性并做出相应反应至关重要。在本期 DRIVE Labs 中，我们展示了 NVIDIA DRIVE AV 软件堆栈如何利用最先进的 DNN 和计算机视觉算法来改善现实场景中的自动泊车。这些技术可以实时检测、跟踪和分类各种停车交通标志和道路交叉口。 播放视频 [阅读博客](https://developer.nvidia.com/zh-cn/blog/advancing-autonomous-valet-functionality-with-parking-sign-assist/) ### AI 实时感知帮助智能汽车理解限速标志 智能汽车理解道路限速标志看似是一项简单的任务，但在不同车道适用不同限速标志的情况下，或者在不同国家驾驶时，理解限速标志会变得更加复杂。本期 NVIDIA 辅助驾驶实验室展示了基于 AI 的实时感知是如何帮助辅助驾驶更好的理解复杂多变的限速标志，其中包括能够阅读的明确速度限制和需要解读的隐含速度限制。 播放视频 [阅读博客](https://blogs.nvidia.com/blog/2021/09/08/drive-labs-ai-based-live-perception/) ### AI 如何提高智能汽车的雷达感知能力 多样化和冗余的传感器，如摄像头和雷达，是辅助驾驶感知能力的必要条件。然而，仅利用传统处理技术的雷达传感器可能还不足以完成此项任务。在本期 DRIVE Labs 视频中，NVIDIA 展示了 AI 如何解决传统雷达信号处理在区分移动物体和静止物体方面的不足，从而提高智能汽车的感知能力。 播放视频 [阅读博客](https://blogs.nvidia.com/blog/2021/04/28/drive-labs-ai-radar-perception-autonomous-vehicles/) ### NVIDIA DRIVE IX AI 算法执行直观的车内感知 在本期 DRIVE Labs 视频中，我们演示了 DRIVE IX 如何感知驾驶员的注意力、活动、情感、行为、姿势、言语、手势和情绪。驾驶员感知是平台的一个关键方面，助力 AV 系统确保驾驶员保持警觉并注意道路状况。它还支持 AI 系统执行更直观、更智能的驾驶舱功能。 播放视频 [阅读博客](https://blogs.nvidia.com/blog/2021/01/19/drive-ix-ai-software-drivers-safe/) ### 使用软件定义的 AI 优化光源感知 在本期 DRIVE Labs 视频中，我们介绍了如何使用软件定义的 AI 技术，在几周内显著提高光源感知深度神经网络 (DNN) 的性能和功能，例如：增加范围、添加分类功能等。 播放视频 [阅读博客](https://news.developer.nvidia.com/optimizing-light-source-perception-with-software-defined-ai/) ### 准确前行：AI 如何帮助智能汽车预测前方路况 智能汽车依靠 AI 预测交通模式，并在复杂环境中进行安全通行。在本期 DRIVE Labs 视频中，我们演示了 PredictionNet 深度神经网络如何利用实时的感知数据和地图数据来预测其他道路使用者的行驶路径。 播放视频 [阅读博客](https://blogs.nvidia.com/blog/2020/07/22/drive-labs-predictionnet-self-driving-cars-future/) ### AI 如何帮助智能汽车感知交叉路口结构 自动处理交叉路口为智能汽车带来了一系列复杂挑战。在先前的 NVIDIA 辅助驾驶实验室系列中，我们展示了如何利用 WaitNet DNN 检测交叉路口、交通信号灯和交通标志；还展示了如何利用 LightNet 和 SignNet DNN 对交通信号灯状态和交通标志类型进行分类。在本集中，我们会进一步展示 NVIDIA 如何利用 AI 来感知智能汽车在日常行驶中可能遇到的各种交叉路口结构。 播放视频 [阅读博客](https://blogs.nvidia.com/blog/2020/05/27/drive-labs-how-ai-helps-autonomous-vehicles-understand-intersections/) ### 主动学习如何改善夜间行人检测 通过主动学习，AI 可以自动选择正确的训练数据。一组专用的 DNN 遍阅一个图像帧池，标记出容易混淆的帧。然后对这些帧进行标记，并将其添加到训练数据集中。此过程可以改善 DNN 在高难度环境条件（例如夜间行人检测）下的感知能力。 播放视频 [阅读博客](https://blogs.nvidia.com/blog/2020/01/16/what-is-active-learning/) ### 激光聚焦：多视角 LidarNet 如何为智能汽车提供丰富视角 用于处理激光雷达数据的传统方法面临着重大挑战，例如检测和分类不同类型的对象、场景和天气状况的能力，以及性能和可靠性方面的限制。我们的多视角 LidarNet 深度神经网络借助汽车周围场景的多个视角或视图来应对这些激光雷达处理方面的挑战。 播放视频 [阅读博客](https://blogs.nvidia.com/blog/2020/03/11/drive-labs-multi-view-lidarnet-self-driving-cars/) ### 找不到方向了？ 定位帮助智能汽车找到自己的道路 定位是智能汽车的一项重要功能，可用于计算汽车在地图中的三维 (3D) 位置，包括 3D 位置、3D 方向以及这些位置和方向值中的任何不确定因素。在此 DRIVE Labs 视频中，我们将展示我们的定位算法如何利用大众市场传感器和高清地图实现高准确度和稳健性。 播放视频 [阅读博客](https://news.developer.nvidia.com/drive-labs-how-localization-helps-vehicles-find-their-way/) ### AI 如何阅读路上的文字 观看我们如何将 LaneNet DNN 发展为高精度 MapNet DNN。这一演变包括增加检测类，除了车道线检测外，还涵盖道路标志和垂直地标（例如栏杆）。它还利用端到端检测功能，提供更快的汽车内推理。 播放视频 [阅读博客](https://news.developer.nvidia.com/drive-labs-detecting-road-markings-and-landmarks-with-high-precision/?ncid=so-yout-67555#cid=av07_so-yout_en-us) ### 道路上的 AI：利用环绕摄像头雷达融合为智能汽车消除盲点 AI 能够检测和应对车辆四周的物体，进而提供舒适且安全的驾驶体验。在此 DRIVE Labs 视频中，我们解释了传感器融合流程如此重要的原因。该流程可以结合摄像头和雷达输入，进而实现对周围环境的准确感知。 播放视频 [阅读博客](https://news.developer.nvidia.com/drive-labs-covering-every-angle-with-surround-camera-radar-fusion/) ### 像素级精确的感知：AI 如何帮助智能汽车看清车外环境 对于高度复杂的驾驶场景，如果智能汽车的感知系统能够更详细地“了解”周围环境，会对汽车颇有助益。使用我们的全景分割 DNN 方法，我们能够以像素级准确度来分割图像内容，进而获得非常精细的结果。 播放视频 [阅读博客](https://blogs.nvidia.com/blog/2019/10/23/drive-labs-panoptic-segmentation/) ### 光线太刺眼？ AI 如何避免其他车辆的远光眩光 远光灯可以显著增加标准前灯的夜间能见度范围；但是，它们会产生为其他驾驶员造成危险的眩光。我们已经训练了一种基于摄像头的深度神经网络 (DNN)（称为 AutoHighBeamNet），可以自动为车辆的远光灯系统生成控制输出，提高夜间驾驶的能见度和安全性。 播放视频 [阅读博客](https://news.developer.nvidia.com/dnn-based-perception-for-automatic-high-beam-control/?ncid=so-yout-72167#cid=organicSocial_en-us_YouTube_Automotive-DRIVE-Labs-AV07) ### 步入正轨：助力实现可靠辅助驾驶的特征跟踪 特征跟踪能以像素级精度预估对应目标和相邻视频帧之间变化，为目标移动/速度预估、摄像头自校准和视觉测距提供重要的时间和几何信息。 播放视频 [阅读博客](https://news.developer.nvidia.com/drive-labs-visual-feature-tracking-for-autonomous-vehicles/?ncid=so-yout-91703#cid=organicSocial_en-us_YouTube_Automotive-DRIVE-Labs-AV07) ### 在寻找停车位？ AI 可以提供帮助 我们的 ParkNet 深度神经网络可以在各种条件下检测开放的停车位。观看视频，了解该网络如何处理室内外空间（由单车道、双车道或褪色车道标记分隔），以及如何区分已占用、未占用和部分遮挡的车位。 播放视频 [阅读博客](https://blogs.nvidia.com/blog/2019/09/11/drive-labs-ai-parking/) ### 驾驶 NVIDIA 智能汽车 这期 DRIVE Labs 特别节目展示了 NVIDIA DRIVE 智能汽车软件如何结合感知、定位和规划/控制的基本组成部分，在我们位于加州圣克拉拉的总部周围的公共道路上辅助驾驶。 播放视频 [阅读博客](https://blogs.nvidia.com/blog/2019/08/21/drive-labs-autonomous-vehicle-ride/) ### 利用 AI 对交通标志和信号灯进行分类 NVIDIA DRIVE AV 软件使用 DNN 组合来对交通标志和信号灯进行分类。了解我们的 LightNet DNN 如何对信号灯形状（例如，实心圆与箭头）和状态（即颜色）进行分类，SignNet DNN 如何对交通标志类型进行分类。 播放视频 [阅读博客](https://news.developer.nvidia.com/drive-labs-signnet-and-lighnet-dnns/) ### 利用 Safety Force Field 避免碰撞 我们使用 Safety Force Field (SFF) 防撞软件单独监控车辆主规划和控制系统的操作。SFF 会对主系统选择的控件进行双重检查，如果检查结果为控件不安全，SSF 将否决主系统的决策并对其进行更正。 播放视频 [阅读博客](https://news.developer.nvidia.com/drive-labs-eliminating-collisions-with-safety-force-field/) ### 高精度车道检测 深度神经网络 (DNN) 处理现已成为一种重要的基于 AI 的车道检测技术。我们的 LaneNet DNN 通过像素级精度提升车道检测范围、车道边缘召回和车道检测可靠性。 播放视频 [阅读博客](https://blogs.nvidia.com/blog/2019/07/10/drive-labs-neural-nets-predict-lane-lines/) ### 感知全新维度 在丘陵地带，使用单个摄像头提供的图像数据计算距目标的距离颇具挑战性。借助深度神经网络，智能汽车可以通过 2D 图像测算出 3D 距离。 播放视频 [阅读博客](https://blogs.nvidia.com/blog/2019/06/19/drive-labs-distance-to-object-detection/) ### 摄像头全方位视觉 了解我们如何使用六摄像头配置 360 度查看车辆周围的情况，以及如何追踪周边环境中移动的对象。 播放视频 [阅读博客](https://news.developer.nvidia.com/drive-labs-tracking-objects-with-surround-camera-vision/) ### 使用 RNN 预测未来 智能汽车必须使用计算方法和传感器数据（例如一系列图像）来及时确定目标移动的方式。 播放视频 [阅读博客](https://blogs.nvidia.com/blog/2019/05/22/drive-labs-predicting-future-motion/) ### ClearSightNet 深度神经网络 ClearSightNet DNN 经过专门训练，可评估摄像头能否清晰观察，并确定遮蔽、阻挡和可见度降低的原因。 播放视频 [阅读博客](https://news.developer.nvidia.com/drive-labs-helping-cameras-see-clearly-with-ai/) ### WaitNet 深度神经网络 了解 WaitNet DNN 如何能够在不使用地图的情况下检测交叉路口。 播放视频 [阅读博客](https://blogs.nvidia.cn/drive-labs-intersection-detection/) ### 路径感知集成 这三个 DNN 可构建主路和车道线以及更改/分离/合并车道的置信度，并对其进行评估。 播放视频 [阅读博客](https://blogs.nvidia.cn/2019/04/30/drive-labs-path-perception/) [观看所有 DRIVE Labs 视频](https://www.youtube.com/playlist?list=PLZHnYvH1qtOYkElUMqYiHDMrGTPnqRhSr) 来自我们 AV 车队的简短更新，重点介绍新的突破。 ### 2023年十一月 在最新一期的 NVIDIA DRIVE Dispatch 中，了解如何通过一次驾驶生成 4D 重建，以及可用于预测智能汽车应用中道路代理的下一步行动和轨迹的深度神经网络 (DNN)——PredictionNet。还将介绍使用 NVIDIA DRIVE Sim 进行新车评价规程 (NCAP) 测试的情况。 播放视频 ### 2023年一月 从 NVIDIA DRIVE 查看智能汽车感知的最新进展。在本次调度中，我们在停车场等低速区域使用超声波传感器检测周围物体的高度。 RadarNet DNN 检测可驾驶的自由空间，而立体深度 DNN 估计环境几何。 播放视频 ### 2022年二月 DRIVE Dispatch 回归，推出第 2 季。在本期视频中，我们将展示基于端到端雷达 DNN 的集群、Real2Sim、驾驶员和乘客监控等方面的进展。 播放视频 ### 2021年七月 本期视频了解以下方面的新进展：交通运动预测、道路标记检测、3D 合成数据可视化等。 播放视频 ### 2021年六月 本期视频了解以下方面的新进展：可行驶路径感知、摄像头和雷达定位、停车位检测等。 播放视频 ### 2021年三月 在本期 NVIDIA DRIVE Dispatch 视频中，我们演示了以下方面的进展：旨在改进 DNN 训练的合成数据、用于预测未来运动的雷达感知、面向众包高清地图的 MapStream 创建等。 播放视频 ### 2021年二月 了解以下方面的近期进展：DepthNet、道路标记检测、多雷达自我预估、交叉摄像头特征跟踪等。 播放视频 ### 2021年一月 探索以下方面的进步：停车位检测、地标检测中的 3D 位置、使用自动生成的 MyRoute 地图和道路平面的首次辅助驾驶以及暂停预估。 播放视频 ### 2020年十二月 查看以下方面的进展：摩托车分类和避让、红绿灯检测、2D 立体稳定性、摄像头注释的 3D 自由空间、激光雷达感知管线以及车头灯/尾灯/路灯感知。 播放视频 通过 NVIDIA 汽车时事通讯，直接在收件箱中获取近期的 DRIVE 信息。 订阅