主打纯视觉、真无图、多模态。
在这个由数据驱动的时代，科技创业者们正站在变革的风口浪尖。他们不仅需要敏锐的洞察力，更需要敢于突破的勇气。Nullmax公司正是这样一位勇敢的先行者。
在2024年7月16日的上海，Nullmax公司举办了一场备受瞩目的技术发布会，主题为“AI无止境，智变新开端”。它不仅是一场科技盛宴，更是一次对未来自动驾驶技术的深刻洞见。Nullmax推出的新一代自动驾驶技术——Nullmax Intelligence（简称“NI”），以其全场景自动驾驶应用、纯视觉、真无图、多模态的技术特点，引发了业界的广泛关注。
在智能驾驶的发展历程中，规则曾是主导。然而，随着场景的复杂化，规则的局限性逐渐显现。Nullmax的创始人兼CEO&CTO徐雷博士在发布会后接受媒体采访时表示，传统的规则方法已无法应对复杂的交通环境。为此，Nullmax采用了基于端到端的大模型NI，结合多模态端到端大模型和安全类脑，实现了从规则到仿生智能的飞跃。
徐雷博士强调，安全类脑的引入是自动驾驶领域的一大创新。它不依赖于大模型的感知结果，而是一个独立系统，类似于鱼通过传感器避免碰撞。这种独立性不仅提升了系统的安全性，也为自动驾驶技术的发展提供了新的思路。
在访谈中，徐雷博士还提到了实时性和灵活性的重要性。Nullmax的系统能够在0到150 km/h的车速范围内稳定运行，这得益于其高效的数据处理能力和灵活的系统设计。这种灵活性不仅支持多种车型，还兼容不同的芯片和传感器，展现了Nullmax在技术解决方案上的深度与广度。
在谈到AIGC生成的虚拟数据时，徐雷博士表示，生成式AI在应对复杂任务中发挥了关键作用。通过生成接近真实的图片和视频，Nullmax能够在可控条件下生成特定的交通场景，从而提升系统的智能化水平。
尽管多模态端到端大模型在技术上已经取得了显著进展，但徐雷博士也指出，从技术到产品的转化仍需时间。Nullmax正在不断优化其技术，预计明年初将进行大规模测试，这将为自动驾驶技术的商业化提供坚实的基础。
在自动驾驶产业链中，Nullmax定位为软件Tier1，为车企提供从感知到决策的端到端解决方案。徐雷博士认为，尽管车企在产业链中占据有利位置，但软件供应商通过技术创新和市场需求的深刻理解，同样能够找到自己的市场定位。
Nullmax的技术发布会不仅是一次技术的展示，更是对未来智能驾驶的一次深刻思考。在这个充满挑战与机遇的时代，科技创业者们需要的不仅是技术，更是对未来的洞察和勇气。Nullmax的NI技术，正是这样一次勇敢的尝试，它不仅引领了技术的发展，更为整个行业指明了方向。
以下为访谈内容（经整理）
智能驾驶的进化：从规则到仿生智能
Q：在智能驾驶系统中，类脑神经网络是如何发挥作用的？它是一个模块还是一个系统的冗余？
徐雷：传统的智能驾驶解决方案一开始是基于规则的方法，依靠感知和规划来实现自动驾驶。例如十几年前的汽车就具备自动跟车和自适应巡航等功能。通过检测前方车辆的速度、距离和朝向，系统可以根据总结的人类驾驶经验制定规则，实现自动跟车。
随着场景的复杂化，单纯依靠规则已无法应对。例如，在高速公路或单车道上自动跟车较为简单，但在更复杂的换道和转向场景下，规则变得难以适用。尤其是在无标线的复杂路口，制定规则变得几乎不可能。因此，许多城市智能驾驶系统通过高精地图和激光定位来解决这些问题。
我们目前采用的方案是基于端到端的大模型NI（Nullmax Intelligence）。该系统包括两个部分：多模态端到端大模型和安全类脑。多模态端到端大模型可以识别视频、音频和交通手势等，指导车辆在路口的行驶方向。基于导航信息，该模型输出行驶轨迹，并通过一级和二级仲裁来评估轨迹的合理性。
在一级仲裁中，通过人类可理解的规则进行检测并可视化结果，例如检测轨迹的加速度是否过大或车辆是否进入自行车道等。如果发现问题，系统会进行调整。但这仍不足以确保绝对安全，因此我们引入了安全类脑的概念。安全类脑的神经元数量很少，仅为10万级别，但它具备天然的避障能力，确保车辆不会与其他车辆发生碰撞。
多模态端到端模型由人类设计，而安全类脑则是通过仿生学研究获得的。例如，通过研究斑马鱼的神经元连接和权重，我们发现其能有效避障的机制，从而应用于智能驾驶系统中，起到监督和安全保障的作用。
Q：关于安全类脑的概念，Nullmax为什么要在自动驾驶领域引入这一技术？
徐雷：规则无法全面覆盖所有场景，无论是端到端的大模型还是分模块的端到端系统，都基于对周围环境的感知。然而，感知的准确性无法达到百分之百，总会有未考虑到的规则。安全类脑则不同，它不依赖任何大模型的感知结果，而是一个独立系统，类似于鱼通过传感器避免碰撞。一级仲裁依赖大模型的输出，而二级仲裁则由独立的安全类脑系统负责。
李孟博士在哈佛进行脑科学研究，破解斑马鱼大脑中的神经元连接，发表在《Nature》。这种类脑研究耗时长，投入大，目前很少有自动驾驶公司进行这类研究并将其应用于自动驾驶。
Q：一级仲裁和安全类脑的配合是否有可能出现错误？安全类脑是最后一道屏障吗？
徐雷：我们的系统由多模态端到端大模型和安全类脑构成。一级仲裁通过规则兜底，基于大模型的输出制定交通和物理规则。二级仲裁独立于一级仲裁，由安全类脑负责。我们的NI系统输出三个关键部分：HMI可视化结果、场景描述和驾驶行为，确保系统对环境的理解和决策。
在没有激光和高精地图的情况下，车辆需要实时感知和理解十字路口的环境。例如，车辆需要识别道路边缘、栅栏和车道线的变化，尽管实时感知的结果会有抖动，但足以支持对场景的理解和安全驾驶。
Q：实时监督和感知的实时性如何？在城市或高速上支持的最大车速是多少？
徐雷：这完全不是问题。我们的量产方案支持0到150 km/h的车速。我们的系统大模型有三个输出：轨迹、场景描述和静态动态任务，它们的输出频率不同。
场景描述的输出频率是0.2秒（200毫秒），并非实时。场景描述是对当前环境的概述，例如红灯或其他情况，而这并不需要实时性。相反，轨迹和障碍物检测是实时的。我们的系统有长短记忆，例如前方500米右转的长记忆和检测行人横穿的短记忆。
对于实时性要求高的任务，如车道线和障碍物检测，我们的系统与现有量产方案相同，具备强实时性。而场景语言描述的实时性要求不高，目前使用0.2秒的推理时间来确定场景，如下雨直道或红灯等。
Q：行业内流行端到端的方案，通常是将规则代码整合成一个或两个模块。但从昨天的发布会来看，我们似乎在探索下一阶段的智能驱动。如何理解智能驱动？为什么堆规则和数据不如智能驱动？智能驱动需要解决哪些关键问题？面临什么瓶颈？
徐雷：我们专注于一个模块，而不是传统的规则堆积。首先，我们明确了问题的核心，并确保方案自我验证。经验告诉我们，单纯堆积规则未必能有效解决问题。
智能驱动的核心在于高效的数据利用和训练。首先，数据的质量至关重要。就像大模型训练需要高质量数据一样，我们需要高效管理和生成这些数据。
其次，训练过程并非简单。它涉及数据选择、参数调优以及在有限预算内最大化性能提升。这些过程需要技术深度，远超简单的规则堆积。例如，ChatGPT的进化不仅需要大量数据，还需有效的训练策略和调试手段。
总结来说，智能驱动的挑战在于数据质量、训练效率以及如何高效利用数据进行模型优化。这些是堆规则无法解决的核心问题。
数据驱动的智能化提升
Q：关于AIGC生成的虚拟数据，其质量和可靠性如何？能否应对复杂任务？
徐雷：我们正是为了应对复杂任务才使用生成式AI来生成数据。一些危险场景在现实中很难遇到，也很难通过模拟得到准确数据。因此，我们利用生成式AI生成接近真实的图片和视频。这些生成的数据在视觉上与真实数据难以区分，可以在可控条件下生成特定的交通场景和视频。例如，生成一辆车在固定距离内行驶，尽管周围场景会变化。
此外，对于配备多个摄像头的车辆，我们需要生成对应的视角变化数据。例如，车辆转弯时，摄像头视角和生成的图片需要随之改变，确保数据的连续性和准确性，这对生成式AI提出了高要求。
Q：关于物理世界数据与虚拟数据的争议，你怎么看？
徐雷：这取决于发展的阶段。早期，实际数据对提升系统性能至关重要。然而，随着系统的增强，常见场景的挑战变得少之又少。我们需要创造复杂场景来提升系统智能化水平，超越纯数据驱动。就像新手驾驶，刚开始可能不熟练，但随着经验积累，能应对更多复杂情况，这是一种智能化提升。
车端产生的数据量巨大，但并非全部有价值。随着系统性能提升，有价值的数据比例变得非常低。关键在于找到这些价值数据，而不仅仅依赖大量的路测数据。
Q：特斯拉FSD即将进入中国，您认为这对自动驾驶行业或Nullmax有何影响？
徐雷：中国市场巨大，合资品牌和特斯拉等都会参与竞争，我们对此表示欢迎。对消费者而言，多一种选择总是好的。高水平的竞争环境能培养出高水平的技术和人才。行业的发展速度与竞争激烈程度成正比。以前汽车企业五年推出一款新车，是因为竞争不激烈。引入更多高水平的方案，将促进行业整体提升。我们欢迎所有企业参与，共同推动自动驾驶技术的发展。
Q：听说特斯拉现在的成本已经降到4000块钱？你们怎么看？
徐雷：差不多。特斯拉主要使用几个摄像头和自研芯片的域控制器，连毫米波雷达都没有。我们并不排斥激光雷达或其他传感器，但我们希望即使在没有激光雷达和地图的情况下，车也能正常行驶，完成左转或右转。当然，更好的车可以配备更多传感器以提高驾驶体验。
特斯拉使用至少8个摄像头和其系统在100多T算力上运行。坦率地说，国内方案通常需要激光雷达、地图和大量算力。我们希望未来的车能具备这样的智能驾驶能力，而不仅仅是高端车型才能拥有。
Q：马毅教授提到Scaling Law无法实现AGI，很多自动驾驶公司也持类似观点。您怎么看待Scaling Law？
徐雷：Scaling Law本质上是一种“大力出奇迹”的方法，通过大量数据和高算力不断训练模型。在一定程度上，它确实有效，但其天花板可能已定，无法无限制提升。要突破这个天花板，可能需要更巧妙或成本更低的方法。
当前大家使用Scaling Law，是因为了解问题的挑战所在，但对问题的本质理解还不够深入，所以选择先尝试这种方法。通过不断实践，我们可能会加深对问题的理解，找到更好的解决方案。
我认同马毅教授的观点，Scaling Law可能不是最高效的方式。找到正确的方法并不容易，需要逐步积累和理解。我们做自动驾驶也是如此，不可能不懂机器学习和深度学习就能成功。必须通过逐步探索，筛选出可行的路径。
尽管Scaling Law可能不是最终答案，但探索过程中发现的不可行路径，也能帮助我们缩小搜索范围。因此，无论Scaling Law还是其他尝试，都值得去做。只有不断探索，才能找到最优解。
多模态端到端大模型的未来展望与挑战
Q：这套多模态端到端大模型何时能上车？
徐雷：我们几年前就开始研发这套技术，涉及2D、3D检测等领域。2022年，我们发布了实时构建地图的研究。去年起，我们将所有技术整合，包括生成式锥形桶技术，证明了这是一套可行的城市自动驾驶方案，不依赖地图和激光。虽然技术验证成功，但从技术到产品还有一段路要走，预计明年初才能大规模测试。目前，业界虽谈端到端技术，但尚未见到实质性的展示。我们开技术发布会是希望让大家了解进展，但这距离成熟产品还有距离。
Q：关于商业化，Nullmax在产业链中的角色是怎样的？主要是提供什么样的解决方案？具体有哪些项目和合作？
徐雷：我们主要角色定位在软件Tier1，为车企提供从感知到决策的端到端解决方案。我们与Tier1和OEM均有合作。在海外市场，我们大部分通过Tier1合作，但也有不少直接与OEM合作。国内市场同样如此，我们与国内外的Tier1都有广泛合作，同时也与OEM在端到端解决方案等前沿领域直接合作。
我们覆盖低中高算力，行泊车方案和舱驾一体。我们在低算力平台上有TI和瑞萨的方案，也有国产的爱芯元智和黑芝麻方案；在高算力平台上有高通和英伟达的方案。这些方案要么已经量产，要么正在进行项目。我们与芯片厂商如瑞萨和TI的合作，展示了我们在低算力平台上的优势，例如在CES 2024上展示的2T低算力方案，可以纯视觉实现前向行车功能。
在8T算力平台上，我们无需差分GPS，纯靠视觉实现高速NOA和记忆泊车，并能检测障碍物。在高通平台上，我们成功移植了7V方案，展示了软件平台化的优势。
我们与国内外主要的Tier1都有合作，他们是我们的重要客户。我们可以为多个平台提供解决方案，这在传统Tier1中是很少见的。比如，TI芯片的不同算力平台、黑芝麻的A1000、以及高通的8775和8620，我们都可以支持。Tier1客户因此能够在不同的平台上使用我们的技术。
车厂方面，我们在端到端解决方案和Mobility等前沿领域直接合作，因为这些领域的Tier1较少涉足，车厂在高阶方面的投入更多，所以我们更多直接与车厂合作。
Nullmax致力于通过多样化的合作和技术覆盖，为自动驾驶商业化提供强大支持。
Q：有观点认为，车企在自动驾驶产业链中占据着有利位置，而软件供应商则处于劣势，因为车企可以自己开发软件。对此，您怎么看？
徐雷：我们的思路是基于对自动驾驶技术的坚定信念和明确的技术路线。我们选择了渐进式的技术路线，因为它能有效应对各种复杂情况，并且在实现目标方面具有商业化的可行性。尽管车企也有优势，但这并不妨碍我们作为软件供应商找到自己的位置并获得成功。
我们作为供应商的选择不是偶然的，而是基于对技术路线的深刻理解和市场需求的分析。虽然车企具备资源和数据优势，但这些优势并不一定转化为市场竞争力。车企的内部团队有时可能不需要面对激烈的市场竞争，因此他们的技术可能未必最先进。
实际上，我们已经在市场中证明了我们的方案具备竞争力。例如，我们在低算力平台上成功实现了前向行车功能，这证明了我们的技术能力。车企虽然拥有一定的优势，但我们能够灵活地调整策略，更快速地响应市场需求。
在国际市场中，我们也发现了分工的清晰和合作的顺畅，这与国内市场中的竞争环境形成了鲜明对比。现代工业化的时代要求分工明确，每个参与者都可以找到自己的定位，无需全方位覆盖所有领域。我们坚信，在这样一个开放包容的环境中，适应时代发展趋势的企业才能脱颖而出，时代将会证明一切。
Q：在当前汽车行业环境下，纯软件供应模式是否存在挑战？尤其是在成本压力下，车企对软件的重视程度较低，软件的价值也难以衡量。一些企业选择了软硬件结合的模式，您对此有何看法？
徐雷：您的问题触及了一个核心问题。确实，过去几年中，软件供应商在硬件主导的市场中面临了不少挑战，尤其是在激烈的同质化竞争下。一些企业通过低门槛的方式进入市场，例如基于现有芯片进行代工，而不进行深度研发。这种现象的出现主要是因为资本的驱动以及市场对低成本方案的需求。
然而，市场环境正在发生变化。随着同质化竞争的减少，行业逐渐回归理性。供需关系决定了市场的价值，而不是单纯的成本。在汽车产业中，软件和硬件的结合并不是唯一的解决方案，而是一个形态问题。真正的挑战在于如何在市场中找到适合的定位并创造价值。
我们并不打算取代车企，而是希望通过与车企的合作，共同推动行业的进步。车企在整个产业链中扮演着重要角色，而我们作为软件供应商，致力于提供高价值的技术解决方案。我们看到市场对高阶技术方案的需求在增加，尽管开发费用高昂，但市场对优质方案的认可度也在提升。
例如，过去我们能从高阶方案中获得大额的开发费用，而现在中阶方案的费用也同样可观。这说明市场正在逐步淘汰那些无法提供高价值的低门槛竞争者。未来，我们将继续关注市场动态，并探索颠覆性的技术思路，保持前瞻性，推动行业的发展。
总之，市场价值的决定因素是供需关系，而不是简单的成本计算。我们将在不断变化的市场环境中，继续以技术创新为核心，推动自动驾驶及相关领域的发展。
Q：我们的落地方案特点是高度灵活，支持多种车型，不仅芯片兼容性强，甚至摄像头也不受限制。这种灵活性带来了哪些挑战，如何解决？
徐雷：我们的高度灵活方案源于对需求的深刻理解。与特斯拉的一体化方案不同，我们面对的是各种不同的客户需求，包括传统车企、新势力车企及海外市场。每种需求都可能需要不同的配置和方案。
作为曾在高通工作的芯片专家，我深知单一方案难以覆盖从2T到2000T的各种芯片。不同芯片有不同的特点，比如高通和英伟达擅长高算力芯片，而TI和瑞萨则擅长低算力芯片。因此，我们从一开始就设计了MaxOS中间件系统，支持硬件和应用的解耦，使系统能够适配各种芯片和传感器。
我们的方案由传感器输入、视觉处理、模型推理和后处理构成，设计时已考虑到未来芯片的不断演进。我们关注的是功能和性能，而非单一芯片。我们还支持中国市场对国产芯片的需求。
此外，我们的系统像一棵技术的树，多个方案在不同芯片上运行，数据可以使整个系统不断优化，而不是仅限于某个芯片方案。与传统OEM和Tier1厂商不同，我们的方案具备更强的软件抽象能力，能够更好地适配各种车型，并提升系统性能。
我们着眼于提升单车价值，而非仅通过软件绑定芯片。虽然很多芯片厂商希望通过搭配算法销售芯片，但真正的增长来自于更多的车上使用以及提供更多用户粘性的功能。我们的行业门槛较高，不会有太多公司能够长期存活。
