Hydra
融合毫米波 SAR 深度切片与相机图像,昼夜感知真实叶片上的水分。
室内准确率约 96%,田间约 90%,包括雨天、黎明与弱光夜晚。
塑造了我当前研究方向的代表工作。
在审稿件 (2026)
程序委员会
受邀审稿
以一个房间为例:一盆植物、一张桌子、一扇窗。机器分五步进入这个空间。选择每一步,看它带来了什么,又还做不到什么。
机器开始测量世界。
信号无处不在,但没有理解。
学习把信号变成标签。
一种任务、一个视角、一个地点的识别。
AI 学会推理与解释。
有知识而无身体:它从未进入过这个房间。
传感器、模型与身体闭合一个回路。
一个智能体独自感知、决策、行动。
传感器 + 模型 + 机器人 = 具身智能
空间与其中的智能体共享一个模型。
整个房间都能感知、理解与行动。
环境 + 多个智能体 + 共享模型 = 空间智能
智能正在从文本走进房间、农田与道路。要在那里发挥作用,系统必须知道什么在哪里、处于什么状态、如何变化、可以做什么——并且越来越需要与共享同一空间的其他系统一起知道。
“他们会认为,真实不过是影像的投影。”
回路的每个阶段都有自己的失败方式。我的第一作者论文各自回答其中一个阶段;每个阶段突出一篇代表作。
1感知
相机看不到水分与材质;任何单一传感器都会在某处失效。
融合毫米波 SAR 深度切片与相机图像,昼夜感知真实叶片上的水分。
室内准确率约 96%,田间约 90%,包括雨天、黎明与弱光夜晚。
2理解
快速感知意味着测量更少,而更少的测量能拟合许多种形状与含义。
把稀疏孔径雷达成像视为逆渲染:通过可见性、相位与传播的物理模型重建显式三维表面。
数据采集减少 90% 以上,同时保持较低的几何与信号误差。
3行动
行动改变未来状态,误差会累积,模型会过时。
物理落地的 LLM 智能体:语言提出方案,模拟器检验与修复,物理执行权留给固定的数值机制。
灌溉用水比历史方案减少约 51%;更大的语言模型并不带来单调提升。
今天的智能生活在一座座孤岛上:田间传感器只看一片叶子,汽车只有一个视角,机器人只在一个房间,语言模型懂词语而不懂地点。一个观察者只是世界的一个稀疏孔径。我的下一步,是让观察者合并它们所看到、所相信和所做的——同时不放弃本地的执行权。
1共同观察
在传感器与智能体之间共享证据,并度量哪些状态只有在视角合并后才变得可辨识。
挑战:异构传感器之间的对齐、时序与带宽。
2共同相信
维护一个带显式不确定性的空间共同模型,只在证据支持时接受修正。
挑战:避免重复计算同一证据,处理相互冲突的来源。
3共同行动
协调多个智能体的决策,同时让每个智能体的物理执行权保持有界且本地。
挑战:后果是物理的,安全、责任与隐私都必须被考虑。
AURA 通过多路数据理解同一个驾驶情境——驾驶员行为、车辆状态、道路与天气——跨越行程与年份。它的下一个测试是一个被遮挡的路口:路侧单元看到了一辆车看不到的行人,另一辆车补充一个视角,而最终决策仍由这辆车做出。
AURA并非总是如此。观察者互补时共享有益,冗余时收益很小,同一证据被重复计算时甚至有害。度量一个空间处于哪种状态,本身就是科学问题的一部分。