通过人体姿态估计系统得到的2D骨架轮廓。（来源：MIT CSAIL）

来源 | MIT等

编译 | 吴非

视频来源：MIT CSAIL

所谓人体姿态估计（human pose estimation），是指从人体图像中提取出手臂、腿部的关节，以及躯干和头部的关键点，并用这些信息重新组成2D的人体骨架。通俗点说，就是把人简化成“火柴人”的模样。作为机器视觉的重要分支，人体姿态估计在行为识别、监控、游戏等场景中都有重要应用。

不过，以往的人体姿态估计是通过相机拍摄的图像实现的，因此当人体被墙壁等物体遮挡时，姿态估计将面临困境：如果人体被部分遮挡，人们还可以通过可视的部位，粗略推测身体其余部位的位置；而当障碍物将人完全遮住，设备就将束手无策了。

要估计出墙另一侧的人体姿态，透视是必不可少的。一个容易想到的方案是X射线，不过，这需要被测者完全处于X射线辐射中，这在现实中显然不切实际。

MIT计算机科学及人工智能实验室（CSAIL）的研究人员另辟蹊径，他们使用的手段是无线信号——没错，我们每天都在用的Wi-Fi就是最典型的无线信号。相比于标准的Wi-Fi信号，这项研究使用的信号强度还要低1000倍。

由于人体的高含水量，无线信号难以穿透，因此信号在遇到人体时会反射回来，重新穿过墙体，从而被另一侧的探测器接收。

从原理上看，用无线信号进行穿墙的监测丝毫不复杂，但真正困难的地方在于，探测器收到的信号十分嘈杂——不仅有人体反射回的信号，还有经过其他反射途径收集到的信号。“从墙壁直接反射回来的信号，要比穿过墙体、经人体反射，再一次穿过墙体后收到的信号强得多。”这项研究的共同作者之一，MIT的计算机科学家Dina Katabi说。因此，他们决定设计一套名为RF-Pose的AI系统，通过神经网络学习估计人体姿态。

研究团队所面临的一项挑战，是训练样本的标记问题。在通常的神经网络训练过程中，人们需要首先对海量图片库进行标注，例如，告诉AI这张图片上的是猫。这样，AI才能通过大量图片进行学习。然而，在这个特定的问题中，研究者很难对图片中的人体姿态进行标记。

为此，研究人员想到了用无线设备和相机同时采集数据的方法。在MIT校园的50个地点，他们进行了超过50小时的数据收集。他们在办公室、咖啡厅、楼梯、走道等场所，采集了数千名学生行走、交谈、静坐、开窗、站立等日常活动的照片。

数据采集地点遍布MIT校园（来源：研究论文）

随后，他们从相机拍摄的照片中，将学生们的轮廓简化成骨架，并连同相应的无线信号送至神经网络。这样，神经网络就能学习各种场景下的骨架与无线信号间的对应关系。

经过训练，RF-Pose仅仅依靠从人体反射回的无线信号，就能精准预测一个人的姿态及行动。

原始图像（上）、关键点置信图（中）及生成的2D骨架图（下）（来源：研究论文）

值得注意的是，RF-Pose从未接受过“穿墙透视”的姿态判断训练。原因很简单，相机无法拍摄墙壁后的学生。因此，当MIT团队发现他们的系统能运用所学的知识来处理隔墙的情形时，也感到十分惊讶。“如果你将计算机视觉系统看作教师，这个案例向我们展示了学生是如何胜过老师的。”这项研究的参与者之一，Antonio Torralba教授说道。

除了反映被测者的姿态及运动，这项技术甚至能够进行个体识别。在测试中，RF-Pose从100名志愿者中识别个体的正确率高达83%。

“不仅是位置，”Katabi说，“系统监测的是精确的移动。因此，如同人们的指纹，系统得到的步态也是你独一无二的特征，能将你和其他人区分开。”

该团队的下一步工作，是将2D的姿态估计拓展至3D，如能实现，它将反映出更加微幅的运动。这一技术具有重要的实用场景：如果检测到一位老人的手在规律性地微幅抖动，系统就可以建议被测者去做帕金森病的检查。

研究团队表示，他们希望将这套系统用于帕金森病、多发性硬化等疾病的监测，从而帮助人类理解疾病的进程。为此，他们正与医院合作，以探索在医疗领域的应用。此外，这项技术也可能降低老年人群独立生活的风险：一旦出现突然跌倒、受伤等情况，系统可以向监护人立即发出警报。

这项技术在令人惊叹之余，也不免让人担心，会不会始终处于无形的监控之下。为了保护使用者的隐私，研究团队收集的所有匿名数据都得到了被测者的同意，并进行加密。而在今后的实际应用中，研究者表示，他们计划建立“同意机制”，使用者可以通过特定的动作开启监控。

这项工作将在本月的计算机视觉及图像识别会议（Conference on Computer Vision and Pattern Recognition）上进行展示。

原始论文：

http://openaccess.thecvf.com/content_cvpr_2018/papers/Zhao_Through-Wall_Human_Pose_CVPR_2018_paper.pdf

参考链接：

https://www.csail.mit.edu/news/artificial-intelligence-senses-people-through-walls

https://www.wired.com/story/forget-x-ray-vision-you-can-see-through-walls-with-radio/