IEEE Fellow杨铮：打破「视觉」垄断，无线信号为 AI 开启「新感官」

从古至今，人类对「真理」的追求，都可以概括为从对物理世界的「知」到掌握万物规律的「智」。

然而，基于有限的认知条件，人在实现「智」的过程中常常遇到挑战。在《理想国》一书中，柏拉图就曾用「洞穴寓言」形容人类认识世界的局限性：一束光照进洞穴，将外界的事物投影在洞壁上，洞穴里的人只能通过投影去观察外面的世界。

图注：柏拉图的「洞穴寓言」实验

后来，随着现代文明的推进，尽管人类对物理世界的感知方式有了科技的辅助，得以打破主观认识的局限性，经历了传感器、无线传感器与传感网等多个阶段的演变，但要实现一个万物智联的「泛在智能」时代，也仍有漫漫长路。而这，正是智能无线感知的目标。

「事实上，早在两千多年前，我国思想家荀子就已在《正名篇》中讨论过人类感知与智能之间的关系——『知之在人者谓之知，知有所合者谓之智』。但荀子他老人家肯定没预料到，有一天『知』与『智』会结合起来，并且从『人』延伸到『物』。」杨铮布道。

简单来说，无线感知是一种利用泛在无线信号来实现场景感知的技术。

这些「泛在无线信号」来自于我们身边所部署的各种无线设备，包括Wi-Fi热点、蓝牙、RFID等，不仅可以传输数据、完成本职任务（如通信），还可以「额外」用来感知环境，因为信号发射机产生的无线电波经由直射、反射、散射等多条路径传播，在信号接收机处形成的多径叠加信号携带了反映环境特征的信息。

尽管这些无线射频信号无法被眼睛直接感受到，但却可以被无线通信收发机捕捉，成为视觉之外感知物联世界的「新器官」。

以基于射频信号的跌倒检测为例。人们在跌倒的时候，会引起无线信号传播路径的变化，从而影响到接收的无线信号。无线感知技术通过提取相应的特征，分析无线信号在传播过程中的变化，借助分类算法总结出跌倒与其它活动所导致的无线信号变化的差异，判断环境中是否有跌倒动作发生，从而实现跌倒检测。

图注：Wi-Fi信号可视化

也就是说，无线感知就是现代科学家「隔空打牛」的秘密武器。

「所以大家以后在密谋坏事时，除了关好门、拉好窗帘，检查桌子底下有没有窃听器，也不要忘记把Wi-Fi关掉哈哈。」杨铮笑道。

通过分析接收信号特征，获得信号传播空间的特性，无线感知技术无需部署专用的传感器就可以实现对人与环境的感知，具备感知范围广、维护易、普适性强等优势，已成为过去几年物联网领域的研究热点，涌现出大批研究成果。

但事实上，利用专用的无线射频信号进行环境的探测和探知并不是一个特别新鲜的概念。早在二战之前、雷达出现后，人们就已经开始在军事领域利用声呐、射频信号对待测区域内的目标进行感知。战后数十年来，雷达也逐渐从军用走向民用，出现了气象雷达、测速雷达、地形跟踪雷达等多种不同功能的雷达。

那么，无线感知技术在今天为何仍能吸引国内外的一众科学家投身其中呢？近年来，全球研究者在无线感知领域陆续提出了一系列瞩目的新成果，如UW的WiSee、MIIT的WiTrack、UCL的Phaser等等。包括美国、英国在内的多个发达国家也都将无线感知列为重点支持的方向。

杨铮的观点是，尽管利用无线信号来实现感知的概念并不新鲜，但从「泛在性」与「普适性」这两个维度来看，利用商用通信技术实现泛在智能感知仍处于起步阶段，给许多研究者提供了更多的可能性。

2000年是一个分水岭。彼时，各式各样的无线通信技术蓬勃发展。就拿Wi-Fi来说，从21世纪初开始，Wi-Fi接入点的数量可以称得上是「爆炸式增长」，如今几乎各家各户、各类室内场所都部署了Wi-Fi接入点。

「我认为这是对『泛在无线感知』的最大利好，也是最坚实的研究基础。」杨铮谈道，「特别是随着 802.11n/ac/ax 这一众标准的演进，商用设备的天线数量越来越多，频谱宽度越来越大，这也让我们对泛在无线感知以及通信感知一体化的前景抱有更大的信心。」

在某个意义上，物联网是解决「泛在感知」的问题，而人工智能是解决「普适智能」的问题，2019年风靡一时的概念「AIoT」便是两者的结合。

人们普遍相信，物联网与人工智能技术将共同推动人类社会从「万物互联」走向「万物智联」。只是不同于以往，这一潮流由工业界率先预见并引领，比如，华为提出「构建万物互联的智能世界」，小米将「AIoT」作为核心战略，BAT等互联网公司也列出相似愿景。

作为物联网与人工智能的交叉领域，无线感知正反映了这一趋势，成为当前学术界研究和工业界追寻的热点。

1）感知粒度逐渐细化。例如，从人员感知应用来说，从发展初期的人员入侵检测，到人员的被动式定位追踪，再到现在的手势识别，感知的粒度从人员是否存在，到人员的位置，再到各个身体部位的活动，粒度越来越细致。

2）落地化趋势越来越明显，无线感知正从实验室理论研究走向家庭的日常应用。据杨铮观察，近段时间，工业界对非传感器感知也越来越重视，各种基于非传感器感知的应用平台在逐渐开发，呈现出各类相关应用正迈向「千家万户」的特征。

智能无线感知的应用场景非常广泛，覆盖安防、医疗、人机交互甚至元宇宙等领域。其中，医疗监护是杨铮最看好的应用方向，包括非接触性心跳、呼吸监测，以及跌倒检测等。

尤其是跌倒检测（如苹果的Apple Watch 4增加该功能）：「随着人口老龄化的现象越来越严重，很多老年人独自生活。日常调查发现，跌倒是导致老年人受伤的主要原因之一，严重时跌倒甚至能够危及生命。所以说，研究一套可靠的跌倒检测机制，对于老年人来说显得非常重要。」

智能感知的学者们如杨铮，对该方向的应用前景都十分乐观。然而，杨铮也明确指出，当前国内智能无线感知的发展仍存在三大挑战，即有效特征湮没、识别模型粗陋、数据集缺失。

图注：非传感器感知的三大挑战

从特征部分来说，由于无线信号包含了信道传播空间的信息，已有的大部分工作提取的信号特征均依赖于系统部署的具体环境。因此，不同的使用环境、不同的用户，甚至同一用户的不同位置和不同朝向等都会降低感知的准确率。针对新的场景，大部分工作需要重新采集数据进行训练，使得无线感知普适性差、学习训练成本高，系统的泛化能力受到较大的影响。

从模型部分来说，已有的大多数模型基于对无线信号传播的以及硬件条件的完美假设，但在实际部署场景中，无线信号的实际传播包含有衍射、散射、非镜面反射等多种情况，商用的网卡通常也包含有大量噪声，不同网卡之间的特性有着较大的差别。对无线信号的传播模式、误差消除等系统性建模的缺失，使得无线感知系统的运行结果与理论预期之间仍存在着一定的差异。

作为国内少数率先研究无线感知结合的青年学者之一，杨铮的研究之旅始于2012。彼时，他刚从香港科技大学取得计算机博士学位不到两年，回到清华大学任教，是一名资历不深的「青椒」。

从博士开始，杨铮就一直从事物联网方面的研究，包括智能感知、工业互联网、边缘计算与区块链等。当时，他的博士导师是国内物联网的先驱学者刘云浩。刘云浩是ACM与IEEE双Fellow、ACM主席奖首位华人获得者，2020年暑假，他曾万字答复清华学子2000个关于人工智能的问题，被清华官方「点名」，走红网络。

图注：2007年博士期间，杨铮（左）与博士导师刘云浩（右）合影

「在我刚开始博士生涯（2006年）时，业界研究的一个热点其实是无线传感网。」杨铮对AI科技评论回忆道。

无线传感网可以被理解为如今物联网的雏形，它通过无线通信技术（如蓝牙、ZigBee等等）来实现传感器节点之间的信息交互，但是感知的任务需要交给各类专用的传感器设备来完成。显然，这必然就限制了无线传感网的灵活性。

「部署无线传感网其实是一个特别费时费力的过程，不仅要保障传感器节点本身的感知功能，还要保障它们点对点之间的通信性能。所以我在博士研究期间，每次做实验，仅仅是部署实验设备就要下很大一番功夫。」

在当时，他就希望探索一种更加泛在、普适的感知方式，降低系统部署的人力成本与设备开销。

大约在2010年前后，他开始关注一些使用无线信号进行定位的工作。这种「非传感器感知」的模式，不依赖任何专用的传感设备，只使用收发机设备，通过解析信号特征，就能进行室内的设备定位。相比无线传感网，部署成本更低、普适性更强，更容易推广，吸引了杨铮继续研究下去。

图注：杨铮刚到清华任教时

从2012年至今，杨铮与团队经过不懈的努力，已经逐步实现了基于无线信号的定位、追踪、导航，再到人员手势识别、心跳呼吸检测等等一系列工作。

针对上述这三大挑战（特征、算法与数据），杨铮团队在Widar系列（尤其是Widar3.0）中提出了自己的解决方案。

据杨铮介绍，Widar是Wi-Fi Radar的缩写，Widar系列工作在保证Wi-Fi原有通信功能的基础上，赋予了商用Wi-Fi设备强大的环境感知能力。从第一代的多设备人员定位，到第二代的单设备人员追踪，再到第三代的手势识别，Widar系列工作对环境的感知粒度也在不断细化，充分探索了通信感知一体化的技术可行性。

对于无线信号特征，杨铮团队的研究思路集中在两点：多维特征融合与提取环境无依赖的信号特征。

「多维特征融合指的是，综合使用信号衰减、到达角度（AoA）、飞行时间（ToF）、多普勒频偏（DFS）等多种信号特性，更加准确地完成无线定位与感知的任务。

环境无依赖的信号特征，就是要建模出一种不依赖于环境特性的，泛化性强、鲁棒性强的特征，比如我们在 WiDar3.0 中提出的人体坐标系下的速度谱（BVP），就能够以人体坐标为基准，更加全面而准确地描述不同环境与朝向下人体的动作特征，从而实现适用于各类场景下的高精度手势识别任务。」

Widar3.0 论文地址：http://tns.thss.tsinghua.edu.cn/~yangzheng/papers/Zheng-Widar3-MobiSys2019.pdf

模型方面，杨铮主要在 Widar3.0 中借鉴了深度神经网络（DNN）模型的方法。

「深度学习浪潮的兴起，给无线感知领域也带来了很大启发。近几年来，不少工作都尝试将无线信号以矩阵或张量的形式，输入到现有的一些分类模型中，来尝试获得更好的结果，但是并没有针对无线信号独有的特性对模型进行更加合理的设计。」

因此，杨铮与团队在Widar3.0中提出了经过一定设计的、能够充分挖掘无线的空间与时间维度特征的卷积与循环结构。

目前，他们团队也在致力于通过结合时频变换与经典的信号采样原理，设计一种适用于无线感知的特征提取与判别网络，能够更加有效地挖掘出无线信号中的隐含信息，从而简化训练与学习的过程，并突破识别精度的瓶颈。这项工作目前正在投稿中。

作为Widar系列的第三代工作，Widar3.0的主要贡献在于实现了环境无依赖的手势识别。

具体来讲，先前的基于无线信号的各种识别系统，只能够在采集训练数据的特定几个环境下保持较高的准确率，而缺乏在其他场景下使用的可能性，这是因为现有的方案采用的特征质量低、模型设计粗陋，从而会导致一定的泛化性问题。杨铮团队结合对人体动作方向性的观察，提出了人体坐标系下的速度谱（BVP），在特征的层面上解决了系统的域适应（domain adaptation）问题。

此外，在Widar3.0中，基于信号时间相关性与时频变换原理设计的网络结构，也有助于提升模型的训练速度与精度。总之，Widar3.0在特征与模型这两个层面上，有效改良了智能无线感知系统的设计。

图注：Widar数据集（手势识别）

最后是数据集。杨铮认为，近年来计算机视觉和深度学习的蓬勃发展离不开 ImageNet 等诸多公开的海量数据集。因此，他们也希望构建一个专门面向智能无线感知的数据集。从2017年提出Widar1.0开始，之后的2.0、3.0中，所有的原始 CSI 数据与信号特征数据都是开源的。这些数据涵盖75个场景下采集的26万组动作，采集总时长144个小时，数据总规模大约是325 GB。目前该数据集在手势识别的基础上扩充了跌倒检测等新数据。

• Widar3.0的数据集地址：http://tns.thss.tsinghua.edu.cn/widar3.0

「我们希望能够通过（开源）这种方式，来支持研究者们在无线感知领域做出更多创新性的工作，为无线感知领域的发展贡献一点绵薄之力。」杨铮谈道。

构建数据集是一个大工程。杨铮清醒地认识到，在大数据时代，仅靠自己一个团队人工采集数据，是无法支撑庞大的感知应用的。因此，研究者仍需调动更多的力量，使用更多技术手段来扩充感知数据集。

在这方面，杨铮有「三把斧」：

首先，他们基于统计电磁场模型与射线追踪模型，开发了一个物理层级别的无线信号仿真器，将仿真数据作为真实数据的补充，以期解决训练数据不足、特定环境中数据难采集的问题。

在此基础上，他们也正在尝试采用生成式对抗网络（GAN）的架构，使用已采集的真实数据训练一个鉴别器，并基于上述仿真器开发一个无线信号生成器，通过对抗学习，生成「以假乱真」的感知数据，以有效扩充数据量。

最后，他们还准备参考数据挖掘等领域的采集方式，采用「众包」等策略，鼓励用户们使用家庭中的网络设备，实际采集大量的无线信号数据以供研究使用。在此过程中，用户可以获取一定的资金作为激励。

但个人的力量总是有限的。众人拾柴火焰高，杨铮呼吁大家能够积极参与感知数据集的开源工作，通过开放共享的形式，推动感知数据集的规模扩充。

在物联网上，杨铮的两大研究方向分别是智能感知与工业互联。他解释：

「智能感知是通过分析视觉、射频、声光等信号的特征，应用人工智能技术来挖掘物理世界的状态或发生的事情，实现泛在感知与泛在智能。而工业互联针对工业生产场景，提出控制即服务的工业网络架构，研发具有确定性、低时延的时间敏感网络，将信息（IT）网络与生产（OT）网络合二为一，实现控制任务的服务化，支撑未来智能柔性生产。」

那么，在智能无线感知中，基于机器学习、深度学习与对抗学习的算法能够扮演什么角色？研究者又是如何将 AI 算法与无线感知结合在一起的？

「这个问题特别好，这也是我们团队近年来一直在思考的问题。首先，无线感知拓展了人工智能的『视野』，增加了多一个维度的感知信息。」杨铮谈道。

在过去的十年里，杨铮与团队尝试了很多机器学习模型来帮助构建更加智能、鲁棒的无线感知系统。

例如，在荣获人机交互顶会 CHI 2017 最佳论文荣誉提名奖的工作 WiDance 中，杨铮就尝试了使用经典的隐马尔可夫模型（HMM）；在2019年发布的 WiDar3.0 中，他们又基于卷积神经网络（CNN）和长短时间记忆网络（LSTM）设计了一种高精度的动作识别网络模型；此外，他们也尝试在无线指纹定位的工作中引入了域对抗（domain adversarial）等一系列机制来保证系统在不同环境中的鲁棒性，实现环境无依赖的定位与感知。

WiDance论文链接：http://tns.thss.tsinghua.edu.cn/~yangzheng/papers/Qian-WiDance-CHI2017.pdf

「所以我一直以来的感受就是：感知、智能本来就应该是一体的。包括机器学习在内的各类智能算法，负责分析数据、给出结果，而物联网中的各类传感设备（既包括视觉感知也包括无线感知），则为智能算法提供基础的数据支持，它们从物理世界中实时地获取数据，并将处理后的结果反作用回物理世界之中。」杨铮对AI科技评论评论道。

一方面，无线感知向人工智能在视觉中的应用来「取经」；另一方面，无线感知也对神经网络的设计起到一定的启发作用。比如，杨铮就提到，在无线感知中，一些针对信号处理的经验，也能够指导我们进行更加高效、合理的神经网络设计：

「无线射频信号有着不同于视觉信号的独有的特征，这些特征对于特定感知识别任务来说是非常有益的。如何深入挖掘这些无线射频信号独有的特征，也是设计人工智能模型时应该特别考虑的。」

由于感知与智能的紧密关系，将人工智能（尤其是深度学习）与物联网领域的研究相结合已成为主流的研究方式。近年来，发表在顶级会议的无线感知论文，结合了深度学习技术的工作占据了「半壁江山」。

尽管身处物联网圈，但杨铮时刻关注人工智能（尤其是深度学习）的最近进展，寻找它们和自己工作之间的共性，也多次从中找到了新的科研机会。

杨铮坦言：「挑战当然也是有的。大多数模型一开始被提出都是被用于计算机视觉或自然语言处理领域，因此，将这些方案灵活地迁移应用到自己的研究领域，不仅需要我们对自己的研究领域有深刻的理解，也需要吃透各类神经网络设计哲学，才能避免『生搬硬套』。」

「更大的机会在于，无线感知作为视觉之外的感知方式，目前还没有得到人工智能方向的重视。」

在同一类应用上，与视觉相比，无线感知有时会取得更出色的表现。

就拿跌倒检测来说。目前常见的跌倒检测技术包括计算机视觉、可穿戴传感器以及专用的雷达硬件。杨铮指出，这些技术都存在一定的缺陷：计算机视觉容易涉及用户隐私，并且通常只能在光照条件良好的情况下才能工作；可穿戴的传感器需要佩戴特定的设备，对于老年人来说使用起来十分不方便；而大规模部署特定的硬件又需要较高的成本。

在这类场景中，与计算机视觉等技术相比，基于非传感器的感知就体现出了自己的独特优势：例如，Wi-Fi 感知便不受上述条件的限制，为跌倒检测提供了一个新的思路。目前，几乎家家户户都部署了Wi-Fi设备，无需部署新的硬件设备；基于Wi-Fi的感知不需要用户佩戴特定的设备，在无光照的条件下也可正常工作；它采集的无线信号信息也不会干扰用户的隐私。

而问及未来智能无线感知的技术发展更多取决于人工智能还是4G/5G等通信技术的进步，杨铮的回答是「两类技术都十分重要，它们会在两个不同的方面影响未来智能无线感知技术的发展」。

具体来讲，新一代的无线通信技术对于MIMO和Beamforming等新型技术的支持，在客观上为我们提供了更多的天线、更加细粒度的角度探测方法，同时新的通信技术一般都会通过更宽的频带以支持更高的通信速率，这也为距离分辨率的提升提供了一个最基础支持。

以深度学习为代表的人工智能技术，则充分挖掘了无线信号中更多的隐藏特征，对于系统的感知能力同样有着很大的提升。

所以说，4G/5G等通信技术的演进，提供了更多有效的信息，而人工智能技术的演进，则为信息的挖掘和处理提供了更多更有力的手段，二者的进步，共同推动了智能无线感知领域的繁荣。

关注公众号：拾黑（shiheibook）了解更多

[广告]赞助链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/