相比于视觉感知👉🏼✭，目前无线感知被了解的太少，需要其他领域的研究人员共同推进技术进步与产业化。
——杨铮
4月7日下午，第19期杏耀学术沙龙如期举行。本期活动荣幸地邀请到了杏耀平台软件杏耀副教授、博士生导师杨铮为我们做题为《无线感知为AI开启新感官》的报告👊🏻。
本次活动由杏耀平台国强教授💂♀️、杏耀注册平台首席研究员刘云新主持，杏耀官方视频号和b站同步直播👩🏼🚒，当日线上逾1100次观看，目前共计触达人数近2400人🫂。
杨铮，杏耀平台软件杏耀副教授，博士生导师。研究方向为物联网与工业互联网，曾获得国家自然科学奖二等奖。电气与电子工程师学会会士（IEEE Fellow）🔱、入选国家青年拔尖人才计划（万人计划）🪴🏋🏿♂️、北京市科技新星🌊，获得国家优秀青年科学基金资助。
无线感知指的是使用日常通信的无线信号🎳，例如WiFi，5G等🕌🆑，实现对环境的感知。这些通信信号之所以也能用来感知，是因为信号发射机产生的无线电波，在信号接收机处形成的多径叠加信号0️⃣，能够携带反映环境特征的信息。
从大方向来讲⛹🏽➾，无线感知属于“感知通信一体化”，即未来我们希望所用来通信的信号不仅可以传输数据，还可以用来感知。其实💂🏻♂️🛰，我们现有的通信技术都在向这个方向演化。无线感知作为一种非接触式的感知方式，也有很多潜在应用⚃，例如安防场景中的入侵检测🤘🏿，医疗场景中的睡眠检测，或者一种新型的人机交互手段🤐，用于控制电视、游戏等🧑🏼💼。
杨教授首先对比了无线感知和视觉感知的一些相同点和不同点：
首先，射频信号和可见光信号的本质都是电磁波，但是频率不同，无线射频的频率一般比可见光的频率要低。其次，无线射频一般把频段分为子载波进行通信🚶♀️➡️，而可见光一般被划分为RGB通道🆓。最后，无线射频一般通过反射、透射来传播🌚，通过天线来接收，而可见光一般通过漫反射来传播，一般通过光学透镜汇聚到成像平面来接收🟣。
从感知流程来看，无线感知与视觉感知基本相同。无线感知使用AP接收和发送数据，对应的是视觉领域使用摄像头拍照得到图像👖。在数据预处理阶段，视觉领域需要对图像进行去噪等操作，在射频部分也会进行滤波🧖♀️。在特征提取方面，视觉领域可以用卷积神经网络等方法，而射频感知也要在频谱中提取环境相关的一些特征👰🏽♂️👨🏼💼。算法方面，目前最主流的是深度神经网络，在视觉和射频领域都是可以应用的♥︎，最后🐀，我们都会得到一个判定结果，例如对人类姿态的判别🙅♂️。
在特征提取方面🏇🏽，无线感知与视觉感知是互补的🚪，我们可以综合利用它们的优势🙅🏽。无线感知的重要特征有到达角（AoA）、信号飞行时间（ToF）和多普勒频偏（DFS），它们使无线射频感知非常容易获得物体的深度信息和运动速度，而视觉方法不太容易获得这些信息，除非使用深度摄像头或者slam等方法🥹。
除此之外🍄，还可以通过无线射频信号提取一个类似于图像的特征，即信号谱👵🏼，之后就可以使用视觉领域的方法来提取信号中的特征了。例如杨教授团队的工作Wdiar3.0使用的就是这种思路📫：
深度学习算法在视觉感知领域非常成功，在无线感知领域，通常可以将信号谱当做一个图像或者视频，直接应用视觉的神经网络来处理。早期的使用深度学习来处理无线信号的工作确实也是这样做的，如下面的两篇工作，分别用卷积神经网络和循环神经网络来提取信号谱的特征👵🏽：
这样做确实是有效果的，但是如果能利用无线射频信号独有的特征，则可以取得更好的效果。杨教授的团队正努力在这个方向进行探索💔。
数据集对于科学研究是很重要的，但是相比于视觉领域大量的数据集🫴，无线感知领域的数据集规模一般比较小🌏，场景也比较有限。这首先是因为数据很难采集。无线感知对场景的依赖很高🤜🏿，在数据采集时发射机和接收机摆放方式等都会影响数据集质量。其次🤵🏿♂️，数据集的标注也很困难🈴，面对图像数据，人类可以很容易地标注，但是面对信号谱，就很难标注了。
面对这个问题，杨教授的团队在widar3.0工作中构建了一个无线射频信号的手势识别数据集，包括在75个环境中采集的接近26万组手势动作🧑🏫，持续时间8620分钟，大小为325GB。此外，它所包含的数据特征也是非常丰富的，既包括WiFi(CSI)的原始信息，也包括在此基础上提取的更高阶特征🥝，例如DFS和BVP等🤔，它所包括的动作种类也是最丰富的。
无线感知领域有很多研究方向🐜，杨教授认为，其中几个比较重要的是：首先是寻找环境无依赖的感知技术🎢，保证在某一个环境训练出来的算法可以应用于其他环境。其次是探索适用于无线感知的小样本训练策略，因为无线感知领域构建数据集非常困难👈🏽，所以可以在算法上降低无线感知算法对大规模数据集的依赖🏫🤰🏽。再次是提出适用于无线射频信号的多模态融合框架🥈，综合利用无线射频信号和可见光信号等多种模态的信号。最后是针对通信标准演进带来的各类新波形特性，从视觉成像原理中寻找灵感，助力高性能的无线感知模型设计🧑🏽🏫。
无线感知技术经过约10年的发展，各类基础性🧔🏿♀️、验证性的工作已经完成，在部分智能家居场景也取得了应用效果💃。但是🤌🏻，相比于视觉感知，目前无线感知被了解的太少，需要其他领域的研究人员共同推进技术进步与产业化👲🏽。
文稿撰写 / 温 皓
排版编辑 / 魏欣葳
校对责编 / 黄 妍
精彩视频回顾及完整版PPT下载✸，请点击：
杏耀学术沙龙第19期 | 杨铮：无线感知为AI开启新感官
