相比于视觉感知，目前无线感知被了解的太少，需要其他领域的研究人员共同推进技术进步与产业化。
——杨铮
4月7日下午，第19期AIR学术沙龙如期举行。本期活动荣幸地邀请到了清华大学软件学院副教授、博士生导师杨铮为我们做题为《无线感知为AI开启新感官》的报告。
本次活动由清华大学国强教授、智能产业研究院首席研究员刘云新主持，AIR官方视频号和b站同步直播，当日线上逾1100次观看，目前共计触达人数近2400人。
杨铮，清华大学软件学院副教授，博士生导师。研究方向为物联网与工业互联网，曾获得国家自然科学奖二等奖。电气与电子工程师学会会士（IEEE Fellow）、入选国家青年拔尖人才计划（万人计划）、北京市科技新星，获得国家优秀青年科学基金资助。
无线感知指的是使用日常通信的无线信号，例如WiFi，5G等，实现对环境的感知。这些通信信号之所以也能用来感知，是因为信号发射机产生的无线电波，在信号接收机处形成的多径叠加信号，能够携带反映环境特征的信息。
从大方向来讲，无线感知属于“感知通信一体化”，即未来我们希望所用来通信的信号不仅可以传输数据，还可以用来感知。其实，我们现有的通信技术都在向这个方向演化。无线感知作为一种非接触式的感知方式，也有很多潜在应用，例如安防场景中的入侵检测，医疗场景中的睡眠检测，或者一种新型的人机交互手段，用于控制电视、游戏等。
杨教授首先对比了无线感知和视觉感知的一些相同点和不同点：
首先，射频信号和可见光信号的本质都是电磁波，但是频率不同，无线射频的频率一般比可见光的频率要低。其次，无线射频一般把频段分为子载波进行通信，而可见光一般被划分为RGB通道。最后，无线射频一般通过反射、透射来传播，通过天线来接收，而可见光一般通过漫反射来传播，一般通过光学透镜汇聚到成像平面来接收。
从感知流程来看，无线感知与视觉感知基本相同。无线感知使用AP接收和发送数据，对应的是视觉领域使用摄像头拍照得到图像。在数据预处理阶段，视觉领域需要对图像进行去噪等操作，在射频部分也会进行滤波。在特征提取方面，视觉领域可以用卷积神经网络等方法，而射频感知也要在频谱中提取环境相关的一些特征。算法方面，目前最主流的是深度神经网络，在视觉和射频领域都是可以应用的，最后，我们都会得到一个判定结果，例如对人类姿态的判别。
在特征提取方面，无线感知与视觉感知是互补的，我们可以综合利用它们的优势。无线感知的重要特征有到达角（AoA）、信号飞行时间（ToF）和多普勒频偏（DFS），它们使无线射频感知非常容易获得物体的深度信息和运动速度，而视觉方法不太容易获得这些信息，除非使用深度摄像头或者slam等方法。
除此之外，还可以通过无线射频信号提取一个类似于图像的特征，即信号谱，之后就可以使用视觉领域的方法来提取信号中的特征了。例如杨教授团队的工作Wdiar3.0使用的就是这种思路：
深度学习算法在视觉感知领域非常成功，在无线感知领域，通常可以将信号谱当做一个图像或者视频，直接应用视觉的神经网络来处理。早期的使用深度学习来处理无线信号的工作确实也是这样做的，如下面的两篇工作，分别用卷积神经网络和循环神经网络来提取信号谱的特征：
这样做确实是有效果的，但是如果能利用无线射频信号独有的特征，则可以取得更好的效果。杨教授的团队正努力在这个方向进行探索。
数据集对于科学研究是很重要的，但是相比于视觉领域大量的数据集，无线感知领域的数据集规模一般比较小，场景也比较有限。这首先是因为数据很难采集。无线感知对场景的依赖很高，在数据采集时发射机和接收机摆放方式等都会影响数据集质量。其次，数据集的标注也很困难，面对图像数据，人类可以很容易地标注，但是面对信号谱，就很难标注了。
面对这个问题，杨教授的团队在widar3.0工作中构建了一个无线射频信号的手势识别数据集，包括在75个环境中采集的接近26万组手势动作，持续时间8620分钟，大小为325GB。此外，它所包含的数据特征也是非常丰富的，既包括WiFi(CSI)的原始信息，也包括在此基础上提取的更高阶特征，例如DFS和BVP等，它所包括的动作种类也是最丰富的。
无线感知领域有很多研究方向，杨教授认为，其中几个比较重要的是：首先是寻找环境无依赖的感知技术，保证在某一个环境训练出来的算法可以应用于其他环境。其次是探索适用于无线感知的小样本训练策略，因为无线感知领域构建数据集非常困难，所以可以在算法上降低无线感知算法对大规模数据集的依赖。再次是提出适用于无线射频信号的多模态融合框架，综合利用无线射频信号和可见光信号等多种模态的信号。最后是针对通信标准演进带来的各类新波形特性，从视觉成像原理中寻找灵感，助力高性能的无线感知模型设计。
无线感知技术经过约10年的发展，各类基础性、验证性的工作已经完成，在部分智能家居场景也取得了应用效果。但是，相比于视觉感知，目前无线感知被了解的太少，需要其他领域的研究人员共同推进技术进步与产业化。
文稿撰写 / 温 皓
排版编辑 / 魏欣葳
校对责编 / 黄 妍
精彩视频回顾及完整版PPT下载，请点击：
AIR学术沙龙第19期 | 杨铮：无线感知为AI开启新感官
