深度学习启发的新一代泛在无线感知

壹

背景介绍

人类对物理世界的感知经历了从主观感受到传感器再到传感网的发展阶段，如图一所示。在传感器变得越来越小、数据采集变得越来越普及的同时，有一个问题也日益突出：传感系统的部署成本高，特别是随着感知范围和规模不断增大，部署和维护长期稳定运行的大规模传感系统的难度和成本也越来越高。以室内定位为例，目前我们可以部署相应的设备与系统实现室内特定区域内的高精度多目标定位，但是这与人类活动所处的整个物理世界相比无异于是九牛一毛，因此距离真正意义上的泛在计算还非常的遥远。

图一：人类感知方式的变化

另一方面，随着物联网的发展，现今我们生活与工作的空间中充斥着多种多样的无线信号（例如WiFi、LoRa、RFID）。除了通信之外，无线信号在空间中传播时会发生反射、散射和折射，无线信号在室内的这种传播特性还可以感知周围物体的状态，称为无线感知。

在过去的二十年，泛在计算结合信号处理、机器学习、无线通信等领域进行跨学科合作，学者们研发了很多基于无线射频信号有趣的应用。比如国内清华大学刘云浩教授提出的Landmarc算法¹，开启了RFID室内高精度定位篇章；国外MIT 教授Dina Katabi设计的EQ-Radio系统，利用WiFi信号高精度识别人心情²。最近，深度人工智能（AI），也称为深度学习（DL），在计算机视觉领域已显示出巨大的成功。并且最近的一些工作^3-5也证明了深度人工智能也可以使无线感知受益，从而使得我们朝着新一代泛在计算迈进了一步。

贰

方法简述

近年来，深度学习（例如CNN、RNN、GAN）已在许多视觉和音频应用中取得成功，例如语音识别、目标检测和面部识别。与传统的机器学习（ML）模型（例如k-NN，SVM，boosting，决策树，贝叶斯网络）相比，深度学习（DL）框架利用了大量复杂且异构的输入数据，并且能够有效地较少噪声和提取功特征，从而保证了在一般应用场景下的准确结果。由于无线感知和视觉感知之间输入和输出的相似性，无线感知系统绝对是可以从深度学习中受益的。如下图二所示，深度学习可以被用来强化无线感知系统的各个模块。

图二：无线感知的通用模型

利用深度学习对于无线感知模型性能优化主要分为三个步骤，信号预处理、高级特征提取、感知模型形式化表示。接下来，我们将对上述三部分进行简要概述：       

2.1 信号预处理

在无线感知系统信号预处理模块中，主要的工作有数据去噪、数据适应。相比于之前的方法（例如使用数值分析、背景消除、统计分析、机器学习等算法），基于深度学习的信号预处理模块可以将“感兴趣”的信号部分与环境域内噪声有效分离，典型的方法包括以下三种：

a) 域相关噪声消除：Wang⁶等人提出一种最大最小对抗学习的方法，用于在跨场景条件下对于特征进行不同场景下的迁移，进而实现基于毫米波的跨场景活动识别。Ma⁷等人设计了一个深度相似性网络评估训练集与新场景下数据的迁移相似性。此外，为了进一步解决跨场景情况下的训练成本大的问题，诸如迁移学习、对抗结构等思想被引入信号预处理模块来提取信号中与环境无关的部分。

b) 注意力模型：本方法可以进一步提高复杂场景下感知任务的计算效率，可以对神经网络输入的部分关注：选择特定的输入。注意力模型在计算机视觉任务方面取得了重大进展，并有望在无线感知领域有效地展开应用。

c) 感兴趣区域（Region of Interest,ROI）检测：用于进行无线感知任务的深度神经网络采用ROI检测用于关注信号感兴趣的部分，本质上它的原理通过定向天线进行波束成形的技术。

2.2 高级特征提取

在经过数据预处理后，下一步就是为模型形式化表述进行合适的特征选择。由于深度学习高水平的特征学习能力，其已被广泛地用于特征提取。对特征按照用途分类，主要分为三类：

a) 空间信息提取：多层卷积网络被用来进行信号空间信息的提取，例如：多层感知机、卷积神经网络以及一些派生的网络（编解码网络等）。

b) 时间信息提取：深度学习也被用来提取无线信号中的时间序列信息，常用的方法有RNN、LSTM\GRU等。

c) 物理本征信息：为了有效地提取物理特征，可以利用诸如GAN之类的对抗架构来学习源输入和应用输出之间的隐含关系。

2.3 感知模型形式化表示

在无线感知应用中，相比于传统的使用几何模型、统计模型或者是机器学习模型的方法，深度学习更有效地将预处理和高级特征化的输入与感知应用相连结，尤其是面对一些高精度的感知任务时，比如多人行为识别等。另外，在其他领域的深度学习方法也可以被借鉴用来提高无线感知任务的精度与鲁棒性，例如多任务学习、迁移学习等等。

叁

问题与挑战

尽管深度学习技术证明了无线感知系统的强大潜力，但使用深度学习技术仍需解决一些重要问题和挑战。主要包括：

a) 可扩展性与泛化能力：DL技术依靠海量高质量数据来实现可拓展和泛化的性能。随着架构变得越来越复杂和发展，需要更大的数据量和更高的质量以及更多的要学习和配置的参数。与计算机视觉和自然语言处理等其他领域相比，无线感知数据收集更加费时费力并且存在数据收集质量参差不齐的问题，因此训练和学习过程的可扩展性和泛化性变得更加困难。例如，训练有素的无线系统通常在转移到大规模场景中时会受到多个目标和收发器的干扰以及背景噪声的影响。

b) 安全与隐私：虽然不可追踪的无线感知系统为现实世界提供了一种非侵入式感知人员的方法，但它也带来了许多隐私和安全问题，例如包括人员日常活动、呼吸和呼吸速率估计以及姿势估计在内的多重监控应用。深度学习技术一直是AI安全的热门话题，因此深度学习技术也可以用来提高无线感知的安全性，该技术利用AI来基于相似或先前的活动自主识别并响应潜在的威胁。但是，引入的深度学习技术可能会加剧隐私和安全性问题。例如，我们可以使用伪造信号来欺骗无线感知系统，尤其是深度神经网络。我们注意到：大多数主流神经网络可以通过仅向原始数据中添加少量噪声而轻易地将其误分类。此外，高级无线信号也可以故意被伪造，例如XModal-ID⁸生成的虚假CSI频谱图。

c) 鲁棒性与感知能力：无线感知系统的鲁棒性与感知能力对于神经网络而言是一种trade-off的关系，一方面为了提高感知系统的鲁棒性我们需要将神经网络中冗余的部分去除，比如模型蒸馏、网络剪枝等技术；另一方面，为了提高任务的感知精度，我们又需要尽可能的设计复杂异构的网络模型比如将CNN与LSTM结合。因此，在面对实际感知任务时，我们应该做好两者之间的平衡。

肆

未来研究趋势

基于深度学习的无线感知为泛在计算的真正实现提供了有前途的研究主题。未来的研究趋势主要包含三点：

多模态感知：每种输入信号为泛在计算的实现提供了多维度互为补充的测量值，因此RFID、超声波、可见光、蓝牙、毫米波、计算机视觉、惯性测量单元等多模态信息融合为研究添加了一份光明。

跨域感知：跨域感知不仅可以扩展无线感知应用的范围；而且为研究领域提供了更多的信息处理技术使得更好地实现泛在计算的愿景。

跨学科感知：无线信号从时间与空间维度上非常类似于音视频信号，因此许多在计算机视觉与自然语言处理领域内已经成熟的深度学习框架可以被很好地迁移借鉴到无线感知领域中来。因此，从别的研究领域中攫取灵感可以更好地实现无线感知的任务。

伍

总结

深度学习方法已在多个领域中得到越来越多的应用，并显示出巨大的应用潜力。对实现无线感知系统真正意义上的泛在计算而言，深度学习方法是必不可少的技术。在本文中，首先主要讨论了目前基于深度学习无线感知整体的处理框架，然后对于现存的问题与挑战进行归纳与总结，最后对于领域内的研究趋势简要叙述。

参考文献

/

/

/

[1] Ni L M ,  Liu Y ,  Lau Y C , et al. LANDMARC: indoor location sensing using active RFID[C]// Proceedings of the First IEEE International Conference on Pervasive Computing and Communications, 2003. (PerCom 2003). IEEE, 2003.

[2] Zhao M , Adib F M , D Katabi. Emotion recognition using wireless signals[J]. Communications of the ACM, 2018.

[3] Lijie Fan, Tianhong Li, Rongyao Fang, Rumen Hristov, Yuan Yuan, and Dina Katabi. Learning longterm representations for person re-identification using radio signals. In Proceedings of the IEEE CVPR, 2020.

[4] Yaroslav Ganin and Victor Lempitsky. Unsupervised domain adaptation by backpropagation. In Proceedings of ICML. JMLR.org, 2015.

[5] Yue Zheng, Yi Zhang, Kun Qian, Guidong Zhang, Yunhao Liu, Chenshu Wu, and Zheng Yang. Zero-effort cross-domain gesture recognition with WiFi. In Proceedings of ACM MobiSys, 2019.

[6] Jie Wang, Liang Zhang, Changcheng Wang, Xiaorui Ma, Qinghua Gao, and Bin Lin. Device-free human gesture recognition with generative adversarial networks. IEEE Internet of Things Journal, 2020.

[7] Xiaorui Ma, Yunong Zhao, Liang Zhang, Qinghua Gao, Miao Pan, and Jie Wang. 2020. Practical device-free gesture recognition using WiFi signals based on metalearning. IEEE Transactions on Industrial Informatics, 2020.

[8] Belal Korany, Chitra R. Karanam, Hong Cai, and Yasamin Mostofi. XModal-ID: Using WiFi for through-wall person identification from candidate video footage. In Proceedings of ACM MobiCom, 2019.

中国保密协会

科学技术分会

长按扫码关注我们

作者：江上

责编：向灵孜

2020精彩文章TOP5回顾

近期精彩文章回顾