活动概况

11月4日傍晚，AIR DISCOVER青年科学家论坛第四期在清华清华大学智能产业研究院（AIR）如期举行。本期活动荣幸地邀请到了韩腾博士做题为《新型感知与反馈自然交互技术》的报告。

讲者简介

韩腾，博士，中科院软件所副研究员，硕士生导师。师从英国皇家工程院新型技术主席Sriram Subramanian及加拿大普适分析研究主席Pourang Irani。曾在美国达特茅斯学院、台湾大学、加拿大Autodesk研究院、日本本田研究院、微软亚洲研究院、联想研究院进行过学术访问。其主要研究方向为人机交互、情景感知、触觉交互和混合现实。发表CHI、UIST、IMWUT/Ubicomp等人机交互国际顶会论文17篇获得多项最佳论文相关奖项。其中，UIST2020最佳论文提名奖为大陆机构首次获奖。

报告内容

韩博士在本次报告中梳理了人机交互的发展历程，介绍了交互范式和交互技术，分享了他在触觉感受机理和柔性致动器领域的研究，畅想了未来触觉交互的输入输出方式及在人机混合增强方向的应用。

人机交互的发展历程

人机交互是基于用户行为和认知能力，设计、评估和实现人类使用的交互式计算系统，为信息科技和消费电子产业的发展、创新与革命做出了巨大的贡献。在移动互联网、触屏交互、虚拟现实、人工智能等众多领域，人机交互正在成为必不可缺的一部分。

人机交互的发展史起源于20世纪50年代。早期的通用计算机（UNIVAC）是按钮式交互。上世纪60年代末，70年代初，Douglas Engelbart 设计发明了第一只鼠标，从此键盘不再是电脑输入的唯一途径，计算机使用界面也就此开启新纪元。同时期，Alan Kay不断思考如何将庞大的计算机变小，构想出笔记本电脑的原型“Dynabook”，为窗口化图形用户界面（GUI）的发展带来了开创性的影响。接下来，苹果公司于1984年推出了麦金托什个人电脑，2007年推出第一代iphone。韩博士指出，乔布斯之所以被称“伟大”，是因为他的人机交互理念对未来产生了深远的影响。

交互范式

人机交互研究的主要层次之一是交互界面，或称之为范式，是一种可被重复利用、被用户熟知、蕴含设计经验的人机交互模式。韩博士通过介绍前人的高瞻远瞩，引导我们思考未来的PC会是什么样子，从而规划和设计下一代的交互范式。

韩博士认为未来可能是VR/AR的世界，人机交互将从平面走向空间。在这样的未来交互范式中，目前常见的VR系统手柄可能并非空间交互的最有效的工具。在实验中，韩博士团队发现，手腕虽然作为我们控制手柄的主要运动关节，却并不是手部控制最精准的部位。受到笔和筷子的启发，韩博士团队进一步探索了使用笔杆的输入方式。进行实验对比后得出，笔杆在灵活度、准确性及舒适性上都是更优于手柄的的交互工具。

此篇文章获得了CHI 2020 最佳论文提名奖。

Li, Nianlong, Teng Han*, Feng Tian, Jin Huang, Minghui Sun, Pourang Irani, and Jason Alexander. “Get a Grip: Evaluating Grip Gestures for VR Input using a Lightweight Pen.” In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, pp. 1-13. 2020. (Honorable Mention Awards)

交互技术

韩博士接下来介绍了交互技术的发展。我们现在所处的正是从移动/穿戴计算时代（NUI）向普世计算时代（Ubiquitous）万物互联过渡的阶段。

在移动/穿戴计算时代（NUI），智能手表作为最基础的可穿戴设备曾掀起交互研究与设计的热潮。但由于手表的屏幕很小，注定不能将手机的触摸模式完全复制。韩博士意识到除手表屏幕可作为交互界面外，手表周围仍有很大的可利用空间，于是便对此开启了手势输入技术的研究。日常自然的手势，如响指、拍手等，在交互领域原本是不存在的，但韩博士团队认为，很多自然手势都伴随着不同声音的产出，具有很好的利用价值。在实验阶段，韩博士团队设计了一个麦克风矩阵，可以捕捉和分离声音信号，并判断声音方位，从而实现了使智能手表做到听声辨位、辨意，利用手势产生的声音对手表进行控制的目标。

Teng Han, Khalad Hasan, Keisuke Nakamura, Randy Gomez, and Pourang Irani. “Soundcraft: Enabling spatial interactions on smartwatches using hand generated acoustics.” In Proceedings of the 30th Annual ACM Symposium on User Interface Software and Technology, pp. 579-591. 2017.

近些年智能手表的广泛使用，使人们普遍意识到，手表只是一个辅助工具，并不能取代手机。近两年的人机交互研究也越来越侧重于万物互联的普适计算，认为未来的交互一定是围绕着智能环境展开，自然地将计算设备融入人们的生活环境和日常物品，进行场景情境感知与互动。因此，在未来智能环境下输入和输出便成为了人机交互主要面临的挑战。

首先是输入。为解决交互需求、场景和资源的问题，需要做到智能传感的定制化，即根据场景进行多模感知系统的重构。为应对物理空间信息的复杂、多样、分布、动态等特性，韩博士提出，结合柔性功能材料、结构、工艺的特点，可重构情境感知工具。在此基础上，韩博士深入研究了微流体技术。

韩博士着重介绍了基于微流重构技术的创新性设计。例如，用传统方式做出的电子元件中，通常可以通过点阵状电极用于电感性感知，线圈状电极用于电容性感知，但功能是不可兼得的。韩博士采用微流重构技术结合液态金属的方式，利用流体机械结构的改变，动态地实现结构可控，使电极的形状可以在线圈状电极和点阵状电极之间自由切换。

Wei Sun, Yanjun Chen, Simon Zhan, Teng Han*, Feng Tian, Hongan Wang, and Xing-Dong Yang. 2021. RElectrode: A Reconfigurable Electrode For Multi-Purpose Sensing Based on Microfluidics. Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems. Association for Computing Machinery, New York, NY, USA, Article 13, 1–12.

其次是输出。在人的五感中，触觉的灵敏程度是非常高的，然而触觉交互在传统的人机系统里是被忽略的。在面向未来的人机交互范式，触觉将成为一个重要的研究领域。

相关研究表明，人的皮肤并不具备湿度的感受器，而是通过对温度变化、压力和摩擦力的复合感受来理解湿度。韩博士为此设计了模拟装置，模拟不同温度、摩檫力情况下的物体表面。这个装置的设计可以让被试者有逼真的湿度感受。该技术可以应用到VR领域。

Teng Han, Sirui Wang, Sijia Wang, Xiangmin Fan, Jie Liu, Feng Tian, and Mingming Fan. "Mouillé: Exploring Wetness Illusion on Fingertips to Enhance Immersive Experience in VR." In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, pp. 1-10. 2020.

继对湿度的研究后，韩博士又联想到对痛觉的模拟。虽然痛觉不是令人愉快的感受，但是在VR领域，无伤害的痛觉模拟有很多应用场景。相关研究表明，辣椒素和受伤所产生的灼烧感是一致的，它们所刺激的是同一类神经末梢。然而，在实践中存在着两个挑战：首先，辣椒素的作用有延迟，无法像受伤时一样立刻感受到疼痛；其次，辣椒素浓度过高时很难快速抹除，易对人体皮肤造成一定的损害。针对这个问题，韩博士团队在选用低浓度辣椒素溶液的同时，配合温度控制，当温度提升时痛感也会提升，解决了痛感定量控制的问题。同时，韩博士使用了微针，微针可以撑开表皮但不伤害真皮，使溶液可以快速下沉到神经末梢，解决了感知延迟的问题。

Chutian Jiang, Yanjun Chen, Mingming Fan, Liuping Wang, Luyao Shen, Nianlong Li, Wei Sun, Yu Zhang, Feng Tian, and Teng Han*. 2021. Douleur: Creating Pain Sensation with Chemical timulant to Enhance User Experience in Virtual Reality. Proc. ACM Interact. Mob. Wearable Ubiquitous Technol. 5, 2, Article 66 (June 2021), 26 pages.

在触觉研究领域，韩博士分享的另一项工作是设计触觉代理工具。触觉代理工具是一种让使用者可以在虚拟环境下体会到真实物理反馈的交互工具。为了统一多样化的工具，韩博士团队进行了建模，从手部的运动轨迹和作业时感受到的力两个维度进行设计：用链杆结构仿造了真实的运动模式；通过关节结构的设计，模拟了力的反馈。

这篇文章获得了UIST 2020 最佳论文提名奖，是大陆机构首次获奖。

Li, Nianlong, Han-Jong Kim, Luyao Shen, Feng Tian, Teng Han*, Xing-Dong Yang, and Tek-Jin Nam. “HapLinkage: Prototyping Haptic Proxies for Virtual Hand Tools Using Linkage Mechanism.” In Proceedings of the 32th Annual ACM Symposium on User Interface Software and Technology. 2020. (Honorable Mention Awards)

在做了很多触觉技术的研究后，韩博士发现能够落地的技术很少，其主要原因是装置形态不够轻薄。为此，韩博士团队设计了一个可固定在指尖的薄片。薄片内置一个流体管道和小球；控制流体的冲击，利用小球震荡的位置、频率和振幅，让手指感受到特定的震动信息。

Teng Han, Shubhi Bansal, Xiaochen Shi, Yanjun Chen, Baogang Quan, Feng Tian, Hongan Wang, and Sriram Subramanian. 2020. HapBead: On-Skin Microfluidic Haptic Interface using Tunable Bead. In Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems (CHI '20). Association for Computing Machinery, New York, NY, USA, 1–10.

总结回顾

本次讲座，韩博士从交互范式、交互技术和智能环境三个角度出发，分享了其多篇优秀论文，引导和启发了参会者对未来交互方式的畅想。未来的交互方式将不再局限于二维空间，而是向三维空间扩展；交互媒介将不再局限于一个屏幕，而是向任何设备和脱离屏幕的空间扩展；同时感知方式将会更加多模化；虚拟环境中将会有更多感官反馈和更真实的沉浸体验。韩腾博士分享的几篇成果让我们看到了未来交互方式的冰山一角，还有更多的交互系统设计等待探索。

撰文 / 张研

编辑排版 / 曾心谣

校对责编 / 黄妍

精彩视频回顾及完整版PPT下载，请点击：

AIR DISCOVER｜韩腾：新型感知与反馈自然交互技术