联手人机交互专业委员会：“自由形态界面”术语发布 | CCF术语快线

 

本期发布术语热词：自由形态界面（Freeform Interface）

开篇导语：

自由形态界面是指突破传统图形用户界面形状（如矩形）的限制，使信息能够以普适的形式在任意自由形态的表面进行显示与交互。自由形态界面的逐渐兴起一方面借助于显示技术的进步，另一方面也体现了用户对未来普适数据访问（即在任意需要的时间和地点进行动态的数据展示）的迫切需求。对自由形态用户界面的研究极有可能在未来影响数以亿计的用户，并彻底改变传统的信息显示与交互方式。

自由形态界面(Freeform Interface)

作者：赵凯星（西北工业大学）

InfoBox：

中文名：自由形态界面

外文名：Freeform Interface

学科：人机交互

实质：自由形态、用户界面

研究背景：

图形用户界面GUI一直是人机交互研究的重要方向。然而，由于近几十年来显示设备的形状一直保持相对稳定，如常用的计算机、智能手机或平板电脑的显示器、显示屏等均使用矩形屏幕，因此图形用户界面的研究在大部分时候只能基于传统的矩形显示界面，未能在形态方面有突破性进展。事实上，尽管不同设备或者不同操作系统之间的图形用户界面设计存在一定的差异（如Android与iOS操作系统），但其基本信息显示及输入输出交互规则始终是建立在对已有的矩形显示界面的研究基础上。而经过近几十年的发展，此类显示界面已经相对成熟：一方面，其界面内的不同元素，如文本、图像及各类界面组件等在视觉排列上已经逐步完善；另一方面，此类用户界面的输入输出交互技术已经被用户广泛接受。

然而，随着硬件和工程技术手段的不断发展，显示设备已经在逐渐突破传统几何形状的限制，正朝着更为丰富的显示形态发展：即自由形态。例如在工业界，非传统矩形显示设备已经在汽车显示系统（如非传统汽车仪表盘）[1]、可穿戴设备（如圆形智能手表）[2]或者部分公共显示设备（如三角形路面标识牌）[3]中广泛应用。但与此同时，这种新颖显示形态的出现也挑战了许多过去积累的设计与交互准则。

研究概况：

自由形态界面的研究涉及从软件到硬件，从人机交互、计算机图形学到心理学、认知科学的内容。然而，对自由形态界面的理解可主要从基于硬件的非矩形显示技术和基于软件和算法的非矩形界面两方面入手：

非矩形显示技术：

目前从工业界和学术界的进展来看，非矩形显示技术的实现通常可以采用三种方案：电子系统(Electronic systems)、多面系统(Multifaceted systems)以及投影系统(Projection systems)。电子系统方面，包括LCD、有机发光半导体(OLED)和电子纸(E-ink)技术在内的一些可变形显示技术，通过工程设计，可实现任意形状的显示设备切割。多面系统方面，利用近年来的一些新技术，如Facet[4]以及Tilt Displays[5]等，用户已可以制作交互性较强的多屏显示设备。在实际应用中，人们有时也将多个显示设备连接起来并组装成不同形状的显示阵列以便研究其对交互的影响[6]。对于投影系统[7]，相比较于前两种技术方案，其可以通过改变投影图案来更加容易地创建自由形态的投影显示界面。

非矩形界面：

对于非矩形界面的研究此前基本是建立在对传统矩形用户界面的探索基础上。在这些研究中，人们重点关注了交互过程中的信息显示或物理遮挡问题[8][9]，并因此相应地提出了非直线菜单[10]以及圆形环绕布局等技术方案。此外，为了充分实现非矩形界面中空间的高效利用，[11]和[12]分别设计了自由形态的“气泡(Bubble)”以及“图案(Decal)”，来将传统矩形界面中的内容进行变形及匹配。自由形态界面的信息获取及内容设计也在近期被系统地研究[3][13]。对于非矩形界面的交互技术，此前的研究主要针对于常用的圆形智能手表。例如[14]和[15]分别探索了基于手表边框的输入交互动作，而[16]中则尝试利用惯性传感技术来增强圆形智能手表的交互技术。对于其他任意非矩形界面的交互，目前的研究仍较少，只有[17]探索了物理形状对自由形态设备交互的影响并提出了相应的交互设计准则。

未来展望：

我国对自由形态界面的研究有着迫切的需求：随着我国智能化社会的建设，用户对普适数据访问的需求将会快速增长。未来，研究人员必须重新思考传统的矩形显示界面是否可以在任何情况下均能以最优的方式利用环境空间，从而达到对数据的普适访问。正如我们所知，近些年来，利用新兴技术研发的非矩形显示设备已经在一定程度上替代了传统的矩形显示。特别是在汽车工业中，单一非矩形显示设备如今常用来代替此前的机械汽车仪表盘，并可提供更为丰富的交互操作。非矩形显示界面也可以应用于其他非矩形的物体（例如任意形状的家具或城市建筑表面），使其成为天然的信息显示载体。此外，在移动计算的背景下，随着不同形状的可穿戴设备变得更加普及，未来市场上将会出现更多拥有非矩形显示的消费电子产品。事实上，这些产品所拥有的丰富显示形态在满足消费者不同需要的同时也对如何改善此类非矩形显示设备的图形用户界面及其交互提出了挑战。总之，以上这些应用领域对应着一个正在迅速发展的市场，其在不久的将来可能会影响数亿用户。

参考文献

[1] Renate Haeuslschmid, Bastian Pfleging, and Florian Alt. 2016. A Design Space to Support  the Development of Windshield Applications for the Car. In Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems (CHI 16). ACM, New York, NY, USA, 5076-5091. DOI: http://dx.doi.org/10.1145/2858036.2858336

[2] Daniel Ashbrook, Kent Lyons, and Thad Starner. 2008. An Investigation into Round Touchscreen Wristwatch Interaction. In Proceedings of the 10th International Conference on Human Computer Interaction with Mobile Devices and Services (MobileHCI 08). ACM, New York, NY, USA, 311-314. DOI: http://dx.doi.org/10.1145/1409240.1409276

[3] Marcos Serrano, Anne Roudaut, and Pourang Irani. 2016. Investigating Text Legibility on Non Rectangular Displays. In Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems (CHI 16). ACM, New York, NY, USA, 498-508. DOI: http://dx.doi.org/10.1145/2858036.2858057

[4] Kent Lyons, David Nguyen, Daniel Ashbrook, and Sean White. 2012. Facet: a Multi-segment Wrist Worn System. In Proceedings of the 25th Annual ACM Symposium on User Interface Software and Technology (UIST 12). ACM, New York, NY, USA, 123-130. DOI: https://doi.org/10.1145/2380116.2380134

[5] Jason Alexander, Andres Lucero, and Sriram Subramanian. 2012. Tilt Displays: Designing Display Surfaces with Multi-axis Tilting and Actuation. In Proceedings of the 14th International Conference on Human-Computer Interaction with Mobile Devices and Services (MobileHCI 12). ACM, New York, NY, USA, 161-170. DOI: https://doi.org/10.1145/2371574.2371600

[6] Ivan Poupyrev, Henry Newton-Dunn, and Olivier Bau. 2006. D20: Interaction with Multifaceted Display devices. In CHI 06 Extended Abstracts on Human Factors in Computing Systems (CHI EA 06). ACM, New York, NY, USA, 1241-1246. DOI: https://doi.org/10.1145/1125451.1125683

[7] Brett R. Jones, Hrvoje Benko, Eyal Ofek, and Andrew D. Wilson. 2013. IllumiRoom: Peripheral Projected Illusions for Interactive Experiences. In CHI '13 Extended Abstracts on Human Factors in Computing Systems (CHI EA '13). Association for Computing Machinery, New York, NY, USA, 2825–2826. DOI: https://doi.org/10.1145/2468356.2479531 

[8] Aurelien Tabard, Simon Gurn, Andreas Butz, and Jakob Bardram. 2013. A Case Study of Object and Occlusion Management on the eLabBench, a Mixed Physical/Digital Tabletop. In Proceedings of the 2013 ACM International Conference on Interactive Tabletops and Surfaces (ITS 13). ACM, New York, NY, USA, 251-254. DOI: https://doi.org/10.1145/2512349.2512794

[9] Daniel Vogel and Ravin Balakrishnan. 2010. Occlusion-aware Interface. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI 10). ACM, New York, NY, USA, 263-272. DOI: https://doi.org/10.1145/1753326.1753365

[10] Daniel Leithinger and Michael Haller. 2007. Improving Menu Interaction for Cluttered Tabletop Setups with User-Drawn Path Menus. Second Annual IEEE International Workshops on Horizontal Interactive Human-Computer Systems (TABLETOP 07). IEEE, 2007.

[11] Daniel Cotting and Markus Gross. 2006. Interactive Environment-Aware Display Bubbles. In Proceedings of the 19th Annual ACM Symposium on User Interface Software and Technology (UIST 06). ACM, New York, NY, USA, 245-254. DOI: https://doi.org/10.1145/1166253.1166291

[12] Aziz Niyazov, Nicolas Mellado, Loic Barthe, and Marcos Serrano. 2021. Dynamic Decals: Pervasive Freeform Interfaces Using Constrained Deformable Graphical Elements. In Proceedings of ACM Human-Computer Interaction, 5, ISS, Article 493 (November 2021), 27 Pages (ISS 2021). DOI: https://doi.org/10.1145/3488538

[13] Marcos Serrano, Anne Roudaut, and Pourang Irani. 2017. Visual Composition of Graphical Elements on Non-Rectangular Displays. In Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems (CHI 17). ACM, New York, NY, USA, 4405-4416. DOI: https://doi.org/10.1145/3025453.3025677

[14] Pui Chung Wong, Kening Zhu, Xing-Dong Yang, and Hongbo Fu. 2020. Exploring Eyes-free Bezel-initiated Swipe on Round Smartwatches. Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems. Association for Computing Machinery, New York, NY, USA, 1–11. DOI: https://doi.org/10.1145/3313831.3376393 

[15] Ali Neshati, Bradley Rey, Ahmed Shariff Mohommed Faleel, Sandra Bardot, Celine Latulipe, and Pourang Irani. 2021. BezelGlide: Interacting with Graphs on Smartwatches with Minimal Screen Occlusion. In Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems (CHI '21). Association for Computing Machinery, New York, NY, USA, Article 501, 1–13. DOI: https://doi.org/10.1145/3411764.3445201 

[16] Cheng Zhang, Junrui Yang, Caleb Southern, Thad E. Starner, and Gregory D. Abowd. 2016. WatchOut: extending interactions on a smartwatch with inertial sensing. In Proceedings of the 2016 ACM International Symposium on Wearable Computers (ISWC '16). Association for Computing Machinery, New York, NY, USA, 136–143. DOI: https://doi.org/10.1145/2971763.2971775 

[17] Marcos Serrano, Jolee Finch, Pourang Irani, Andres Lucero, and Anna Roudaut. 2022. Mold-It: Understanding how Physical Shapes affect Interaction with Handheld Freeform Devices. In Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems (CHI '22). Association for Computing Machinery, New York, NY, USA.

  术语工委及术语平台介绍：

计算机术语审定委员会(Committee on Terminology)主要职能为收集、翻译、释义、审定和推荐计算机新词，并在CCF平台上宣传推广。这对厘清学科体系，开展科学研究，并将科学和知识在全社会广泛传播，都具有十分重要的意义。

术语众包平台CCFpedia的建设和持续优化，可以有效推进中国计算机术语的收集、审定、规范和传播工作，同时又能起到各领域规范化标准定制的推广作用。

新版的CCFpedia计算机术语平台(http://term.ccf.org.cn)将术语的编辑运营与浏览使用进行了整合，摒弃老版中跨平台操作的繁琐步骤，在界面可观性上进行了升级，让用户能够简单方便地查阅术语信息。同时，新版平台中引入知识图谱的方式对所有术语数据进行组织，通过图谱多层关联的形式升级了术语浏览的应用形态。

计算机术语审定工作委员会

主任：

刘挺（哈尔滨工业大学）

副主任：

王昊奋（同济大学）

李国良（清华大学）

主任助理：

李一斌（上海海乂知信息科技有限公司）

执行委员：

丁军（上海海乂知信息科技有限公司）

林俊宇（中国科学院信息工程研究所）

兰艳艳（清华大学）

张伟男（哈尔滨工业大学）

点击“阅读原文”，加入CCF。