虚拟现实中的人机交互

虚拟现实中的人机交互的心理学模型
视 觉 表象存储
长时记忆
工作记忆 声 音 存储
知觉处理器
认知处理器 运动处理器
DESK-TOP中的 人机交互模型
• 心理学模型(MHP)
Model Human Processor
认知系统：知觉、认知、 运动处理器
• 认知模型GOMS模型 (Stuart Card，Tom Moran 和Allen Newell 1983年《人 机交互心理学》)
1961 Headsight System (Philco Corp.) Head Mounted Display (HMD), head tracking, remote video camera, telepresence.
1965 The Ultimate Display (Ivan Sutherland) Stereoscopic HMD, computer generated images, tracking, visually coupled system.
认知主体
VR的人机交互心理学研究
GOMS 的一个例子
GOAL: CLOSE-WINDOW . [select GOAL: USE-MENU-METHOD
. MOVE-MOUSE-TO-FILE-MENU . PULL-DOWN-FILE-MENU . CLICK-OVER-CLOSE-OPTION GOAL: USE-CTRL-W-METHOD . PRESS-CONTROL-W-KEYS]
虚拟现实的历史(主要类型)
• 桌面虚拟现实系统(Desktop VR) – 立体(Stereoscopitic)显示技术
• 临境虚拟现实系统(Immersive VR)
– 利用头盔显示器把用户的视觉、听觉和其它感觉封闭起来
• 增强型现实、增强虚实 • 混合型虚拟现实 • 分布式虚拟现实(Distributed VR)
• 人和人之间的交流非常和谐
– 利用自然的效应通道--输出 – 利用高效的感知通道--输入
• 对其他人的行为和交流信息反应很快,可以从其他人或环境 那里学到知识
– 人能了解各种背景，具有各种社会知识和经验
虚拟现实的认识(本质)
面对面交流
人机交流
动作,行为
可视化(visibility)
感知
社会原则,规则, 规范以及习俗
• 混合现实(Mixed Reality)。 它是将真实环境和 虚拟现实的景象结合起来的一种技术，既可减 少生成复杂环境的开销，又便于对实际物体的 操作；
• 分布式虚拟现实环境。在因特网（环境下，充 分利用各地资源的优势，协同开发虚拟现实的 应用，如美国大型军用交互仿真系统NPSNET 及因特网上多人游戏MUD等；
1987 Virtual Cockpit (British Aerospace) head and hand tracking, eye tracking, 3d visuals, 3D audio, speech recognition, vibro tactile feedback.
虚拟现实的历史(最新进展)
•自然行为
•真实反应 •自然行为
•虚似反应
•人 •实物阶段
•人 •虚拟现实阶段
虚拟现实的认识(交互问题)
•理论(认知科学、计算机科学)
•人类感一觉特点及知觉机制 •虚拟现实中的心理加工机制 •VR中人机交互的认知模型和分布式认知模型多通道 人机交互的用户模型 •多通道人机交互的描述及语义模型 •虚拟环境中人机交互的时空模型
– 分布式VR则是让不同的用户(参与者)共享同一个虚拟空间
虚拟现实的认识(功能特征)
真实感
(环境表达的丰富程度) • 广度 (visibility, audibility, touch, smell) • 深度 (quality, fidelity)
交互性
(用户于环境的信息交换) • 速度 (update rates, time lag) • 映射 (text, speech, gestures, gaze, complex behavior patterns)
• WIMP 用户界面模型
MHP----GOMS-----WIMP
Desktop中的人机交互和GOMS模型
应用程序
输出 信 息
(App. Prog.) 输入 交
换
界面
•GOMS模型：
•Goals 目标 •Operators 基本操作 •Methods 方法(多个) •Selection Rules 选择方法的规则
虚拟现实中的人机交互
戴国忠
人机交互技术和智能信息处理实验室
虚拟现实的人机交互
– 引言 – 虚拟现实的产生 – 虚拟现实的历史 – 虚拟现实的认识 – 虚拟现实的人机交互 – 虚拟现实的应用 – 演示
引言
• 人机界面：一个永恒的主题 • GUI界面创造PC辉煌时代 • 3D Interface(VR):下一代的用户界面
虚拟现实的认识(认知特征-3I)
• 沉浸感（Immersion）:能给人们以真实世界的感觉， 全方位地沉浸在这个虚幻的世界中。
• 交互性（Interaction）:不同于CAD系统所产生的模型， 可以对使用者的输入作出反应。
• 想象性 （Imagination）: 用户和ＶＲ系统并行操作,发 挥用户的创造性想象力。
VR的人机交互心理学研究
人适应计算机
人
计算机
主机时代
计算机适应人
PC时代 虚拟现实/普适时代
•作为一种新型人机交互形式，虚拟现实技术比以前任何计算模式 都有希望彻底实现和谐的、“以人为中心”的人机界面。
•界面技术的每一次飞越都需要认知心理学成果的支撑。
VR的人机交互心理学研究
计算模式 目的
人机交互技术 心理学基础 人机融合
enabling the end user to interact in realistic three-dimensional
situations.
P. Greenbaum (1992): Virtual Reality is an alternate world filled with computergenerated images that respond to human movements.
技术和设备； 4.符合人类认知心理的三维自然交互技术; 5.三维交互软件及系统集成技术
虚拟现实的认识(问题)
•近20年历史，没有进入主流应用 •技术 缺少使用方便的输入设备
计算机认知问题 •使用 缺少新的交互范式 •哲学 虚拟现实的形而上学
虚拟现实的人机交互(主题)
•心理学研究 •交互设备及迭择原则 •三维交互技术 •三维用户界面
虚拟现实的产生(定义4)
• 虚拟现实的定义:
– “凡形于外者皆曰象，如气象、星象” (辞 源)-----电象
– 虚拟现实/虚拟实在(金吾伦) – 灵境(钱学森) – 虚实
虚拟现实历史 (重要技术突破)
1956 Sensorama (Morton Heilig) 3D visuals, vibration, stereo sound, wind, smell, little interaction.
George Coates (1992):
Myron Krueger
Virtual Reality is electronic simulations of environments
experienced via head mounted eye goggles and wired clothing
Myron Krueger (1991): ….The term (virtual worlds) typically refers to threedimensional realities implemented with stereo viewing goggles and reality gloves.
逼真的感觉 自然的交互 个人的视点 迅速的响应
视觉，听觉，触觉，嗅觉 等 运动，姿势，语言，身体跟踪 等 用户的眼、耳、身 所感到的感觉信息 感觉信息根据视点变化和用户输入及时更新
虚拟现实的认识(本质)
• 虚拟现实是一种界面: – 器物阶段(实物)--机器阶段(界面)--网络空间阶段(虚拟现实)
人-人面对面进行交流
大型机 PC机
自动化计 字符用户界面
算
键盘
信息处理 图形用户界面 和交流 鼠标WIMP
虚拟现实 身临其境 新用户界面 的体验 (???) 笔、语音(???)
不重要
以GOMS为代 表的认知心理 学 分布式认知等 对GOMS的扩 展
人机分离
某些人机融 合
人机融合为 一个整体
以GOMS为核心的人机交互认知模型是传统界面技术的基础
Douglas C. Engelbart
First mouse invented
三维用户界面
Leabharlann Baidu
虚拟现实的产生(应用)
• 计算机的发展
– 计算机的活动显示在屏幕上 – 通过屏幕观看虚拟世界 – 看到3D的虚拟物体 – 与虚拟世界相互作用 – 沉浸的灵境系统有声的虚拟世界
虚拟现实的产生(定义1)
In 1989, Jaron Lanier创造虚拟现实的概念。
虚拟现实的产生(定义2)
• 从界面到网络空间(Cyberspace) – 虚拟现实的形而上学 • (迈克尔.海姆 著 金吾伦 刘钢译)
• Real in effect; not real in fact – 实际上是真实的,而事实上不是真实的 实体或事件
虚拟现实的产生(定义3)
在计算机软硬件及各种传感器(如高性能计算机、 图形图象生成系统，以及特制服装、特制手套、特 别眼镜等)的支持下生成一个逼真的、三维的、具有 一定的视、听、触、嗅等感知能力的环境，便用户 在这些软硬件设备的支持下，能以简捷、自然的方 法与计算机所生成的‘虚拟’的世界中对象进行交互 作用。它是现代高性能计算机系统、AI、CG、CHI、 立体影象、立体声响、模拟仿真等技术综合集成的 成果。目的是建立起一个更为和谐的人工环境” 。 (汪成为)
规范等变成数字系统的有效机制
虚拟现实的认识(本质)
• VR 是一种新的人机界面形式 • VR 为参与者提供了一种临境
(Immersive) 和多感觉通道(Multi-Sensory)的体验 • 寻求一种最佳的人机通讯方式
虚拟现实的认识(本质)
•自然规律、法则
•自然规律、法则(数字)
•物理空间
•虚拟空间
• 利用计算机构造的一个真实世界的模拟，地理上分布 的用户可以通过网络共享该环境，并与周围的环境以 及在相互之间进行交互。共享虚拟环境涉及到虚拟现 实、分布对象、网络、人机交互、智能代理等领域。 其他同义词包括: Networked VE(VR), Shared VE(VR), Multi-User VE, etc. 其实质是一种人机交互界面
虚拟现实的历史(最新进展)
混合现实(Mixed Reality)
Real Environment
Mixed Reality (MR)
Augmented
Reality (AR)
Augmented Virtuality (AV)
Virtual Environment
虚拟现实的历史(最新进展)
分布式虚拟环境（Distributed Virtual Environment)
虚拟现实的认识(交互问题)
•技术和方法
•3D交互技术 •基于声音交互方法 •基干触觉的交互方法 •多通道人机交互的方法(整合和分解) •用户界面用户模型及软件体系结构 •用户界面可用性评估
虚拟现实的认识(交互问题)
•关健技术
1.大规模数据的场景建模技术； 2.动态实时的立体视觉、听觉等生成技术; 3.三维定位、方向跟踪、触觉反馈等传感
可感知(awareness) 可说明性 (accountability)
虚拟现实的认识(本质)
人和虚拟环境交互
– 可视性(visibility)：虚拟现实的生成和显示 – 可感知性(awareness)：虚拟环境能感觉到人的存在 – 可说明性 (accountability)：将自然界的原则、规则、
1967 Grope (University of North Carolina) 6 degree of freedom force feedback.
1977 The Sayre Glove (Sandin, Sayre, DeFanti Univ. Illinois) Gesture recognition.