1.2.1 人眼
1.视觉生理结构
2.立体视觉
3.屈光度
4.瞳孔
5.分辨力
6.明暗适应
7.周围视觉和中央视觉
8.视觉暂留
9.视场
现有的VR系统中,已经考虑的因素包括:立体视觉,分辨力,视觉暂留,以及视场。其他因素还没有充分考虑到。
1.视觉生理结构
大脑皮层(Cerebral Cortex)是大脑半球的最外层,它负责各种形式的感觉。视网膜(Retina)是在每只眼背部的神经细胞的多层膜,它把光转成电信号,并通过视神经和管道传给大脑。
下图表示,视网膜的解剖图。图中显示了层,管道和神经。
图 1-2-01
下图表示,视网膜内光感受器的解剖图。图中杆状细胞和锥状细胞在上部,通向大脑的视神经纤维在下部。
图 1-2-02
图 1-2-03
|
2.立体视觉
视觉的另一个重要因素是立体视觉能力。提供给人类视觉的图像,必须使人感觉是立体的。这样,观看者的视觉系统就可以计算出被看物体的远近。对同一个场景,两眼得到稍有差别的视图。左视区的信息,送到两眼视网膜的右侧。在视交叉处,左眼的一半神经纤维交叉到大脑的右半球,左眼的另一半神经纤维不交叉,直接到大脑的左半球。这样,两眼得到的左视区的所有信息,都送到右半球。
下图表示,人类立体视觉的原理图。
图 1-2-04
HMD(头亏显示器)提供两个显示,不但应保持双目视差,而且应该重叠。实际上,由于两眼有6.5cm的瞳距,所以两者视场总有些差别,有不重叠的区域。
对中央凹区域,深度感在150m时减弱。对周围视觉,深度感在100m减弱。而在这个距离上,双目视差不是最有用的,运动视差和透视可能更有用。
3.屈光度
与眼的光学部分有关的一个度量是"屈光度" (dioptre)。有1个屈光度的镜头,可以聚焦平行光线在1米距离。人眼的聚焦能力约60屈光度,这表明聚焦平行光在17mm距离,这就是眼球尺寸,是晶状体和视网膜的距离。
年青人可以连续改变14个屈光度,这称为调节或聚焦。这保证对远近物体都能看到清晰的图像。年长后调节能力减弱,50岁时调节能力2个屈光度,70岁时调节能力0个屈光度。在注视运动物体时,自动调节屈光度。
调节作用保证某个距离的物体清晰,而其它距离物体模糊。这起了滤波器的作用,使人集中关注视场中部分区域。在HMD中没有调节,2个图像都是聚焦在2到3米距离。
4.瞳孔
瞳孔是晶状体前的孔,直径可变化,由1.5mm到8mm。面积之比1:30。瞳孔作用有三个:(a) 放大时可增加眼的敏感;(b) 缩小时可增加近视觉的视距;(c) 缩小时可限制入射光在光学效果最好的中心区。
5.分辨力
分辨力是人眼区分两个点的能力,限于10m距离上约1.5-2mm。例如在2m的距离观看宽度400mm的电视。人眼区分两个点的能力,在2m距离上约0.4mm。则宽度400mm上应该由1000个0.4mm大小的像素。计算机监视器和高清晰度电视机,都达到了这样的分辨率。
6.明暗适应
眼对亮度的感觉可以自动调节,这是通过改变在视杆和视锥细菌中光敏化合物的浓度。例如从亮处进入暗室时的现象,称为暗适应,花费约40分。亮适应是从暗室进入阳光下时的现象,这种适应的强度变化在25000倍。视杆细胞适应时间约1小时,视锥细胞适应时间约几分钟。
7.周围视觉和中央视觉
视网膜不仅是被动的光敏表面。通过视杆和视锥细胞与神经细胞的连接,它还有一定的图像处理。中央凹是视网膜中央部分,在光轴与视网膜焦点附近,直径约1mm,有高密度视锥细胞。中央凹区域的视觉称为中央视觉。中央视觉是高分辨率部分,有彩色的、白天的视觉。视网膜周围区域包含视杆和视锥细胞。视网膜周围区域的视觉称为中央视觉。这些神经细胞对光强的变化敏感,它帮助我们注意运动物体。周围视觉虽然分辨率低,是单色的、夜间的视觉,但敏感运动物体。
8.视觉暂留
视觉暂留是视网膜的电化学现象造成视觉的反应时间。当观看很短的光脉冲时,视杆细胞得到约0.25s 的峰,视锥细胞快4倍,得到约0.04s的峰。这种现象造成视觉暂留。
f1-2-1-2
按播放键可以看到动画中的画面频率为每秒1个画面, 可以看到明显的闪烁效果。 在实际电影、电视中的频是20个每秒。故出现的画面是连贯的。 |
9.视场
双目的视场约为水平±1000,垂直±600,而水平的双目重叠视场1200。实际的全景显示可能产生水平±1000,垂直±300视场,这已经有强的沉浸感。
1.2.2 人耳
1.声音
2.声音感觉
3.频率范围
4.声强
5.声音方向
6.声音舞台
7.头部有关的传递函数
现有的VR系统中,已经考虑的因素包括:声音方向,声音舞台,以及头部有关的传递函数。其他因素还没有充分考虑到。
1.声音
音速在空气中,0℃时331m/s,20℃时344m/s。在海水中,1℃时音速1453m/s。在铸铁棒中,音速3500m/s。
耳听到的频率范围约20Hz到20kHz。随年岁增加,频率范围缩小,特别是高频段。
考虑音速344m/s。 20Hz的波长17.2m, 1kHz的波长34.4cm, 10kHz的波长 3.44cm。人耳的尺寸约7cm,这是5kHz的波长。这说明耳会影响这种频率声音的收集。人的身体也会与声波交互,这也会影响声音的质量。这类似音乐厅中的音响效果。
2.声音感觉
耳分为外耳、中耳、内耳。外耳把声音引导进内耳,它也作为滤波器而改变声音。把手放在耳前面,就会感到声音变化。声音最终冲击耳膜,使之振动。耳膜振动再传到耳蜗,并且振动加大20倍。
3.频率范围
耳蜗有3个螺旋管,被2个膜片分开,Reissner膜和耳底膜。振动会刺激耳底膜上的2万到3万个硬毛,并产生电信号传给大脑。耳底膜有识别频率的机制。高频振动刺激膜的开始部分,中频振动刺激膜的中间部分,低频振动刺激膜的远端部分。
4.声强
声强影响到耳底膜的振幅,直接转成毛细胞的刺激。
5.声音方向
一般认为,人脑识别声源位置,是利用两耳收到的声音的时间差和声音幅度差。当人面对声源时,两耳的声强和路径相等。当人向左转以后,右耳声音比左耳强,且更早听到。若两耳路径之差为20cm,则时间差0.6ms。
6.声音舞台
如果用一对麦克风记录立体声音,就可以重现声音舞台,它有宽度和深度。
7.头部有关的传递函数
在听耳机时,每个耳只听一个发声器的声音。当然一个耳中的声音,也会经头部传给另一耳。在听扬声器时,每个耳都分别听到两个扬声器的声音。
1974年Plenge认为,进入耳的声音的形式,会产生外部的声音舞台的感觉。对于耳机(特别是插入式耳塞),感觉的声音舞台是内部的。如果驱动耳机的左右通道可以由电子设备构成声音,则人会感觉声音有外部的真实性。为此要求知道声音的形状,或由声源到耳内部的传递函数。这个由声源到耳内部的传递函数称为"头部有关的传递函数" (Head-related transfer functions, HRTF),它反映头和耳对传声的影响,不同的人有不同的HRTF。
HRTF的测量方法如下。对空间每个位置的声源,安放在耳中接近耳膜的小麦克风测量收到的信号。信号经过处理,补偿非线性频率响应。由此得到HRTF。
1.2.3 身体感觉
这涉及到感觉表面粗糙、振动、运动、位置、压力、疼痛和温度。按身体不同部位,可分四类。
(a)深部感觉。
(b)内脏感觉。
(c)本体感觉。
(d)外感受感觉。
现有的VR系统中,已经考虑了触觉和力觉显示。但是有关的技术细节还没有充分考虑到。
(a)深部感觉:它提供关节、骨、腱、肌肉和其它组织的信息,涉及压力、疼痛和振动。
(b)内脏感觉:它提供胸腹腔中的内脏的状况,主要是疼痛。
(c)本体感觉:它提供身体的位置,平衡和肌肉感觉。也涉及与其它物体的接触,如站在地上、躺在床上。本体感觉接受器位于关节、肌肉和深部组织。
(d)外感受感觉:它是身体表面的接触感觉。
平衡是在飞行仿真和运动眩晕中的问题。眩晕的原因很多,但往往来自视觉和前庭器官信息的冲突。例如在固定座舱的飞行仿真中,视觉接收人体运动感觉,前庭器官不感觉人体运动。又如在乘车旅行中,前庭器官感觉人体与车同时的运动,视觉没有或较少接收人体运动感觉。
下图表示,人体皮肤的内部结构。VR的触觉接口直接刺激皮肤,产生接触感。人体具有约20种不同的神经末梢,它们全给大脑发送信息。但是,最普通的感知器是热感知器,冷感知器,疼痛感知器,以及压力(或接触)感知器。VR的触觉接口可以提供高频震动,小范围的形状或压力分布,以及热特性,由此来刺激这些感知器。图中,绿色的Cold Receptor 是冷感知器,黄色的Heat Receptor 是热感知器,红色的Pain Receptor 是疼痛感知器,紫色的Pressure Receptor 是压力感知器。此外,Dermis是真皮,Epidermis是表皮,Hair是毛发。
图 1-2-05
结论
在VR中,某些人的因素明显被考虑,如HMD中考虑瞳距。另外一些人的因素未明显考虑,如运动眩晕。
Defence Research Agency研究了沉浸感显示的副作用。有些人认为用HMD看不同远处物体时,不能用会聚和调节,使人不适应。有人认为HMD与内瞳距不匹配也使眼疲劳。有人认为眼不是会聚,而是在发散。有些用户很敏感运动刺激,如汽车、船、飞机、火车等。
有人实验研究了VR引起运动眩晕问题。在150个实验者中,有8人产生强烈眩晕。其它实验者经历了20分钟沉浸环境。5分后有22%的人眩晕,10分后有32%人眩晕,15分后有40%人眩晕,20分后有45%人眩晕。在沉浸经历以后5分钟,还有36%的人眩晕,10分钟后还有27%的人眩晕。
在VR中,具有图像生成的延迟,视觉和前庭器官信息的时间不同步也造成感觉(视觉与本体感觉)的冲突。快速处理和予测算法有可能缓解这种不同步。