电脑交互技术好久没有大新闻了,小新闻也就是前一阵的微软Win10发布会,和苹果的OneMoreThing新品发布会,微软推出了新的Surface,而苹果则推出了TouchBar,然而两者都没有带来什么飞跃性的进步。关于下一代个人电脑交互技术,我有过许多思考,我想分享一下电脑交互技术的一些趋势和一些判断。
科技变革是周期性的,每次新的变革都需要经历技术的积累(点科技树),先锋们前仆后继地试错,直到他们中的一个幸运儿开启新的时代。在个人电脑方面,鼠标+键盘+图形界面的交互模式已经主宰了数十载,日臻完善,达到了非常高的成熟度,从另一个角度说,这种交互模式已经到达了瓶颈,想要再进一步很难了。而新兴的交互技术像雨后春笋般冒出,不断成熟壮大,在我的判断中,变革的土壤早已肥沃。
先介绍一下下一代交互技术的参赛选手
触控。07年iPhone横空出世,依托苹果精心设计的触控技术,带来了前所未有的体验。触控直观,没有依赖,加上多点触控后更是如虎添翼。由于个人电脑体验常年原地踏步,很多人甚至更愿意使用手机处理事务。很自然,会有人将触控移植到个人电脑上,于是就有了后面那个笑话——Windows 8,Windows 8的失败也很大程度上是微软生搬硬套的恶果,然而,我们也必须看到,触控不适合电脑,从手机到个人电脑,触控需要跨越屏幕尺寸上的鸿沟,这意味着手指要动更大的范围,手必须悬空防止误触,无法休息,而输入更是个难题,虚拟键盘不好用,而实体键盘会与屏幕空间上冲突,要么键盘模式(立屏),要么触控模式(躺屏)。我使用的笔记本使用Windows 10,带有触控,但我还是更愿意使用鼠标。
笔控。乔布斯在发布iPhone一代时曾经说过:”上帝给了我们十只手指,为何我们还要手写笔?“确实,iPhone推出后,手写笔进入了前所未有的低谷,手写笔在手机上确实毫无竞争力,但在电脑上就不同,后来微软推出的surface pro一代加入手写笔的支持,而且一代更比一代重视手写笔,而去年发布的apple pencil标志着苹果放弃了对手写笔的偏见。那么我们严肃地看这个问题“上帝给了我们十只手指,为什么我们还要手写笔?“我们做个实验,如果让你分别用手指和笔在纸上写一个”熵“字,分别能写到多小,不出意外的话应该是数十倍的差距,也就是说,向电脑输入等量的信息,笔的效率是手指的几十倍,考虑阻力等因素的话这个比率会更高。
眼控。这个厉害了,鼠标跟随着视点移动,瞪谁谁怀孕。它的原理是通过摄像头捕捉使用者的眼睛,然后通过算法结合瞳孔的位置,最终算出你正在注视着屏幕的那个位置。这个领域的领头羊是来自瑞典的Tobii公司,中国也有一家叫七鑫易维的公司。之前联想和海尔都推出过眼控电脑,使用了Tobii的技术,三星和LG也尝试在手机上使用眼控技术,然而这些产品最终都销声匿迹了,根源在于眼控的精度还不够,会有一些的误差,就是这一些误差,会造成很多错误操作,影响体验。现在眼控设备大多是给残疾人用的。如果有一天这个技术能做到高精度,那么一定会颠覆世界。
足控。
VR/AR,当下两个炙手可热的网红,VR能让你进入另一个世界,而AR则能改变你的视界。VR技术相对成熟,技术决定定位,VR在游戏及影视上面得天独厚,但在很多时候都是杀鸡用牛刀,脑子正常的话没人会带个头盔浏览网页,不过VR适合作为辅助交互设备,在某些场景下使用。AR技术也有类似的问题,并且AR技术离成熟还有十万八千里。
脑机交互,这个技术在近年来发展迅速,不时搞个大新闻,比如远程意念控制,让瘫痪的猴子重新行走什么的。毫无疑问,这个是趋势,它将使电脑与人脑的交流成本将达到最低,人进化成半机器人。但就以目前的技术水平来说,它还太遥远了。
还有一些交互技术,比如语音、动作输入,这些都只适合做辅助交互技术。
谁将成为下一代交互技术
如果你认真看了前文,你应该知道我的答案——笔控。听起以来很让人泄气,一点都不科幻,不过它还有很大的潜力没有被挖掘。一场技术革命的发生,我认为需要具备3个条件:1.该技术已经成熟;2.对于旧的技术有压倒性的优势;3.能够解放人的想象力。第一个条件已经排除了大多数选项,只剩触控和笔控了。第二个条件的角度来说,手写笔最核心的优势就是高精度的控制,同样的操作只需要最小的控制,这个特性无论是对触控还是鼠标都是绝对优势。下面着重说说能手写笔能解放的想象力:
1. 在绘画方面自然不必多说,数位板已经广泛地应用在设计行业中。而普通用户用来涂鸦和记笔记也是很方便的。
2. 手写输入,手写输入还是没有键盘输入效率高,但是切换键盘和鼠标/笔是一件痛苦的事,对于输入较短的文字,手写不用切换,是很棒的选择。
3. 手势指令,现在很多浏览器都有手势功能,这是我最看好的一个特性,比如你在这种模式下,用手写笔画个x,窗口就关闭了,是不是很方便。相比于鼠标,使用手写笔完成这些手势轻松地多,因为上面说过,用手写笔可以完成很高精度的输入。通过预先约定一批手势,使之成为一套规范,可以取代很多日常操作。
4. 图案到实体的转换,比如我在ppt上画了一个饼图,通过智能识别能转换成一个标准的饼图。有人会问,不转化,就使用原始笔迹不好吗?通过格式化信息可以使信息便于管理和后续加工。这个实现起来有一定的技术难度。但有很多任务,比如在一个pdf上划重点,做些注释,就很容易实现了,把画的下划线转化成比直的实体下划线,把注释用手写识别技术识别成实体文字(手写输入本质也是一种图案到实体的转换),这样是不是很方便?
鹿死谁手
如果我的预测是对的,谁最有可能发起这场革命,眼下个人电脑的玩家就只剩苹果和微软了,谷歌的Chrome OS还在襁褓之中。从当前的产品来看,微软无疑是领先的,微软的Surface系列全线支持手写笔,而且笔扮演的角色正越来越重要,刚推出的Surface Studio一体机主打的也是手写笔,通过折叠完成鼠标模式和手写模式的切换。而苹果,只有在ipad这样的鸡肋上能够使用触控笔,Mac上还没有触控笔的影子。
然而历史告诉我们,微软很有可能倒在终点之前。曾经我认定触控将是手机的趋势,那时候市场上有两种主流的触控智能手机,一种是装载Windows Mobile的OEM手机,另一种是使用S90操作系统的爱立信手机,然而,后面的结果大家都知道,半路杀出个乔布斯,摘取了触控的果实。那时候的微软和爱立信也看似距离手机的触控革命很近了,但仅仅是看似,乔布斯在iPhone1的发布会上说过,iPhone的触控技术至少领先其他手机5年,虽有些夸张,但Windows Mobile和S90与触控革命之间确实还有很长的距离。
那么现在的微软要完成笔控革命还有多少路要走?
1. 把手写笔的体验做到极致,当前的笔控体验没有完全发挥触控笔的优势,由于笔在屏幕上直接操作,所以想要在屏幕上移动多少距离,手写笔也必须移动相同的距离,这就浪费了手写笔的精度优势,手写笔完全可以在比拇指略大的区域上控制整个屏幕,可以借鉴鼠标的模式,手视分离,把笔做成鼠标一样,或者说把鼠标做成像笔一样,这样,你就可以在方寸之间控制整个屏幕。这样做的另一个好处是屏幕就可以直立,既可以让脖子更加放松,又不用和键盘争抢位置。另一方面,绝对不能让用户感到延迟,这个对体验至关重要。
2. 重新做一个系统,Windows既是微软最大资本,也是微软最沉重的包袱。Windows 8企图将触控融入Windows,加入Metro模式,完全是生搬硬套,不伦不类,现在又企图让Windows转向手写。舍不得孩子套不着狼,想要颠覆就必须推倒重来。那么新的操作系统需要什么特性?
a)完全基于笔控的交互系统,可以参考上面说的“用触控笔解放想象力”。
b)提供笔控的各种API,比如手势操作的接口,图案转实体的接口,手写输入的接口等等。让第三方程序充分发挥笔控的想象力。
c)其他特性,iPhone的成功并不仅仅是交互体验的成功,它还依赖很多其它进步,比如应用市场,以及进程管理等等。所以既然重构了整个系统,那么这是一个更新技术的好契机。
3. 运营良好的开发者环境,微软对开发者的重视远不如苹果,Windows Phone的失败历历在目。要用技术前景鼓舞开发者,用自带应用引导开发者,让开发者一起发挥新技术的想象力。
其实,我并不指望微软,以微软的尿性,要完成上面的工作简直比登天还难。再把目光转向苹果,库克:不要看我。最大的可能是,微软以龟速在Windows上修修补补,慢慢地逼近笔控革命,或者笔控革命永远不会发生。然而我希望的是,一个新的面孔,在一个新的发布会上宣布:“我们的笔控技术领先其他电脑5年。”