“今天这节课是关于认知运算及其影响的……”老师开始碎碎念了。更糟糕的是,学生们和老师甚至不在同一间教室。这就是眼下流行的所谓远程视频会议风格的高等教育模式。
没有了老师来掌控全局以及附和回应,我们很难确定哪些信息在学生中能引发共鸣、哪些信息会让他们觉得无聊透顶。大多数时候,学生们都在大课室里,盯着屏幕上的老师做演示。并且,老师不能放大缩小屏幕,也无法控制自己要看哪个学生。同样的情况也发生在参与远程教学的学生们身上。
为了解决这个难题,IBM的研究者Akihiro Kosugi提出了一个认知性用户界面的概念,它可以装进一个连接学生和老师的电脑中,用作一个观察窗口。老师可以通过这个界面在教室内自如地移动一架摄像机,这样就能与学生们更好地互动。
后来,Akihiro和IBM的实习生Shogo Nishiguchi 想到了在学生之间设立一个自动的虚拟助手,他们可以通过流体交互作用进行交流;而老师那边,可以配置一个远程监控特工,它可以和老师、学生们一起上课。这个机器人叫做Mocoro,它可以通过简单的面部表情,包括疑惑,无聊和其他肢体语言来表达情绪。为了让课堂秩序更好,Mocoro一般不会打断别人的对话。相反,老师要注意到Mocoro的表情(比如面色突然黯淡、变得很低落),然后发问:“怎么了?”然后,Mocoro可能会答道:“不好意思,我不太明白你刚刚说了什么。可以麻烦您重复一遍吗?”这样的互动就比较像正常的课堂讨论了。
Shogo一开始给这个机器人起名为“能调节谈话的机器人”。但是为了方便广大师生记忆,他用每个单词的前两个字母来命名,这就是Mocoro的由来。Mocoro是一个被安置在小型显示器上的虚拟化身,它被放进一个手工制作的木钟里——很适合放在桌上。
作为机器人中的一代天骄,Mocoro用“从语音到文字”、“从文字到语音”、形态分析、理解对话等功能去理解人们之间的对话。
Q: 是什么促使你开始了远程监控特工的研究?
Shogo Nishiguchi (SN): 在IBM的东京分公司有个可行性研究团队,它和东京大学有一项叫高级云计划的合作项目,其中包括让老年人共享知识和技能的远程课堂计划,他们在自己家里教课,学生们在课堂上学习。然后我想打造一个直观的能提高远程交流度、能打破纯演示模式的界面。人们需要一个能够传递非口头信息的更好的界面。这就是促使我打造Mocoro的原因。
Q: 为什么Mocoro是一个放在桌上的机器人,而不是一个像其它智能穿戴设备那样的嵌入式装备?
Akihiro Kosugi (AK): 可以带来更多交互体验的虚拟现实装备正呈现井喷式增长,但它需要人们一直戴着。我们不能强求我们的研究对象——老年教师们,在教学过程中一直佩戴虚拟设备。你可以想象戴着那些设备整整一小时甚至更长时间吗?我们想把Mocoro做成一个实体,人们不需要佩戴它,这样反而更实用。
Q:Mocoro怎么知道应该在什么时候提供视觉辅助?
SN: Mocoro能利用IBM Bluemix研发的从语音到文字的应用程序编程接口抓住对话中的主要内容。它能计算出在特定时段内有关联的关键词的数量,比如名词和补白等等。这样的话,它就能估算出这段语音的语速和流畅程度。如果这个数字超过了阀值——比如有个人说话太快,它就会渐渐地看起来很低落,然后给教授摆一个大写的忧伤脸。
我们把Mocoro打造得彬彬有礼。它不会打断别人的对话,除非是有人问问题,不然它是不会说话的。比如,Mocoro的脸色变得黯淡并露出忧伤的神情,在学生或是老师询问之前,它们是不会回答。
Q: 师生们如何与Mocoro互动?
SN:我们马上就要开始一项交互的新实验。我希望Mocoro可以变成师生之间互动的一个自然而然的环节。把Mocoro放在他们视线所及的地方,Mocoro不但不会扰乱课堂秩序,反而能安抚老师,让他感到自己似乎和学生们处在一个房间。
比如,我希望老师们能自觉地意识到,学生们很可能听不懂他们授课的某部分内容。Mocoro在课堂上露出的困惑表情识别度很高。我还希望Mocoro能够让学生明白他们并不是课堂上唯一一个听不懂的人,从而让他们更安心地提问。
Q: Mocoro的摄像机可以做什么?
SN:Mocoro是个全自动的机器人,它不需要人为操控,也能自如行动、完成对话。另外,它还转换成手动电控模式。当Mocoro处于全自动模式的时候,它头上的摄影机会自动捕捉到人们在观察什么,然后Mocoro还会把脸移向那个位置。当Mocoro转换成手动模式后,摄影机可以记录远程地点,并把视频影像实时传输到老师的屏幕上。
Q:你之前提到了“Waston语音到文字”功能,除了这个,Mocoro还用了什么技术呢?
SN: 除了Akihiro的木工技能,我还运用了形态分析去捕捉对话中的话题转换,并在云端把它们标注出来。另外,我还用了“Waston语音到文字”功能,Web实时传播,以及一个为了实现Mocoro交谈功能的对话脚本。
Q:这个研究的一部分功劳属于创新研究和战略发展项目下的日本科学技术机构。在资助终止之前,你想要取得什么成就?
AK: 这个项目一部分是与东京大学的高级云计划合作的结果。它的目的在于提高老年人的社会活动参与度,包括通过课程和其他媒体平台帮助他们分享经验、知识和技能。
在一系列实验研究中,我参与的一项遥控和远程监控的研究可以降低电池消耗,优化来自不同背景的人们的远程交流体验。我们的目的是不管存在任何时间、地点或是其他实践上的难点,这个研究成果都能让每个人在这个平台上开展高效的合作。
Q:这项研究以及Mocoro的下一步计划是什么?
AK:我想让人们体验远程和实时交流,比如认知性辅助和高效具象化功能。我想走得更远,因为我想继续研究人机交互。