资讯
展览资讯 大型展会 灯光节 大型盛典 赛事 中标捷报 产品快讯 热门话题 艺术节 活动 演出 新闻 数艺报道 俱乐部签约
观点
大咖专访 观点洞察 书籍推荐 吐槽 设计观点 企业访谈 问答 趋势创新 论文 职场方法 薪资报价 数艺专访
幕后
幕后故事 团队访谈 经验分享 解密 评测 数艺访谈
干货
设计方案 策划方案 素材资源 教程 文案资源 PPT下载 入门宝典 作品合集 产品手册 电子书 项目对接
  • 0
  • 0
  • 0

分享

将面部识别与摩斯电码结合,做做鬼脸就能打字

原创 2022-05-04

Esther|编辑

为了探索自然的人机交互方式,市面上出现了各种各样无需手柄、键鼠的方案,比如手势、注视点、脑机接口等等。一些AR/VR头显也在探索用眼球输入的方式,其原理是利用眼球控制虚拟光标,来选择屏幕上的字母。不过,眼球追踪对于检测角度、距离的要求比较高,而且光线暗的环境下运行效果不准确。尽管目前这些生物信号输入的效率比不过键盘鼠标,但人们依然希望有朝一日动动脑、眨眨眼就能打字聊天。

近期,一位叫Everything Is Hacked的博主设计了另一种有趣的人机交互方式,该方案名为CheekyKeys,功能是通过做鬼脸来输入文字,甚至可以用来敲代码。与脑机接口方案相比,做鬼脸打字成本更低,只需要利用移动设备的面部识别/追踪功能。而与手势识别方案相比,该方案可以解放双手,允许你一边用脸打字一边操作其他任务。

虽然听起来有点奇葩,但该方案的一些细节足够有创意,也许能为现有的人机接口技术带来启发。

研发背景

据了解,这位开发者实际上也是一名新晋奶爸,他有一天带孩子的时候发现,自己没办法一边哄孩子睡觉一边工作,因为抱孩子要用上双手,这样就没办法在电脑上编程了。作为一名程序员,他决定利用科技的手段解决这一问题。

起初,他尝试语音转文字,这个方法简单直接,但是在孩子睡觉的时候,没办法大声说话。于是,便开始尝试面部追踪的方式,将眨眼动作与字母建立联系,从而实现打字的目的。常规的键盘有很多按键,而眨眼动作却没有足够多的变化,因此他决定用摩斯电码来代表26个字母,如此一来便可以根据眨眼次数和时长来组合字母,实现文字输入。

我们知道,摩斯电码是一种早期的数字化通信形式,其特点是只使用0(点)和1(横)两种状态的二进制代码,通过不同的排列顺序可以组合成不同的英文字母、数字甚至标点符号。摩斯电码比起其他通信方式更加简单、隐秘,因此你们可能会在一些谍战、侦探、解谜影片中,看到有人用声音、光线来编辑摩斯电码。

为了将摩斯电码与字母匹配,Everything Is Hacked开发者为26个字母分别开发了巧妙的助记符,并训练算法学习字母、助记符、摩斯电码之间的关系。

不过他发现,这种方式虽然简单,但长时间眨眼的体验感不好。于是,决定利用嘴唇开合来代替眨眼。并且,还用上全脸动作来触发其他案件,比如通过闭眼来触发Shift或Command键,通过抬眉毛、噘嘴来移动鼠标/光标,用瞪眼、眯眼来控制放大和缩小。

特色与优势

这项设计的初衷是,希望在你不方便说语音或是用手打字时,可以直接做鬼脸来输入文字。这是一个基于摄像头的人机交互界面,它为多任务同时操作带来可能。比如可以一边哄婴儿睡觉,一边用表情在电脑上打字,或是在开车时用表情操控车上的信息娱乐系统。而对于双手能力不便的人来讲,CheekyKeys也是一种有价值的辅助工具。

利用摄像头新来来输入、操控界面的技术已经存在,史蒂芬金就利用眼球追踪技术来输入信息、控制屏幕上的光标。然而,利用眼球追踪来逐字输入非常耗时。开发者发现,如果将计算机视觉识别到的面部表情与摩斯电码结合,打字的速度可能会超过眼球输入。

另外与眼球输入相比,CheekyKeys的效率可以更高、成本更低,不仅支持26个字母输入,也可以通过特定的面部表情来输入Ctrl、Shift、空格等按键。原理是计算面部特定节点之间的相对距离,当距离到达一定阈值,便会触发对应的按键。空格键可以通过快速噘嘴来触发。

细节方面,训练CheekyKeys算法采用了计算机视觉库OpenCV,以及面部追踪工具包Dlib。为了提升面部追踪的准确性,开发者采用了谷歌的开源模型MediaPipe,比Dlib更细节、精准。MediaPipe可识别近500个3D面部节点,可更准确识别眉毛和嘴部的细微动作,触发上下左右功能。

有趣的是,为了验证CheekyKeys的效果,Everything Is Hacked尝试用表情来输入代码,测试自己能否完成求职面试的编程测试。经过二十多分钟挤眉弄眼,他完成了简单的一段代码,尽管面试结果不理想,但经验证他编写的代码可以跑通(笑哭)。

总之,尽管CheekyKeys更像是一个无厘头的小发明,但也许可以为未来的人机交互带来启发,当AR/VR头显开始支持高效的全脸面部识别,AR/VR社交将迎来更丰富的交互方式,比如做表情来打字,或是触发预设的对话文字等等。

参考:

https://gizmodo.com/cheekykeys-is-a-face-activated-keyboard-for-typing-in-s-1848782172

 
每天五分钟,轻松了解前沿科技。    
         —— 青亭网  
阅读原文

* 文章为作者独立观点,不代表数艺网立场转载须知

本文内容由数艺网收录采集自微信公众号青亭网 ,并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源:数艺网” 并附上本页链接: 如您不希望被数艺网所收录,感觉到侵犯到了您的权益,请及时告知数艺网,我们表示诚挚的歉意,并及时处理或删除。

数字媒体艺术 面部识别 摩斯电码 人机交互方式 AR/VR头显

11804 举报
  0
登录| 注册 后参与评论