便携的手语翻译器

“我们正在为手语翻译提供解决方案，”密歇根州立大学电气与计算机工程助理教授Mi Zhang说。

“听力障碍者可以随时随地拥有个性化的翻译，与不懂手语的人进行交流。”

成千上万的听力障碍人士依靠手语（ASL）进行交流。张说，如果没有翻译，他们就没有相同的就业机会，而且在敏感的情况下往往处于不利地位。

“想想如果你在医院需要与医生沟通。你必须等待别人的翻译，或依靠家庭成员的翻译，这将会损害你的隐私，并有可能让病情变得更加紧急。这只是一个证明手语翻译技术迫切需要的例子。“张说。

The Deep ASL camera. (Credit: Michigan State U.)  

张和他的同事们看到了一个帮助听障人群突破这种沟通障碍的机会。

张的技术称为Deep ASL，它基于受大脑算法结构和功能启发的数据进行深度学习或机器学习，自动将手语转换为英语。该技术采用Leap Motion开发的三英寸感应设备，配备摄像头，可连续捕捉手部和手指的运动。

“Leap Motion将一个人的手和手指的动作转换成骨架般的关节。深度学习算法从类骨骼关节中获取数据并将其与ASL的符号相匹配，“博士生Biyi Fang说。

与在iPhone上设置Siri类似，用户手语的某些单词去链接技术和传感器。他们还可以为他们的名字或非字典单词创建自定义手语，并且可以更轻松，更舒适地进行沟通。

“DeepASL的一个与众不同之处在于，它可以翻译完整的句子而无需用户在每次手语后暂停。其他的翻译器需要逐字逐句，要求用户在标志之间暂停，这种限制拖延了面对面的对话，使对话变得困难和尴尬。“Fang说。

“我们的技术也是非侵入性的，不像其他翻译技术要求手语者戴手套，让他们感到被边缘化。”

除了帮助与他人进行听力障碍沟通的能力之外，DeepASL还可以通过提供有关手语的实时反馈来帮助ASL虚拟学习。

“大约90％的聋儿出生于听力正常的父母。这些父母正在学习用手语与孩子交流但通常没有时间参加现场课程，“张说。“我们的技术可以衡量他们的手语，以帮助他们学习和提高。”

虽然该技术将手语转换为口头对话，但张说，现有的成功的语音识别技术可以帮助对话的另一方，与听力障碍者进行对话。

研究人员说，该技术的下一步是商业化，使成千上万需要更容易接近的翻译的人可以使用。Leap Motion的零售价约为78美元。研究人员还计划使该技术与iPhone兼容，并计划教它不同的手语。