教育装备采购网
第七届图书馆 校体购1

北航、清华女学霸研发手语翻译器

教育装备采购网 2017-05-09 09:37 围观655次

  

  王娜娜(左)和黄爽(右)

  演示者用手指向前方,又做出点赞的手势,“你好”的文字快速地反应在App“手音”的界面上。捕捉手部运动的肌电信号的是演示者手臂上的黑色臂环,看上去像跑步时用的护腕。

  “手音”是一款针对失语者的小众产品,预计今年5月下旬上线。普通人可能难以想象这款产品的意义所在——手语是失语者彼此沟通的桥梁,但对于普通人来说是比所有外语都难的语言,“手音”将做润物细无声的沟通桥梁。

  “手音”的创始人王娜娜和联合创始人黄爽原是北京航空航天大学2012级的学生,她们是同一个宿舍的闺蜜,两个充满活力的女生在2015年开始想为失语者做些什么。

  在一次活动上,王娜娜认识了北京联合大学特殊教育学院毕业的失语者张权,并成了好朋友。因为王娜娜不会手语,这两位现实中的朋友相处更像网友,即便见面也往往会求助微信沟通。

  回到宿舍,王娜娜把张权的故事告诉了黄爽。她们此后认识了更多的失语者,也愈发感到沟通的困难。“有时我觉得我说话是在‘伤害’他们,一聊得开心就在想是不是忽略他们了,甚至有些自责。”王娜娜说。

  两个善良的姑娘一直在想,张权是失语者中的幸运儿,不仅可以上学还有工作,更多的失语者因为沟通一直是社会的边缘人,她们假想:老板开会听不见,点外卖没办法和店家沟通,别人怎么能接纳他们?《新闻联播》有手语同步翻译,可其他直播节目如果没有字幕,失语者就永远无法享受它。

  上网一查,数字更让两人咋舌:失语者(包含听障人士、脑中风患者、脑瘫患者和渐冻症患者)在中国的数量达到7000万人,占总人口的5%,这是一个非常庞大的数字。

  两个人想起了参加“冯如杯”(冯如杯为北航校内学生学术科技作品竞赛)时的图像识别项目,当时这个项目获得了一等奖,或许可以用这种技术帮助失语者。王娜娜回忆:“我们感觉发现了一个没有人发现的需求,想成为第一个实现它的人,也让我们所学的知识有价值。”

  于是,她俩着手研究手语翻译的可行性,开始查论文、做实验、写代码,用冯如杯一等奖奖金5万元作为启动资金行动起来。图像识别被否决了,因为不能随时携带摄像头;手套被否决了,因为太引人注意,最终确定了通过臂环捕捉肌电信号的方法。因为智能手表逐渐普及,失语者带着臂环看上去并不突兀。

  产品一次次迭代,为的是要保护失语者的尊严。黄爽记得,她们做过“体验一天失语者”的活动。在便利店,因为结账时需要了解价格,失语者只能通过手机和店员沟通,时间稍长排在后面的人开始不耐烦地催促。“如果别人知道我是失语者可能会体谅,但不知道就会埋怨,越埋怨我越着急。”一些失语者不愿意别人称呼他们为“聋人”,自己会写成“龙人”。

  确定研发方向后,关键是不断地输入数据、调试数据以保证手语翻译的准确性。为了检验模型的可靠性,最初只有两个人在录手语的数据,整天戴着臂环不停地做动作,黄爽开玩笑说:“练下去咱俩就要成为‘麒麟臂’啦!”

  “当你真正去帮助他们,他们就知道是为他们好,就会非常配合。”王娜娜说,为了保证数据的多样化,并且真正让失语者喜欢,她们后来联系了天津理工大学聋人工学院,合作进行数据采集和智能臂闭环开发,还与北京市朝阳区残联达成合作意向,为“手音”的产品服务化提供咨询、指导。张权也成了团队的顾问。

  如今,“手音”涵盖了200个手语动作,为了保证精确度,每一个动作录制了1000人次。在有了自己的手势数据库之后,团队还搭建了一个7层BP神经网络(一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一)对数据速度进行训练,目前识别准确度已经达到95%。

  直到去年8月,团队里只有王娜娜和黄爽两个人,后来其他人逐渐加入。他们没有办公室,开会都是“打游击战”,咖啡厅、餐厅、教室都被征用过,做研发都是在自己的实验室里,但王娜娜说:“我们一天都没有想过放弃。”后来,团队内有人因出国而退出,王娜娜在北航保研继续深造,黄爽保研至清华大学。两个女学霸没有因升学而放弃团队,继续坚定地吸引人才研发产品。

  由女生主导的技术型创业团队很少见,两个人也经历了磨合。最初,黄爽遇到意见不同时会等着双方都冷静下来回宿舍再沟通。王娜娜告诉她,团队沟通对事不对人,要彼此敞开心扉,现在两个人可以为一件事辩论个“你死我活”,也能在达成一致意见后手挽手去吃吃喝喝。团队里还有其他技术人员,大家一起熬夜写代码的时候,两个女生也会偶尔化身为“程序员鼓励师”,一起为团队加油打气。

这两个分别出生于1994年、1995年的女生笑着说:“或许因为我们现在还没有走向社会,没有买房的苦恼和社会的压力,只是觉得我们所拥有的技术能够对社会有价值,能够真正帮助一些人,我们又有时间,那就做吧!”

她们关于未来有很多设想,“手音”可以实现面对面小聊和长时间对话的功能,未来还可以推出手语教学、手语字母和智能臂环闭环,解决手语教师缺乏等各种问题。此外,这种人工智能技术成熟后还可以应用在其他方面,例如可以教学钢琴的孩子更加准确地弹琴。

  在前不久百度与联合国开发计划署共同主办的“极·致未来”责任创新挑战赛上,“手音”团队获得了一等奖和最佳人气奖,被誉为最有“包容性”的项目。

来源:中国网 责任编辑:段河伟 我要投稿
校体购终极页

相关阅读

  • 北京航空航天大学加强材料类货物采购管理
    中国政府采购报04-26
    近日,北京航空航天大学发布了《关于材料类货物采购有关工作的通知》(以下简称《通知》),进一步规范了学校材料类货物的采购与管理,以防范审计风险,提升师生采购材料类货物的便捷度。《通知...
  • 清华体育场馆“上新” 北体育馆惊艳亮相
    清华大学03-21
    “无论四季,享受冰雪。”在清华大学112周年校庆之际,北体育馆的落成使得这个愿望不再遥远。清华大学北体育馆地下二层的冰上运动中心,可同时容纳160人参与多种类型冰上运动。即使在酷暑炎炎的...
  • 清华大学深入推进教师职称评聘改革
    教育部10-18
    清华大学认真学习贯彻习近平总书记关于教育的重要论述,落实党中央、国务院《关于全面深化新时代教师队伍建设改革的意见》《深化新时代教育评价改革总体方案》等部署要求,深入推进教师职称评价...
  • 清华大学2023级本科新生迎来第一堂体育课

    清华大学2023级本科新生迎来第一堂体育课
    清华大学09-20
    9月9日,清华大学2023级本科新生迎来第一堂体育课。约3500余名大一新生齐聚清华大学综合体育馆,共同聆听清华人的体育故事,了解清华体育的内容和要求...
  • 清华大学赛艇队在第六届沈阳赛艇公开赛中斩获1000米竞速赛亚军

    清华大学赛艇队在第六届沈阳赛艇公开赛中斩获1000米竞速赛亚军
    清华大学09-08
    9月1日,第六届沈阳赛艇公开赛在沈阳国际赛艇中心开幕。深圳国际研究生院学生代表清华大学赛艇队参加了大学组1000米竞速赛及长距离环岛两个项目。在10...
  • “研”途有你!清华大学2023级研究生新生入校报到

    “研”途有你!清华大学2023级研究生新生入校报到
    清华大学09-01
    荷芰绿参差,新秋水满池。初秋的清华园,暄气初消,桂花皎洁,田田荷叶映碧空。“你好,新同学!”9月1日,清华大学迎来2023级研究生新同学。一张张朝...
  • 清华大学2023级本科生新生开学典礼举行

    清华大学2023级本科生新生开学典礼举行
    清华大学08-31
    雨洗秋色翠,水木湛清华。8月24日上午9时,清华大学2023级本科生新生开学典礼举行。校领导邱勇、王希勤、杨斌、过勇、郑力、向波涛、赵罡、曾嵘、姜培...
  • 大运会中国女排夺冠,北航健儿为国争光

    大运会中国女排夺冠,北航健儿为国争光
    北京航空航天大学08-21
    8月6日晚,在成都大运会女子排球决赛中,中国大学生体育代表团以3:0战胜日本获得金牌,成功折桂。这也是中国女排在大运会上第七次夺冠。女排队伍中,身...

版权与免责声明:

① 凡本网注明"来源:教育装备采购网"的所有作品,版权均属于教育装备采购网,未经本网授权不得转载、摘编或利用其它方式使用。已获本网授权的作品,应在授权范围内使用,并注明"来源:教育装备采购网"。违者本网将追究相关法律责任。

② 本网凡注明"来源:XXX(非本网)"的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,且不承担此类作品侵权行为的直接责任及连带责任。如其他媒体、网站或个人从本网下载使用,必须保留本网注明的"稿件来源",并自负版权等法律责任。

③ 如涉及作品内容、版权等问题,请在作品发表之日起两周内与本网联系,否则视为放弃相关权利。

校体购产品