人工智能可以帮助聋哑人学习手语
众所周知手语很难学习,而且更难进行教学。
手语沟通不仅使用手势、口腔,而且使用面部表情和身体姿势来传达含义更重要,
https://encrypted-tbn0.gstatic.com/images?q=tbn:ANd9GcR9gGaEKjoxMqZ7QaudLSntw8n-QZ9ncqBLSA&usqp=CAU
这复杂性意味着专业手语教学仍然很少而且很贵。可在人工智能帮助下,这一切都可能很快改变,目前萨里大学计算机视觉研究团队研发出一款以自动、直观方式教手语软件。目前该软件可以分析德语手语进行教学,提供有关如何改善手型、动作、位置、时间等详细信息。未来我们可以运用人工智能考虑创建支持世界各地话语的手语学习软件,支持更多复杂语法等。
人工智能用于绩效评估所有阶段。首先,卷积神经网络从视频中提取有关你上半身姿势信息。卷积神经网络是一基于大脑视觉皮层处理松散的人工智能。然后,你骨架姿势信息和原始视频将被发送到手形分析器,其中另一个卷积神经网络查看视频,在视频中的每个点处拉出手形信息。
https://encrypted-tbn0.gstatic.com/images?q=tbn:ANd9GcQslV_IKxxxFaiIirZPeQbE-3vaHAUyCayPEA&usqp=CAU
然后将骨骼信息和手形状发送到手动分析仪,该分析仪使用隐马尔可夫模型。这类型的人工智能允许我们随着时间推移对骨架和手型信息进行建模。然后,它将它所看到的内容与示意该符号的完美版本的参考模型进行对照,得出其匹配程度得分。 然后对手形分析仪和手动分析仪的结果进行评分,作为反馈呈现给你。
因此,所有人工智能都隐藏在易用界面背后,让你专注于学习。我们希望自动个人反馈能让学生更多地参与学习签名过程。
人工智能带到教室
到目前为止,该软件仅适用于德语手语。可研究说明,不需要改变系统架构来处理其他语言,系统只需要更多的其他语言的录影作为数据来训练即可。研究团队想让我们使用人工智能用已知的知识来帮助人们学习新语言,同时团队还想看到如何在使用手语的同时,增加其他方面功能。
目前该软件在教室中工作得最好,可软件如果能兼容视频画面背景的更多变化将更加强大。研发团队正在评估软件将和许多流行的应用程序一样,让你在没有专家老师帮助的情况下在任何地方学习手语,随着此类技术发展,很快将有可能使每个人都能快乐地学习手语。
(感谢青竹云在腾讯云传播此信息,若有侵权请告知)
No comments:
Post a Comment