复旦团队助力视障者“听见世界”!
周到上海
2024-03-06 15:08:15

原标题:复旦团队助力视障者“听见世界”!

一枚摄像头、一对耳机,便能将画面转化成语言,描绘场景、提示风险,视障者出行生活更加安全、便捷。

日前,在复旦大学自然语言处理实验室(FudanNLP)师生的努力下,基于多模态大模型“复旦·眸思”(MouSi)为视障者量身打造的“听见世界”APP上线。

我国盲人数量有1700多万,但为什么我们极少在街上看到盲人?这是因为他们难以独自跨出家门。“听见世界”APP将成为视障人士的生活助手与智能管家。

“复旦·眸思”(MouSi)官网链接:http://www.mousi.org/,可登录试用体验,打破视觉界限,助力视障者“看见”世界。

“听见世界”APP针对视障者日常的生活需求,设计了三种模式。街道行走模式,它将细致扫描道路情况,告知红绿灯、十字路口、障碍物……提示潜在风险,陪伴视障者安全通行。

自由问答模式。走进博物馆、艺术馆、公园……它能捕捉四周景象的每个细节,用声音构建一个丰富的生活场景。

寻物模式。它像一名可靠的管家,日常物件的寻觅过程变得轻松无压力。

复旦大学自然语言实验室张奇教授表示,“希望‘眸思’能够帮助视障人士走出家门,让他们可以尝试更多工作,为人生书写更多可能。”

据悉,这一项目落地背后,是一支年轻团队的努力。从本科生到博士生共25名复旦学子,以及桂韬等多位教师、专家的加入,才有了如今的成果。

今年上半年,团队将结合AR升级APP内的定位精度细化至亚米级别。下半年,团队希望将“眸思”升级到基于视频的判断。同时,更多模式也正在开发中,比如阅读模式、解说模式等。

据了解,在政府的支持下,团队还计划与NGO组织、智算中心和硬件厂商等开展合作,力争让视障者免费使用产品和相关服务。预计今年3月,“听见世界”APP将完成第一轮测试,并在我国一、二线城市和地区同步开启试点。

来源:上海杨浦

相关内容

热门资讯

“机器人版滴滴”来了!智元机器... 在科技创新的策源地上海张江科学城,人形机器人正加速走出实验室,加速“飞入”千行百业。12月22日,全...
鸿蒙公开课华东师大开讲 华为联... 鸿蒙公开课又“开课”了。 12月19日,华为终端BG软件部总裁龚体以“创新引领未来•共建鸿蒙世界”为...
曝钉钉启动“D计划”拟推AI硬... DoNews12月22日消息,据财联社报道,近日,阿里巴巴旗下智能办公平台钉钉的一则重磅消息在业界迅...
嘉必优六周年:一家生物制造“隐... 时间拨回至2019年12月19日,嘉必优作为中国食品生物科技领域首家登陆科创板的企业,在资本市场的聚...
中国首个机器人租赁平台在上海发... 中新社上海12月22日电 (记者 李姝徵)12月22日,中国首个开放式机器人租赁平台——擎天租在上海...