向善而生的AI助盲,让AI多一点,障碍少一点******
有人说,盲人与世界之间,相差的只是一个黎明。在浪潮信息研发人员的心中,失去视力的盲人不会陷入永夜,科技的进步正在力图给每一个人以光明未来。
AI助盲在人工智能赛道上一直是最热门的话题之一。以前,让失明者重见光明依靠的是医学的进步或“奇迹”。而随着以“机器视觉+自然语言理解”为代表的多模态智能技术的爆发式突破,更多的失明者正在借助AI提供的感知、理解与交互能力,以另一种方式重新“看见世界”。
新契机:多模态算法或将造福数以亿计失明者
科学实验表明,在人类获取的外界信息中,来自视觉的占比高达70%~80%,因此基于AI构建机器视觉系统,帮助视障患者拥有对外界环境的视觉感知与视觉理解能力,无疑是最直接有效的解决方案。
一个优秀的AI助盲技术,需要通过智能传感、智能用户意图推理和智能信息呈现的系统化发展,才能构建信息无障碍的交互界面。仅仅依靠“一枝独秀”超越人类水平的单模态人工智能比如计算机视觉技术还远远不够,以“机器视觉+自然语言理解”为代表的多模态算法的突破才是正确的新方向和新契机。
多个模态的交互可以提升AI的感知、理解与交互能力,也为AI理解并帮助残障人士带来了更多可能。浪潮信息研发人员介绍说,多模态算法在AI助盲领域的应用一旦成熟,将能够造福数以亿计的失明者。据世卫组织统计,全球至少22亿人视力受损或失明,而我国是世界上盲人最多的国家,占世界盲人总数的18%-20%,每年新增的盲人数量甚至高达45万。
大挑战:如何看到盲人“眼中”的千人千面
AI助盲看似简单,但多模态算法依然面临重大挑战。
多模态智能算法,营造的是沉浸式人机交互体验。在该领域,盲人视觉问答任务成为学术界研究AI助盲的起点和核心研究方向之一,这项研究已经吸引了全球数以万计的视障患者参与,这些患者们上传自己拍摄的图像数据和相匹配的文本问题,形成了最真实的模型训练数据集。
但是在现有技术条件下,盲人视觉问答任务的精度提升面临巨大挑战:一方面是盲人上传的问题类型很复杂,比如说分辨冰箱里的肉类、咨询药品的服用说明、挑选独特颜色的衬衣、介绍书籍内容等等。
另一方面,由于盲人的特殊性,很难提取面前物体的有效特征。比如盲人在拍照时,经常会产生虚焦的情况,可能上传的照片是模糊的或者没有拍全,或者没拍到关键信息,这就给AI推理增加了难度。
为推动相关研究,来自卡内基梅隆大学等机构的学者们共同构建了一个盲人视觉数据库“VizWiz”,并发起全球多模态视觉问答挑战赛。挑战赛是给定一张盲人拍摄的图片和问题,然后要求给出相应的答案,解决盲人的求助。
另外,盲人的视觉问答还会遭遇到噪声干扰的衍生问题。比如说,盲人逛超市,由于商品外观触感相似,很容易犯错,他可能会拿起一瓶醋却询问酱油的成分表,拿起酸奶却询问牛奶的保质期等等。这种噪声干扰往往会导致现有AI模型失效,没法给出有效信息。
最后,针对不同盲人患者的个性化交互服务以及算法自有的反馈闭环机制,同样也是现阶段的研发难点。
多解法:浪潮信息AI助盲靶向消灭痛点
AI助盲哪怕形式百变,无一例外都是消灭痛点,逐光而行。浪潮信息多模态算法研发团队正在推动多个领域的AI助盲研究,只为帮助盲人“看”到愈发精彩的世界。
在VizWiz官网上公布的2万份求助中,盲人最多的提问就是想知道他们面前的是什么东西,很多情况下这些物品没法靠触觉或嗅觉来做出判断,例如 “这本书书名是什么?”为此研发团队在双流多模态锚点对齐模型的基础上,提出了自监督旋转多模态模型,通过自动修正图像角度及字符语义增强,结合光学字符检测识别技术解决“是什么”的问题。
盲人所拍摄图片模糊、有效信息少?研发团队提出了答案驱动视觉定位与大模型图文匹配结合的算法,并提出多阶段交叉训练策略,具备更充分的常识能力,低质量图像、残缺的信息,依然能够精准的解答用户的求助。
目前浪潮信息研发团队在盲人视觉问答任务VizWiz-VQA上算法精度已领先人类表现9.5个百分点,在AI助盲领域斩获世界冠军两项、亚军两项。
真实场景中的盲人在口述时往往会有口误、歧义、修辞等噪声。为此,研发团队首次提出视觉定位文本去噪推理任务FREC,FREC提供3万图片和超过25万的文本标注,囊括了口误、歧义、主观偏差等多种噪声,还提供噪声纠错、含噪证据等可解释标签。同时,该团队还构建了首个可解释去噪视觉定位模型FCTR,噪声文本描述条件下精度较传统模型提升11个百分点。上述研究成果已发表于ACM Multimedia 2022会议,该会议为国际多媒体领域最顶级会议、也是该领域唯一CCF推荐A类国际会议。
在智能交互研究方面上,浪潮信息研发团队构建了可解释智能体视觉交互问答任务AI-VQA,同时给出首个智能体交互行为理解算法模型ARE。该研究成果已发表于ACM Multimedia 2022会议。该研究项目的底层技术未来可广泛应用于AI医疗诊断、故事续写、剧情推理、危情告警、智能政务等多模态交互推理场景。
眼球虽然对温度并不敏感,但浪潮信息的研发团队,却在努力让盲人能“看”到科技的温度,也希望吸引更多人一起推动人工智能技术在AI助盲、AI反诈、AI诊疗、AI灾情预警等更多场景中的落地。有AI无碍,跨越山海。科技的伟大之处不仅仅在于改变世界,更重要的是如何造福人类,让更多的不可能变成可能。当科技成为人的延伸,当AI充满人性光辉,我们终将在瞬息万变的科技浪潮中感受到更加细腻温柔的善意,见证着更加光明宏大的远方。
温暖心语,中国军人向您诉说******
青春的礼物
一支签字笔,共同书写未来
春节前,陆军少尉孙顾峰接到母亲的视频电话:“年前大扫除,我特意把你最喜欢的这支笔也擦干净放好了。”镜头从母亲脸上一晃而过,最终定格在书桌一角。
画面中,一支黑色签字笔静静躺在桌角。它的笔夹已经遗失,透明的笔身布满岁月的痕迹。
这是一支常见的签字笔,也是孙顾峰最熟悉的一支签字笔。握着这支笔,孙顾峰曾经一笔一画写下入党申请书,也曾龙飞凤舞地在新教材上签下自己的名字。
打完电话,孙顾峰的思绪飞回到几年前的那个春节……
深夜营院,灯光穿过窗棂,将“福”字的影子打在路旁积雪上。东部战区陆军某旅一个连队学习室里,趴在书桌上的孙顾峰裹紧军大衣,打了个寒战。学习室的空调不太给力,孙顾峰的手冻得有点僵硬,手中的笔出墨也断断续续。
春节的热闹,似乎与孙顾峰无关。眼看着军队院校招收士兵学员统一考试的日子越来越近,他将全部业余时间投入到复习中。
翻过一页卷子,孙顾峰突然感觉眼前的灯光暗了下来。他一抬头,见班长王鸿运站在他身边,仿佛已经站了许久。
“小孙,送你一支笔!这支笔是我的‘幸运笔’,每次考试我都用它。祝你顺利考上军校!”班长拉开大衣拉链,从迷彩服上衣兜里掏出一支黑色签字笔,笑呵呵地递给孙顾峰说,“写得顺畅,复习的心情也会好一些。”
攥住这支带着班长体温的签字笔,孙顾峰心里暖暖的。他小心翼翼地将笔放进笔袋最前面的夹层里。从此,无论是野外驻训还是参加演习,孙顾峰一直随身携带着这支笔。
带着班长的祝福,那年,孙顾峰成为连队近年来第一位考上军校的士兵。
军校的日子过得飞快。在这支签字笔的陪伴下,孙顾峰开启了新的军旅时光。
对孙顾峰来说,这份来自班长的礼物,不仅是一支“幸运笔”,还是一份最难忘却的温暖。
时间流逝,这支笔划痕越来越多,笔帽由于频繁开合也变得松弛。后来,孙顾峰把它带回家,珍藏起来。
军校毕业后,孙顾峰回到老连队任排长。那天傍晚,他突然看到一个熟悉的身影。“班长!”孙顾峰大喊一声。王鸿运闻声跑过来,一把抱住了他。
能回到老连队,与老班长再次相遇,孙顾峰喜出望外。不同的是,他从过去的“跟跑者”,变成了如今的“领跑者”。
连队春节联欢会上,王鸿运收到了一份特殊的礼物——孙顾峰送给他的一支笔。
王鸿运知道,孙顾峰是想对他说:未来的日子,我们共同书写。
陪伴的礼物
第8架航模,祝你高飞远航
夜晚,仰望天空,伴随着越来越大的轰鸣声,一个红色的亮点越来越近。空旷的跑道旁,整齐排列的跑道灯指向家的方向。
舱门打开,西部战区空军某雷达旅二级军士长胡勇华,随着归家的人流涌了出来。
鞭炮声中,胡勇华越走越快,身后拖着的行李简直要飞了起来。走到家门前,他停下脚步,捋了一把头发,然后才轻轻敲门。
“爸爸!”只听屋内传来亲切的喊声,儿子跑了过来打开门。
“爸爸!飞机!”儿子扑上来,伸出小手。胡勇华笑呵呵地一把将儿子抱起来问:“什么飞机呀?”
“战斗机!”儿子兴奋地回答。胡勇华忙从背包里掏出一个航模盒子,递给儿子。
这是一架歼-20战机的精致模型,也是胡勇华送给儿子的新春礼物。
儿子对飞机的兴趣,始于两岁那年。
那次,胡勇华休假即将结束,带着妻儿一起乘车返回部队。半路上,一架飞机从他们头顶掠过。妻子告诉儿子,这就是飞机。
儿子把小脸贴在车窗玻璃上,眼睛一眨不眨紧盯着那架飞机,直到飞机消失在天际。
那时,胡勇华的单位驻扎在戈壁滩,周围人烟稀少,家属房里只住了他们一家人。因为没有玩伴,儿子每天的乐趣就是出门看飞机。
戈壁滩的天空,格外晴朗,每天都有飞机从头顶飞过。飞机长长的尾迹划过半个天空,吸引着孩子的目光。
看着儿子孤单的身影,胡勇华有些心酸。只要一有空,胡勇华都会抱着儿子坐在门前,给他讲飞机的故事。
后来,儿子跟着妻子回了老家。胡勇华只有休假时才能回去陪伴家人。妻子常常会抱着儿子迎接他归来。不知从什么时候起,在儿子心中,“父亲”与“飞机”紧密相连。
“爸爸是专门‘看’飞机的雷达兵。”胡勇华这样告诉儿子。上机值班时,他紧盯雷达显示屏,屏幕上的飞机航迹好似一个米粒状的绿色小线条。每天,都有许多小线条从屏幕的一边移动到另一边。偶尔,不同的小线条会短暂地交错,然后飞往各自的方向。
空军官兵对飞机总有一种莫名的情愫。儿子是在部队医院出生的“蓝天娃”。每当听到儿子说长大后要开飞机,胡勇华总是很欣慰。
这些年,胡勇华回家过年的次数并不多。每次回家探亲,他总会给儿子带回一架航模作礼物。这架歼-20航模,是他送给儿子的第8个航模。
看着儿子捧着歼-20航模爱不释手,胡勇华盼望,未来有一天,儿子能实现理想,驾驶最先进的战机高飞远航,和自己一起守护祖国的蓝天。
成长的礼物
三十八封信,祝福送给你
装好第38个信封时,已是凌晨。武警少尉李佳泽翻开笔记本,在最后一名新兵的名字后面做上标记。
今年春节,武警第二机动总队某支队排长李佳泽,要为自己带过的38名新战友每人写一封信,作为新春礼物。
去年秋天,李佳泽开始带新兵。他特地请教了一名经验丰富的老班长,该如何带好兵。老班长送给李佳泽两个字:用心。
几个月下来,李佳泽对“用心”二字有了深刻体会。“我发现,很多在我看起来毫不起眼的小事,对新兵们来说,却是天大的事。”他说。
一个周末,李佳泽发现有名新兵满脸焦躁。原来,这名新兵的迷彩服晾干后找不到了。李佳泽一边安慰他,一边帮他到处寻找。
晚上查铺查哨,李佳泽一个班一个班地询问这件作训服的下落。排里没找到,他又去别的排找。直到问遍了整栋楼的人,这件遗失的迷彩服才找到。看到这名新兵终于露出笑容,满头大汗的李佳泽觉得再累也值。
信任,便由这些小事一点点累积而来。后来,排里的新战友们渐渐对这名年轻的排长敞开了心扉。他们愿意对排长讲自己的故事,与排长分享自己的小秘密。“我和新兵们应该是双向奔赴的关系。我把他们放心上,他们才会信任我。”李佳泽说。
新兵大队组织第二次射击考核,新兵们成绩不理想,一个个垂头丧气。大队长发了火,还点名批评了李佳泽。总结射击体会时,不少新兵写道:就算是为了让排长不再被批评,我也要好好训练。
不久后,新兵大队组织第三次射击考核,李佳泽带领新兵们打出了优异的成绩,得到了大队长的表扬。当时,李佳泽觉得特别有成就感。
新训结束,李佳泽带的新兵们军政素质都有了显著提高。“或许,未来我还能带出更好的兵。不过,就像新老师带新学生,老师总会觉得自己带出的第一届学生最难忘。”李佳泽说。
“亲爱的邓瑞辉”“亲爱的侯静”“亲爱的翁泳淋”……提起笔,无数回忆从李佳泽的笔尖流淌而出。
“每个人都是一个独特的个体。许多看似平凡的人,其实内心蕴藏着强大的能量,只是暂时没有爆发出来而已。”这几个月,李佳泽和新兵们都收获了成长。
在一封封亲手写就的信里,李佳泽将最美好的祝福,送给这群最亲爱的人。
抽屉里,38个红色信封叠在一起。李佳泽期待着,战友们展开信纸那一刻绽放的笑容。
迟到的礼物
一块戍边石,祖国请放心
新春佳节,新疆军区梧桐沟边防连官兵围坐在一起,举杯同庆。节日聚餐的饭菜非常丰盛,可列兵王龙匆匆吃了几口,便回到宿舍。
王龙从抽屉里取出那张还未写完的信,提笔继续往下写。写着写着,一颗硕大的泪珠滚落下来,打湿了信纸。
“爸爸,我真的很想您。您离开我已经294天了。如果您能看到儿子穿上军装,一定会很开心吧……”
294天以前,王龙从未想过,有一天自己会穿上军装,站在祖国边防线上。
王龙的父亲,曾是一名边防军人。退役后,老兵时时梦回军营。老兵穿过的绿军装,至今仍整齐地挂在衣柜里;家中橱窗里,摆放着他从界碑前捡回的戍边石。老兵特别希望儿子继承他的志向,也穿上这身军装。
过多的期盼,反倒造成王龙的逆反心理。后来,王龙考上了大学。那年寒假,父亲又一次建议他入伍。王龙激动之下和父亲大吵一架,转身离去。
父子俩都没有想到,这竟成了他们最后一次争执。
一场突如其来的车祸,带走了父亲。那个会背着儿子看海、帮儿子收拾行李、一遍遍劝儿子从军的父亲,永远从王龙的生命中消失了。
那段时间,王龙甚至不敢回家,生怕一进门就看到橱窗里的戍边石和衣柜里的绿军装。
又一年征兵季。站在校园里贴出的征兵海报前,王龙与海报上的军人对视了许久。那名军人明亮而坚定的眼神,竟和记忆中父亲的眼神如此相像!再次与海报上那双眼睛对视,王龙觉得热血沸腾。参军离开家的前一天,王龙将大红花放在父亲的墓碑前,郑重地敬了一个军礼。
王龙入伍后,也来到边防。不久前,他完成了军旅生涯中第一次巡逻。
雪后的山风,透着刺骨的寒意。王龙跟在班长身后,爬雪山、过冰河,始终没有掉队。艰难跋涉几个小时后,他们终于站到了界碑前。
蔚蓝的天空下,界碑上“中国”二字红得那么耀眼。王龙和战友展开鲜艳的五星红旗,用尽全身力气喊出:“边防有我在,祖国请放心!”
那一刻,王龙敬礼的右手不自觉地颤抖。那一刻,他突然与父亲心意相通。返回连队前,他从界碑前捡起一块戍边石,放进背囊。
王龙准备等休假回家时,把这块石头放到父亲墓碑前。“这件礼物,父亲一定会喜欢。”他说。
(解放军报 记者 贺逸舒 采访得到王梦缘、于若恒、盛洋迪、李小龙大力支持,特此致谢)
(文图:赵筱尘 巫邓炎)