向善而生的AI助盲,让AI多一点,障碍少一点******
有人说,盲人与世界之间,相差的只是一个黎明。在浪潮信息研发人员的心中,失去视力的盲人不会陷入永夜,科技的进步正在力图给每一个人以光明未来。
AI助盲在人工智能赛道上一直是最热门的话题之一。以前,让失明者重见光明依靠的是医学的进步或“奇迹”。而随着以“机器视觉+自然语言理解”为代表的多模态智能技术的爆发式突破,更多的失明者正在借助AI提供的感知、理解与交互能力,以另一种方式重新“看见世界”。
新契机:多模态算法或将造福数以亿计失明者
科学实验表明,在人类获取的外界信息中,来自视觉的占比高达70%~80%,因此基于AI构建机器视觉系统,帮助视障患者拥有对外界环境的视觉感知与视觉理解能力,无疑是最直接有效的解决方案。
一个优秀的AI助盲技术,需要通过智能传感、智能用户意图推理和智能信息呈现的系统化发展,才能构建信息无障碍的交互界面。仅仅依靠“一枝独秀”超越人类水平的单模态人工智能比如计算机视觉技术还远远不够,以“机器视觉+自然语言理解”为代表的多模态算法的突破才是正确的新方向和新契机。
多个模态的交互可以提升AI的感知、理解与交互能力,也为AI理解并帮助残障人士带来了更多可能。浪潮信息研发人员介绍说,多模态算法在AI助盲领域的应用一旦成熟,将能够造福数以亿计的失明者。据世卫组织统计,全球至少22亿人视力受损或失明,而我国是世界上盲人最多的国家,占世界盲人总数的18%-20%,每年新增的盲人数量甚至高达45万。
大挑战:如何看到盲人“眼中”的千人千面
AI助盲看似简单,但多模态算法依然面临重大挑战。
多模态智能算法,营造的是沉浸式人机交互体验。在该领域,盲人视觉问答任务成为学术界研究AI助盲的起点和核心研究方向之一,这项研究已经吸引了全球数以万计的视障患者参与,这些患者们上传自己拍摄的图像数据和相匹配的文本问题,形成了最真实的模型训练数据集。
但是在现有技术条件下,盲人视觉问答任务的精度提升面临巨大挑战:一方面是盲人上传的问题类型很复杂,比如说分辨冰箱里的肉类、咨询药品的服用说明、挑选独特颜色的衬衣、介绍书籍内容等等。
另一方面,由于盲人的特殊性,很难提取面前物体的有效特征。比如盲人在拍照时,经常会产生虚焦的情况,可能上传的照片是模糊的或者没有拍全,或者没拍到关键信息,这就给AI推理增加了难度。
为推动相关研究,来自卡内基梅隆大学等机构的学者们共同构建了一个盲人视觉数据库“VizWiz”,并发起全球多模态视觉问答挑战赛。挑战赛是给定一张盲人拍摄的图片和问题,然后要求给出相应的答案,解决盲人的求助。
另外,盲人的视觉问答还会遭遇到噪声干扰的衍生问题。比如说,盲人逛超市,由于商品外观触感相似,很容易犯错,他可能会拿起一瓶醋却询问酱油的成分表,拿起酸奶却询问牛奶的保质期等等。这种噪声干扰往往会导致现有AI模型失效,没法给出有效信息。
最后,针对不同盲人患者的个性化交互服务以及算法自有的反馈闭环机制,同样也是现阶段的研发难点。
多解法:浪潮信息AI助盲靶向消灭痛点
AI助盲哪怕形式百变,无一例外都是消灭痛点,逐光而行。浪潮信息多模态算法研发团队正在推动多个领域的AI助盲研究,只为帮助盲人“看”到愈发精彩的世界。
在VizWiz官网上公布的2万份求助中,盲人最多的提问就是想知道他们面前的是什么东西,很多情况下这些物品没法靠触觉或嗅觉来做出判断,例如 “这本书书名是什么?”为此研发团队在双流多模态锚点对齐模型的基础上,提出了自监督旋转多模态模型,通过自动修正图像角度及字符语义增强,结合光学字符检测识别技术解决“是什么”的问题。
盲人所拍摄图片模糊、有效信息少?研发团队提出了答案驱动视觉定位与大模型图文匹配结合的算法,并提出多阶段交叉训练策略,具备更充分的常识能力,低质量图像、残缺的信息,依然能够精准的解答用户的求助。
目前浪潮信息研发团队在盲人视觉问答任务VizWiz-VQA上算法精度已领先人类表现9.5个百分点,在AI助盲领域斩获世界冠军两项、亚军两项。
真实场景中的盲人在口述时往往会有口误、歧义、修辞等噪声。为此,研发团队首次提出视觉定位文本去噪推理任务FREC,FREC提供3万图片和超过25万的文本标注,囊括了口误、歧义、主观偏差等多种噪声,还提供噪声纠错、含噪证据等可解释标签。同时,该团队还构建了首个可解释去噪视觉定位模型FCTR,噪声文本描述条件下精度较传统模型提升11个百分点。上述研究成果已发表于ACM Multimedia 2022会议,该会议为国际多媒体领域最顶级会议、也是该领域唯一CCF推荐A类国际会议。
在智能交互研究方面上,浪潮信息研发团队构建了可解释智能体视觉交互问答任务AI-VQA,同时给出首个智能体交互行为理解算法模型ARE。该研究成果已发表于ACM Multimedia 2022会议。该研究项目的底层技术未来可广泛应用于AI医疗诊断、故事续写、剧情推理、危情告警、智能政务等多模态交互推理场景。
眼球虽然对温度并不敏感,但浪潮信息的研发团队,却在努力让盲人能“看”到科技的温度,也希望吸引更多人一起推动人工智能技术在AI助盲、AI反诈、AI诊疗、AI灾情预警等更多场景中的落地。有AI无碍,跨越山海。科技的伟大之处不仅仅在于改变世界,更重要的是如何造福人类,让更多的不可能变成可能。当科技成为人的延伸,当AI充满人性光辉,我们终将在瞬息万变的科技浪潮中感受到更加细腻温柔的善意,见证着更加光明宏大的远方。
春运归乡路上,这些“黑科技”护您平安******
归乡路上,这些“黑科技”护您平安
◎实习记者 都 芃
脚步匆匆,兔年春节将至,一年一度的春运大幕已经拉开。
这个春运,是疫情防控进入新阶段后的第一个春运。在此期间,数以亿计的旅客将借助航空、铁路、公路等多种交通方式踏上归乡之旅。
来自交通运输部的数据显示,今年春运客流总量预计约为20.95亿人次,较去年同期增长了近一倍。
道路千万条,安全第一条。
无论选择何种方式出行,平安始终是所有人的共同愿望。在本次春运中,有多种高科技被应用于安保环节,如毫米波、人脸识别等。它们在保障旅客安全的同时,也大大改善了人们的出行体验,守护着亿万人的回家路。
各类防爆装置:
利用特殊结构,巧妙化解危险
在机场、火车站、地铁站等交通站点的角落里,通常会看到一个圆滚滚的深色球体,这个“胖家伙”是站点应对突发情况的排爆“神器”——防爆球。
防爆球通常是旅客最容易识别出的防爆装置,其一般采用球形、封闭式结构。在处置爆炸物时,首先将爆炸物通过机械手臂和排爆杆递送到球体内,然后封闭球体。当爆炸物在球形罐体内爆炸时,由高强度结构钢构成的罐体便能够将爆轰产物封闭在球内,使其不产生更大危害。
北京理工艾尔安全科技有限公司防爆装备部部长、高级工程师卞晓兵告诉科技日报记者,防爆球的防爆能力一般在2至3千克TNT(三硝基甲苯)当量。其自身重量通常在1吨以上,因此通常需要配合拖车使用。
与防爆球类似的防爆装置还有防爆罐,桶状外形的它其貌不扬,要“低调”许多。
与防爆球不同的是,防爆罐通常是上方敞开的非封闭式结构。当爆炸物在其中爆炸时,高强度金属结构构成的罐体底部和壁面会将冲击波向上导出,使爆炸能量从顶部泄出,保护周边人员安全。防爆罐的防爆能力一般为0.5至2千克TNT当量,其自身重量在300千克以上,使用时通常也需拖车配合。
除了大当量、大重量的防爆装置,卞晓兵表示,如今防爆装置的一大发展方向为结构轻量化。如当下已经被广泛运用的防爆毯,便通常采用多层复合材料制成,由内外围栏和盖毯组成,能够有效拦截爆炸破片,并引导爆炸能量向顶部泄出,其防爆当量约为一颗手雷,自身重量通常在30千克以内,便于移动。
除此之外,卞晓兵介绍,目前最新的轻量化防爆产品还有柔性防爆罐、刚柔复合防爆罐等,能够结合多种不同排爆场景使用。例如,柔性防爆罐内有多孔吸能泡沫和防爆阻燃液体,同时它采用了高性能纤维结构设计。在爆炸时,通过其内部的多孔吸能泡沫和防爆阻燃液体,实现对冲击波能量的高效吸收和转化,再通过高性能纤维结构实现对破片的全部拦截。
毫米波人体检查设备:
无接触精准检测,为出行提速
不超过2分钟,这是深圳宝安国际机场试行无接触安检后旅客通行的速度。
2021年9月,深圳宝安国际机场成为首家试行“无接触自助安检”模式的国内机场。采用该安检模式,旅客不用与安检人员接触,只需自主脱下腰带和鞋,进入毫米波人体检查设备,并将随身携带的物品、行李放入CT安检设备,且笔记本电脑、雨伞等物品无需单独取出。检查完成后,如果机器未报警,旅客即可快速通行。正常情况下,整个安检用时不超过2分钟。
在无接触安检中,扮演重要角色的是毫米波人体检查设备以及CT安检设备,它们也是近年来安检领域科技创新的最新成果。
中南大学自动化学院教授梁步阁告诉科技日报记者,虽然毫米波在安检领域的应用并不多见,但其此前已经在雷达探测、无线通信等领域得到了广泛应用。
“比如,现在许多拥有自动驾驶功能的智能汽车,通常就配有毫米波雷达。”梁步阁介绍,毫米波属于电磁波的一种,其波长为1至10毫米,因此被称为毫米波,且毫米波频率非常高,通常在30到300赫兹之间。
梁步阁表示,正是由于毫米波波长短、频率高、带宽大,使得其具有较高的分辨率,能够被广泛应用于物体探测。而且毫米波较短的波长使得设备天线的尺寸得以缩小,由此毫米波设备的体积就可以缩小,重量也随之降低。
除此之外,梁步阁表示,毫米波设备的生产制造十分便于芯片化,即能够将多种元器件集成在芯片上进行批量生产,进而可快速降低成本。“体积小、重量轻、成本低,这些特点都使得毫米波设备能够走入我们的日常生活。”他补充道。
不过,毫米波并非没有缺点,探测距离短就是它的“硬伤”。
梁步阁表示,相较于传统雷达数百乃至数千公里的探测范围,民用的毫米波探测设备,其工作距离一般仅为几百米,只能被应用于近距离的目标探测。而人员安检正是毫米波“扬长避短”,发挥本领的绝佳场景之一。
同时,与在安检领域被广泛应用的金属探测仪相比,毫米波人体检查设备的精准度更高。
“金属探测仪通常是利用金属自身会引起电磁感应或者霍尔效应的原理来探测金属物品,属于无源探测器。而毫米波设备则是通过主动发射毫米波,再分析物品反射回的电磁波来进行探测,属于有源探测器,后者检测更加精准。”梁步阁介绍道。
因此,被应用于安检领域的毫米波设备,不仅能够检验金属物品,就连如陶瓷刀、塑料刀等非金属物品也可以检测。
同时,梁步阁补充道,虽然精度高,但毫米波设备对人体的影响几乎可以忽略不计。“毫米波产生的辐射属于非电离辐射,并且功率较小,其影响大致相当于手机对人体的影响,因此不需要过多担心。”他说。
如果说在安检领域,毫米波人体检查设备还只是“新人”,那么CT安检设备应该算得上是“老人”了。
CT安检设备与医院中使用的CT成像仪工作原理基本一致,即利用X射线、γ射线等重射线的强穿透性来实现对物体的内部成像。
X射线等重射线的频率不仅远远大于毫米波,也更在可见光之上。“频率越高,单个光子的能量就越大,因此能够穿过物体,进行精准的穿透成像。”同时,梁步阁表示,CT安检设备在工作时通常会分层进行成像,最后层层叠加,形成物体的三维图像。在此基础上,安检员可运用360度旋转判图、切片等功能,更为准确地判断识别层层堆叠、形状复杂的行李物品,提高开包准确率,缩短开检时间。
人脸识别系统:
可实现人包对应,便于行李提取
除了“硬核”的安保设备,得益于多种先进科技手段的应用,为春运出行保驾护航的还有软件系统。
此前,国内多家机场宣布在值机、安检等环节中采用智能人脸采集比对技术。旅客可以自助完成人、证合一检验,从而大大加快登机速度。
同时,人脸识别系统还可以与安检信息管理系统、旅客随身行李处理系统实现无缝衔接,将采集到的人脸信息、旅客安检信息、旅客行包信息进行绑定,实现人包对应,既方便旅客托运、提取行李,同时也便于对违规物品进行登记、追溯,提高安检准确度,实现快速倒查。
此外,在北京大兴国际机场,当工作人员佩戴应用了AR(增强现实)技术的眼镜后,也可以利用其人脸识别功能,识别旅客的登机信息,快速寻找待登机旅客并为旅客提供便捷服务。
北京理工大学网络与安全研究所所长闫怀志向科技日报记者介绍,人脸识别作为当下一种常见的生物识别技术,其主要基于人的脸部特征信息来进行身份识别。具体流程包括人脸图像采集、图像检测、信息预处理、人脸特征点提取和人脸匹配/识别等。而无论是固定设备还是移动设备,其所采用的人脸识别技术在原理上都是类似的,最主要的区别在于不同设备所采集的图像质量不同。
“比如说取景范围、图像像素、图像格式等,而图像质量的不同则会对图像匹配精确度和准确度造成一定的影响。”闫怀志表示。
提及人脸识别,信息安全始终是公众最为关心的问题之一。
对此,闫怀志认为,目前人脸识别技术应用广泛,由此必然会带来一定的信息泄露风险。
“这种个人信息泄露的风险主要来自于后台数据库以及识别后的信息存储系统。”闫怀志认为,管控人脸识别信息泄露风险,主要应从技术和管理两方面来加强保障。相关企业单位必须按照《网络安全法》《数据安全法》《个人信息保护法》的要求建立健全完善的安全防护体系,并遵从相应的标准规范。在技术层面上,应着重在物理环境、主机系统、应用系统以及业务数据等层面构建纵深防御体系。在管理方面,则应从安全管理制度、安全建设、安全运维等多个角度来强化安全管理。