中国航空报讯:“我们是夜鹰,我们打破黑暗,还原世界原本的色彩,让人们在黑夜中像白天一样地生产生活。”这是一个成员皆由“00后”学子组成的团队,想借助“夜鹰”系统达到的目标。
(资料图片)
“夜鹰”,是一套支持极低照度环境下高清视频全彩成像的夜视系统,通过小型暗室摄影棚构建低照度环境,来实现全彩夜视成像能力的展示。其开发团队,是在南京大学电子科学与工程学院彭成磊老师指导下,由该学院三名2019级本科生组成的。
他们基于深度学习算法,实现了在星光级1mLux极弱光环境照度下的无补光嵌入式高清视频全彩成像系统。该系统能以较低的成本部署到各种应用场景,并支持80个类别以上的目标识别功能,可广泛应用于城市安防监控、交通违规监测、保护动物追寻、石窟壁画保护等领域。
暗光增强成像领域已有几十年的研究历史,也拥有激光夜视、热成像等技术。不过,这些技术都存在着诸多缺点,包括噪点多、颜色细节缺失、需要辅助光源以及目标识别难等。最重要的是,其最低极限照度始终保持在较高水平且难以下降。
在全彩夜视成为刚需的当下,先对硬件进行优化、再结合传统算法的方案已经走到极限,需要开发更好的技术,来满足不同应用场景对暗光成像的需求。
基于此,多年来专攻嵌入式智能系统和多光谱成像领域的彭成磊,带领蔡立本华、陈威宇和赵雨飞三位成员,组建嵌入式暗光增强全彩成像小组,完成了“夜鹰”系统的开发。
其中,队长蔡立本华主要负责模型算法的设计训练,赵雨飞主要负责模型部署和交互页面设计,陈威宇主要负责硬件系统设计选型以及软件框架搭建。该成果于近日在第五届中国国际进口博览会上英特尔展台上展示。
“夜鹰”系统可以把普通CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)相机采集的极低信噪比的原始图像,通过自主设计的神经网络模型进行颜色恢复、噪声去除、亮度提升,并将增强后的成像结果显示到人机交互界面上。
其所达到的这种高清视频全彩成像效果,与此前相关工作实现的效果并不相同。“夜鹰”支持540p分辨率下每秒24帧的清晰稳定视频全彩成像显示。赵雨飞解释说:“该系统主要强调分辨率和全彩效果,并在此基础上保证帧率的流畅性。”
此外,为了提升用户易用性,该团队还扩展开发了更多交互功能。通过“夜鹰”系统的界面,使用者不仅可以查看采集到的原始图像、经处理恢复后的高清图像、视频实时帧率以及图像颜色直方图等信息,还能执行图像存储、参数调节、画面缩放等操作。另据悉,目前彭成磊实验室正在进一步推进全新支持1080p高清格式的“夜鹰”升级版本。
2022年9月,研究人员凭借“夜鹰-暗光增强全彩成像”这一成果,在全球25个国家和地区的参赛队伍中胜出,获得了2022年度英特尔人工智能全球影响力嘉年华18岁以上组全球总冠军。
赵雨飞表示:“在开发‘夜鹰’的过程中,我们使用了英特尔OpenVINO工具套件,搭载了至强处理器的训练服务器,以及搭载了i5处理器的边缘计算主机。”
据悉,该赛事是为建设全球数字化能力而搭建的一个在线全球展会,旨在与全球政府、学术界及社区开展合作,和下一代技术人员和未来开发者共同普及人工智能,并表彰相关的创新成果。