研究方向

太原理工大学VR数字孪生平台用户交互界面

光电系统数字孪生:

数字孪生是充分利用已有的物理模型、传感器更新、运行历史等数据,集成多学科、多尺度、多物理量、多概率的仿真过程,在虚拟空间中实现映射。简单来说,光电系统数字孪生就是在一个光电系统的基础上创造一个数字版的“克隆体”。在这个“克隆体”上进行仿真实验、方案验证、海量数据生成等工作。我们的一些工作如下:
1、实现了全光电链路蒙特卡洛模拟,能够对从恒星星系到人造天体等各类目标,为从小口径大视场设备到极大望远镜的系统成像仿真。
2、实现了深度学习和高性能计算相结合的超高速、高置信度的模拟仿真,可以生成高真实度的图像、测控信息和面形信息等。
3、实现了各类光电仪器的精密模拟模块,可以快速组装成各类系统,实现整体模拟。
4、进行了结合VR(虚拟现实)、AR(增强现实)的全系统辅助装调和系统智能感知方面的研究。
目前,小组与南京天文光学技术研究所、国防科技大学、南京大学、法国马赛天文台及美国Keck天文台等单位合作,进行多类系统的数字孪生技术方法研究。


Faster-RCNN(第二代目标提取算法结果)
蓝色:真实目标;红色本方法;绿色经典方法获取目标

图像信息获取及理解:

由于传统天文目标提取方法SExtractor(SE)不能实现端到端的天文目标提取,将深度学习引入天文领域数据处理。
小组已发展三代目标提取方法:
第一代:基于机器学习和目标提取结果的天文提取方法,可自动实现目标分类。
第二代:在通用目标检测框架——Faster RCNN基础上,设计适于天文观测图像的backbone网络。处理真实数据(南京紫金山天文台空间碎片望远镜数据和TDST-F数据)效果优于传统方法(SE)。
第三代:多望远镜通用天文目标提取框架——Argus。可,对空间碎片,恒星,星系等多种目标进行定位、测光,并可以部署于嵌入式设备(如Nvidia Jetson Xavier),能够显著提升望远镜阵列的观测能力。
目前,正在进行第四代目标提取框架研发,目标是在光学系统观测条件变化条件下,实现全自动目标定位、测光和扩展目标分割。


Cycle-GAN复原太阳图像,来自Jia, Huang, et.al. 2019, APJL

图像增强与复原:

天文图像的收集过程中,受光学系统成像衍射、环境随机噪声、自然界的背景噪声等因素的影响,会使天文观测图像产生退化。在我们的图像复原工作中,考虑了两种不同的应用场景,即视觉性任务和精准性任务。

在视觉任务中,我们考虑数据规模[1]及相似性特征[2],采用GAN形式的网络对图像进行复原,以提供用户逼真的视觉体验,和其它深度生成网络相比,我们的方案在PSNR及FID上取得了更好的成绩。
在精准性任务中,我们对PSF退化过程进行模拟,能够对H-alpha波段的数据实现良好复原[3],且在TIO波段数据未引入额外结构,说明我们的方法只学到PSF信息,与传统ML盲反卷积算法相比在复原真实退化图像上更具优势。
目前,小组正在与国家天文台、紫金山天文台、云南天文台及南京天文光学技术研究所等单位开展上述技术的实用化工作。


LOT 概念设计图,来自:http://english.niaot.cas.cn/au/bi/

智能光学设计与控制

本方向使命为结合光学系统基本成像理论和现代控制及数据处理方法开展下一代智能光学系统方面研究。期望实现:
系统设计与后端算法设计一体化;
系统控制策略和数据处理算法自动化;
系统对复杂环境及内部状态自动感知。
本方向希望为在建的各类大中型光学成像工程服务,目前正在与我国南京天文光学技术研究所、南京大学、国防科技大学,比利时列日大学、鲁汶大学及英国杜伦大学开展项目合作。