计算摄像-超越眼睛的极限
2021年4月6日晚,来自南京大学电子科学与工程学院的曹汛教授作为主讲人,为在座的同学开展了“计算摄像-超越眼睛的极限”的主题讲座。曹汛教授及他所带领的实验室,主要从事图像和视频处理、计算摄像学方向的研究。而本次讲座也以此为出发点,为同学们介绍了摄像技术的历史发展、与电子学科的交叉内容以及计算摄像的基本原理与未来展望。

最能代表当代电子技术的产物是什么呢?曹老师认为是手机。可以说当下时代,我们大部分人的生活都离不开手机,品牌、型号种类繁多,实现功能也日新月异。手机的核心部件可以大致分为CPU、音频模组、相机模组、显示模组与通信模组,而手机相机的销售量远远超过于市面上其他类型的相机。

曹老师从学院学科的角度分析,电子的相关课程有通信、信号处理、芯片/集成电路三大类,各个学科相互区别的同时又有着密切的联系。可以概括:电子学科是以人为本的信息学科,其科技产物涉及人的触觉、视觉、味觉、嗅觉、听觉等多种领域,为人类社会的进步贡献着不可或缺的力量。

漫谈成像的历史,最早的亚述透镜(750-710BC)能够汇集阳光并引燃柴火,更有学者认为其可将远处的物体放大三倍,是最早的成像产品。在我国,早在西周时期便有了阳燧——其状为一个凹面镜,当它面向太阳时,光线先直射在凹面上,再从不同角度反射出来。
而19世纪左右,人类开始致力于加工镜头。19世纪初,英国物理学家马拉斯顿发明了新月形镜头;从此为始到20世纪60年代,相继出现双片镜头、三片库克镜头、双高斯镜头等。在此期间,1950年前后,美国的弗兰克拜克博士设计出世界上第一款用于照相机的变焦镜头。

人类的眼睛是多少像素? ” 曹老师向同学们提问。其实,人眼有500万个视锥细胞,有1亿多个视杆细胞,人眼的有效图像数据量就相当于5.76亿像素。
那么计算摄像与传统摄像的区别又在哪里呢?曹汛老师为同学们展示了自己实验室拍摄的基于计算摄像技术的照片。一般手机的数字变焦和曹老师的图片区别在于,手机在利用几十倍变焦功能拍摄远处的物体时,需要拉近镜头拍摄某一固定位置;而计算摄像技术拍摄的图片可以是很远的一个全景,而我们可以选择任意一个想要放大看清楚的位置进行放大。
其实这也是当下时代摄影技术的一个问题——由于空间带宽积的存在,视场与分辨率不可兼得。

计算摄像的维度分为时间维度、空间维度。在空间维度中,清华大学的戴琼海院士首次实现了清醒小鼠全脑皮层神经网络活动的高速成像;时间维度上,最早的概念起源于穆布里奇的赌约“动态中的马”,后来卢米埃尔兄弟发明了摄像机,使得摄像技术在时间维度上有了突破,而今天最快的瞬态成像可以达到万亿Hz。

曹老师提出了棱镜-掩模调制的光谱视频成像方法(PMVIS)并研制了系列光谱相机及装置。该研究入选欧洲EuroGraphics年度研究进展报告,被国际权威研究机构报道为当前光谱视频成像的三种代表性技术之一。PMVIS高光谱视频相机应用——人脸活体检测、环境保护、疫情防控等。

最后,曹老师还介绍了计算摄像原理的交叉领域进展,包括天文交叉领域(拍到黑洞照片)、生物学交叉领域(雷达的发明)、地球与海洋科学领域交叉(地震成像/层析成像)等等。
感谢曹汛教授为我们带来的一场精彩的计算摄像-超越眼睛的极限”主题讲座!相信在座的同学们都对计算摄像技术有了更深的了解。计算摄像作为新兴的科学技术,其未来应用领域无限广阔。欢迎有志于此的同学们加入曹汛教授的实验室进一步了解和研究哦~
图文 | 李旭坤
排版 | 张旭龙
审核 | 张志俭

