超表面快照高光谱成像:单芯片四通道编码与 18 波段重建

一句话结论:单芯片 4 个宽带通道加训练先验可以还原 18 个标称波段,但 10 nm 的采样间隔不等于 10 nm 的光谱分辨率。

论文简介

2023 年 11 月,Nature Communications 刊出成功大学(National Cheng Kung University,台南)团队的论文 Metasurface-empowered snapshot hyperspectral imaging with convex/deep (CODE) small-data learning theory。Chia-Hsiang Lin 与 Shih-Hsiu Huang 为共同第一作者,通讯作者为 Pin Chieh Wu,作者单位包括成功大学电机工程系、光电系、Miin Wu School of Computing 与 QFort。原文 DOI 为 10.1038/s41467-023-42381-5,开放获取,许可为 CC BY 4.0。

论文做的事情可以一句话说清:用一颗铝纳米棒加布拉格反射镜的超表面芯片,在一次曝光里拍下 4 个空间分离的波段图像,再用只需少量训练数据的 CODE 模型,把这 4 个宽带通道重建成 18 个标称波段的可见光数据立方体。工作波段为 500–650 nm,芯片面积小、无需扫描、也无需滤光轮,这些是它相对传统高光谱相机的直接差别。

一次曝光里的三本账:空间、光谱与探测器像素

高光谱成像要交付的不是一张二维照片,而是一个三维数据立方体:空间两个方向各有若干采样点,光谱方向再分成若干波段。若空间取 $N_x\times N_y$ 个点、光谱取 $N_\lambda$ 个波段,未知数就是 $N_xN_yN_\lambda$。探测器一帧只有 $M$ 个像元,要把整个立方体塞进一次积分,就必须在空间、光谱、时间三个方向做某种复用。

常见做法有三类。第一类是空间复用:让不同光谱通道占据探测器的不同区域,本文的 4 个像就是并排落在焦平面上的。第二类是光谱复用:把滤光片阵列直接做在像元上,一个超像元里排若干个滤光片,代价是每个通道分到的空间采样数按通道数缩小。第三类是编码复用:用编码孔径或色散把空间与光谱混叠在同一张图上,再由算法解算。三类的共同点是把负担从光学硬件转移到探测器面积或算法上,区别只在于把哪一本账记在谁头上。

本文的路线贴着第一类,但有一处不同:探测器上确实出现 4 个并排的像,它们不是 4 组滤光片切出来的,而是同一块离轴超镜把 4 个波长聚焦到不同横向位置。因此它既不需要滤光轮,也不需要逐行推扫,一帧就能拿到 4 个通道。代价同时出现:4 个像共享同一片探测器,每个通道可用的像元数减少;偏离设计波长的像对应更大的离轴聚焦角,像差随之变大。后文会看到,这两点正是这套方案空间—光谱取舍的具体落点。

单芯片快照高光谱成像的概念图

图 1:多谐振超原子构成的离轴聚焦超镜把彩色物体同时成像,并在自由空间把像分成 4 个波长通道;4 波段图像再经 CODE 小样本学习构造成 18 波段数据立方体。

器件:多谐振超原子怎样把四个波长分开

超表面的基本单元是一根铝纳米棒:长 170 nm、宽 90 nm、厚 50 nm,周期 200 nm,立在分布式布拉格反射镜(DBR)上,中间隔一层 135 nm 的 SiO₂。单根纳米棒本身不产生多个峰,多谐振来自金属结构与 DBR 的近场耦合;论文把这种金属纳米棒与 DBR 的组合解释为 Tamm 共振的来源,认为它可能带来高 Q 响应,并把 DBR 各层厚度做成渐变,让多个腔模分别落在 500–650 nm 的不同波长上。数值结果里,四个反射峰的圆偏振交叉反射率都超过 75%。

几何相位负责把相位写进波前:旋转纳米棒,每个峰波长的相位都能连续走完 0–2π。转角改变时相邻结构的间距随之变化,近场耦合条件被扰动,反射强度会有起伏,论文的数值结果中能看到这一现象。也就是说,”四个峰”和”连续相位”共用同一批结构参数,调其中一个,另一个也会动。

把相位排布成离轴聚焦的波前,超镜就把不同波长聚焦到不同的横向位置,横向色差在这里被当成功能使用。设计取中心波长 593 nm、焦距 7.5 mm、NA 0.02。NA 取得这么低是刻意的:焦深与 NA 的平方成反比,只有把焦深做大,4 个波长的焦点才能落在同一个平面上,一帧拍全。可以用衍射极限的常用估算核对这个量级:

$$\mathrm{DOF}\approx\frac{\lambda}{\mathrm{NA}^2}=\frac{0.593\ \mu\mathrm{m}}{0.02^2}\approx 1.5\ \mathrm{mm}.$$

毫米级焦深与”四个焦点共面”的设计目标在量级上自洽。代价也写在这个式子里:低 NA 意味着衍射斑更大,空间分辨率的上限随之下降。论文明确说,为了快照成像选了较大焦深和较低 NA,而这会牺牲分辨率。

多谐振超原子与离轴聚焦超镜的设计

图 2:(a) 多谐振超原子的数值反射谱,四个峰覆盖可见窗口;(b)、(c) 圆偏振交叉反射率与相位随结构转角的变化,相位在每个峰波长上都能覆盖 0–2π;(d) 离轴聚焦超镜在四个波长上的光线追迹与焦面光斑,四个焦点落在同一平面上。

从 4 个通道到 18 个波段:光学测量与训练先验各占多少

重建的输入是 4 波段、484×192 像素的图,输出是 18 个标称波段。作者把两者的关系写成

$$\mathbf{Y}=f_{\mathrm{B}}(\mathbf{D}\mathbf{X}),$$

其中 $\mathbf{X}$ 是目标高光谱立方体,$\mathbf{D}$ 是光谱响应矩阵,把 18 个波段降采样到 4 个通道,$f_{\mathrm{B}}$ 描述超镜引入的模糊。直接对 $\mathbf{Y}$ 拟合 $\mathbf{X}$ 是非凸问题,作者换了个方向:用 Transformer 学习逆模糊 $f_{\mathrm{B}}^{-1}$,再用 Q-范数做凸正则,把弱解拉向高保真解。Q-范数可以改写成常见的 L2 形式,算法因此有闭式解,重建速度不慢。

数据集规模是这篇文章最需要留意的地方。正文给的是 20 对图像(模糊的 4 波段图加干净的 18 波段真值),每幅 484×192;按行移位做颜色变换增强到 40 对,其中 36 对训练、2 对验证、2 对测试。摘要把这个规模概括为”只用 18 个训练数据点”。两个数字口径不同,引用时不能混着用,但它们指向同一件事:这套重建不靠大数据,靠的是把光谱先验写进正则项。

18 波段数据立方体与四个像元的光谱曲线

图 3:(a) 单颗超表面芯片实测得到的 18 波段快照高光谱数据立方体,中心波长 480–650 nm;(b) 由数据立方体重建的彩色图像;(c)–(f) 图中标出的四个像元的光谱曲线与真值对比。

结果里,18 个中心波长从 480 nm 排到 650 nm,步进 10 nm。图 3 中,盆栽花的各波段被逐层展开,花瓣在 632.8 nm 附近最亮,花盆在 490 nm 的青通道有弱信号,这些细节在原始彩色图里看不到。四个像元的光谱曲线与真值吻合,包括输入 4 个通道没有直接覆盖的波长。

这里要算一笔账。4 个输入通道每个带宽约 20–30 nm,合起来最多覆盖 80–120 nm;输出窗口是 480–650 nm,共 170 nm。也就是说,18 个波段里有相当一部分并非被光学系统直接测到,而是由训练得到的空间—光谱相关性推出来的。作者给出的经验比例是输出波段数约为输入波段数的 4.5 倍(4×4.5=18),并把这个比例当作设计规则。它背后是”每个输入通道能支撑多少个输出波段”的经验判断,不是信息论下界。

这解释了为什么”18 波段”必须和”18 次测量”分开说。光学端提供 4 个宽带读数,算法端提供波段之间的插值与去模糊;前者决定哪些波长有真实信号,后者决定这些信号被分配到多少个格点上。把两者混为一谈,就会把数据立方体的波段数当成仪器的光谱分辨能力。

取舍落在哪里:模糊、像差与误差口径

先看实测。图 4 用单波长激光和金属孔径做物体,四个波长的像确实在空间上分开;数字”2”在第三个(优化)通道最清楚,偏离中心波长的通道明显模糊。换成投影仪和彩色物体后,一帧里只出现四个像,其余波长被超镜自身的滤波特性挡掉,这就是”快照多光谱数据集”的来源。加滤光片能改善单通道像质,但滤光片一切换,四个通道就不能同时曝光,快照的意义随之消失。

四波长聚焦与成像实验

图 4:(a) 制作完成的超镜实测聚焦效率随波长的变化,插图为器件 SEM 像;(b) 四个波长下数字”2”的计算像与 (c) 实测像;(d) 不加滤光片与 (e) 加滤光片时采集的 4 波段图像,(d) 即用于重建的快照多光谱数据集。

模糊有两个来源。一层是超镜的离轴像差:聚焦角越大,焦斑变形越明显,偏离设计波长的通道首当其冲。另一层是实测谐振峰的 Q 值低于设计值,制作误差与光源相干性都会把它拉低。后者直接对应”共振线宽”这个指标:峰越宽,相邻通道越容易串扰,重建时越依赖算法去区分。正文没有给出通道串扰的实测矩阵,只报告了加与不加滤光片两组指标接近,这说明在其实验条件下串扰没有成为主导误差,但不能据此认为它对所有场景都无关紧要。

误差口径见图 5:逐波段 MSE 在 $10^{-4}$ 量级,两个物体(盆栽花与斧头)的 RMSE 与光谱角制图(SAM)都较低。MSE 是逐像元的强度差,SAM 衡量光谱曲线形状的夹角,后者更接近”这组数据能不能用来识别材料”。三个指标回答的都是重建值与真值有多接近,不回答”哪两条谱线能被分开”。

重建保真度:MSE、RMSE 与 SAM

图 5:(a) 逐波段像元均方误差 MSE 随波长的变化,空心点与实心点分别对应不加滤光片与加滤光片的多光谱输入;(b) 两个物体的均方根误差 RMSE;(c) 两个物体的光谱角制图 SAM。

把这篇论文里出现的几个”分辨率”摆在一张表里,差别会更清楚。

表 1:本文涉及的几类光谱与空间指标,以及它们各自回答的问题。

指标 本文的对应值或做法 它回答的问题 不能等同于
谐振线宽 四个反射峰,峰值反射率 >75%;实测 Q 低于设计 单个超原子在哪个波长强反射、峰有多窄 系统的光谱分辨率
通道带宽 输入 4 个通道各约 20–30 nm 每个光学通道透过哪段波长 重建波段的带宽
光谱采样间隔 18 个标称中心波长,480–650 nm,步进 10 nm 数据立方体在波长轴上隔多远取一个点 能分开两条相近谱线的最小间隔
重建误差 逐波段 MSE 约 $10^{-4}$,另有 RMSE 与 SAM 重建值与真值差多少 波长估计精度(本文未测)
空间分辨率 未给数值;NA 0.02,非中心通道受离轴像差影响 能看清多小的空间结构 探测器像元尺寸

空间分辨率这一行需要单独说明。论文讨论 NA 与焦深的取舍时承认分辨率会下降,也提到可以用更复杂的网络或更强的凸正则改善像质,但正文没有给出 USAF 靶标、MTF 曲线或物方分辨率的实测数值。因此本文只能说”作者未报告空间分辨率数值”,不能替它补一个数字。对使用者来说,这意味着选型时缺少一条关键指标:能看清多细的结构,目前只能靠自己的样品去试。

与滤光片阵列、推扫式折叠光谱仪的对比

同样是快照或准快照,不同路线把账记在不同的地方。表 2 把四条常见路线放在一起,比较它们如何分配空间与光谱采样、如何取得光谱通道、通光量与标定负担落在哪里。

表 2:四条快照/准快照光谱成像路线的分工方式对比。

路线 空间—光谱怎么分配 光谱通道怎么来 通光量 重建与标定 主要代价
本文:单芯片离轴色散 + 重建 4 个像并排,共享一片探测器 4 个谐振峰加横向色差 峰上反射率 >75%,峰外被滤掉 需 18 波段真值训练,标定随波段数增加 非中心通道模糊,空间分辨率未标定
片上滤光片阵列 一个超像元内排 N 个滤光片 各滤光片的透射带 每个通道只收对应波段 需逐通道定标与去马赛克 空间采样按通道数缩小
折叠超表面推扫 逐行扫描,空间与光谱不抢像元 色散加多片超表面 取决于孔径与衍射级次 几何装调与标定要求高 需要扫描,动态场景受限
编码孔径压缩快照 空间与光谱混叠在一帧 编码掩模加色散 受掩模透过率限制 求解逆问题,先验依赖强 计算量大,标定复杂

四条路线的差别不只是器件形态。滤光片阵列把代价放在空间采样上:通道越多,每个通道分到的像元越少,去马赛克再补回一部分。本文把代价放在探测器面积和像差上:4 个像并排,单通道像元数同样减少,但省掉了滤光片的透过率损失,也让四个通道真正同时曝光。折叠推扫把代价放在时间上:空间与光谱都不抢像元,代价是必须逐行扫,动态场景会拖影。编码孔径把代价放在算法上:一帧拿到混叠数据,重建质量高度依赖先验与标定。

选择哪一种,取决于场景更怕失去什么。要看清楚微小结构、场景又静止,推扫式更稳;要拍动态过程、光谱通道需求不多,单芯片离轴色散或滤光片阵列更合适;只需要一个点的光谱、却要求很高光谱分辨率,那是重建型光谱仪的任务,不属于二维成像的讨论范围。

意义与展望

这篇工作的价值不在于刷新了某个波段数纪录,而在于把”一颗芯片、一次曝光”这条链走通并给出了可核查的数字:4 个谐振通道、500–650 nm、18 个标称波段、20 对训练图像、$10^{-4}$ 量级的 MSE。它说明超表面不必只做分光元件,也可以同时承担成像与通道分离,把”滤光元件 + 相机”的扫描式系统压缩到”一颗芯片 + 相机”。

沿着这条路线往下走,约束也很清楚。工作波段受 DBR 反射窗口限制,想往近红外或更长的波段扩展,先要换掉这套多层膜;通道数受超原子的本征模式数与腔耦合条件限制,作者把 SiO₂ 间隔层从 135 nm 加厚到 5000 nm,理论上能在同一谱段得到 12 个谐振波长,再按 4.5 倍比例外推到 54 个波段、约 3.9 nm 的波长间隔。这个外推要成立,前提是能拿到对应波段数的真值数据——每增加一个波段,标定用的窄带滤光片或单色仪就多一分工作量,这一步往往比器件制造更早遇到瓶颈。

还有两件事值得在后续工作里补上。一是空间分辨率的实测标定,至少给出靶标或 MTF 曲线,让使用者知道它能看清多细的结构;二是通道串扰矩阵与波长精度的实测,把”10 nm 间隔”和”能分辨 10 nm”之间的差距量化。对一颗已经能出数据立方体的芯片来说,这两项比再增加几个波段更能决定它能不能进入实际测量流程。

参考资料

  1. Lin C-H, Huang S-H, Lin T-H, Wu P C. Metasurface-empowered snapshot hyperspectral imaging with convex/deep (CODE) small-data learning theory. Nature Communications, 2023, 14: 6979. DOI
  2. Ding Y, Wang X, Chen Y, et al. Snapshot spectral imaging: from spatial-spectral mapping to metasurface-based imaging. Nanophotonics, 2024, 13(8): 1303–1330. DOI
  3. Zhang Y, Yang E-B, Yoon H H, et al. Reconstructive spectrometers: hardware miniaturization and computational reconstruction. eLight, 2025, 5: 23. DOI

超表面快照高光谱成像:单芯片四通道编码与 18 波段重建
https://time-frame.cloud/2026/11/05/2026-11-05-metasurface-snapshot-hyperspectral-code-chip/
作者
Time Frame
发布于
2026年11月5日
许可协议