图像重构

图像重构是图像采集的逆过程，是通过采集的原始图像实现样本三维信息电子化的过程。

---

图像重构是图像采集的逆过程。 在图像采集过程中，为了能够通过成像的方式实现样本完整结构的电子化，需要将三维样品块（Volume）分解成连续的超薄二维切片（Section），然后对切面进行逐层成像。 为了能够准确观测并定位切面内的所有超微结构，通常会将分辨率设置在纳米尺度，因此采集一块微米尺度的切面需要对多个连续视野进行成像，最终得到大量相互重叠的原始图像（Tile）。 在成像介质尺寸一定的情况下，图像数量会随分辨率或样本尺寸呈几何级增长。 图像重构则是从电子显微镜采集的原始图像出发，首先通过图像拼接技术将相互重叠的图像拼接成完整的切面，然后通过图像对齐技术按顺序将连续切片对齐成三维形式，从而实现样本原始结构的三维电子化重构。

---

图像拼接

图像拼接是成像技术中常见的处理手段，当单次成像视野不足以覆盖完整样本信息时，就需要对样本进行多视野连续成像，相邻视野的图像通常会有一定区域的重叠，通过重叠区域的信息可以将不同视野的图像拼接成一张更大尺寸的图像，进而复原样本的完整信息。 图像的相对位置对于完成图像拼接至关重要，小规模数据图像数量不多，因此可以手动记录图像的拍摄顺序，并根据相对位置完成图像拼接。随着连接组学成像数据规模不断扩大，不再适合通过手动记录每张图像的位置信息，通常都是通过电动位移台来控制并记录成像过程中每张图片的相对位置，用于大规模的自动化成像和拼接。 然而仅仅凭借位置信息，还不足以完成图像拼接任务，这一方面是由于电动位移台的精度有限，另一方面是因为成像以及成像前的制样环节会产生众多随机因素影响图像质量。 必须综合考虑这两方面因素才能够实现准确的图像拼接。【内容扩展👉】

针对连接组学的图像拼接，目前大多数能够得到高质量的拼接结果的方法包含两个关键步骤：通过仿射变换和弹性形变逐步实现相邻图像之间内容连贯；通过图像融合实现相邻图像之间对比度和亮度的自然过渡。 最终的拼接图象在视觉上平滑，不存在非自然的图像错位。 图像拼接算法在设计上并不复杂，但是作为是连接组学图像处理的第一步，这一步的处理结果非常关键，拼接误差会在后续处理中逐步累积，严重者甚至导致错误的科学结论。 以下是应用于连接组学图像拼接的一些代表性软件和工具：

• 
  FIJI¹是传统生物图像处理软件ImageJ²³⁴的升级版本,在ImageJ的基础上绑定了更多适用于科研图像分析的插件，是一项由威斯康星大学麦迪逊分校Kevin Eliceiri发起的，在众多实验室和技术人员支持下的开源项目（下文中的FIJI和ImageJ均指同一款软件）。 FIJI能够兼容Windows，Linux和MacOS系统，在window平台上将软件下载并解压之后即可直接使用（链接）。 Pairwise Stitching和Grid/Collection Stitching⁵是FIJI中用于图像拼接的插件，并且已经绑定在FIJI的最新发行版中，操作界面和操作方式都遵循了ImageJ的传统。 其中Pairwise Stitching展示了最基础的图像拼接过程，即根据两幅相邻图像之间的重叠区域完成二者拼接；Grid/Collection Stitching在前者的基础上结合全局优化实现了对一组连续图像的拼接。 如果能够预先提供图像的分布信息，即图像的采集路径，可以实现更快速的计算过程，而对于规模不大的图像集合，也可以在没有分布信息的前提下通过“暴力计算”完成。 算法将图像转换到频率域实现了刚体形变矩阵的快速计算，但是由于缺乏非刚体形变过程，在图像畸变比较明显的情况下，拼接结果中容易形成肉眼可见的图像错位，因此仅适用于对拼接精度要求不高的任务，或者作为更高精度图像拼接过程的预处理操作。【详细】

• 
  MIST（Microscopy Image Stitching Tool）⁶⁷是由美国国家标准与技术研究院（National Institute of Standards and Technology）下设的信息技术实验室（Information Technology Laboratory）开发的，针对细胞培养过程显微成像的，大视野2D拼接工具（链接）。 相较于其他图像拼接方法在图像稀疏性的方面进行了考虑，同时将位移台模型加入计算优化过程，缩小了计算形变矩阵时的搜索空间，提高了计算效率，同样也需要提前手动预设图象的位置分布信息。 MIST可以作为FIJI的插件适用，但是目前还没有在FIJI发行版中绑定，需要对FIJI手动更新后才能使用，除了FIJI版本以外，MIST还有基于MATLAB开发的版本，可在Windows平台独立下载运行，但是稳定性和说明文档等方面落后于ImageJ版本。 由于MIST采用了多核CPU/GPU混合计算资源，因此在拼接的实时性上有很大提升，并且能够支持更大规模的数据量级，但是需要注意的是MIST仍然缺乏非刚体变换，因而无法处理较明显的图像畸变。【详细】

• 
  MicroMos⁸是博洛尼亚大学Filippo Piccinini基于MATLAB开发的开源图像拼接软件（链接），可在windows平台以图形界面的形式独立运行，设计之初是针对宽视场光学显微成像后的图像拼接。 MicoMos的设计独特之处是图像拼接过程不需要有关图像分布模式的先验信息，是完全基于图像信息的拼接，但是要求图像没有发生形变。 软件在平移和旋转基础上还提供仿射变换与投影变换两种模式，用户可以根据实际数据和需求进行选择。 除此以外，由于是针对光学显微镜成像的方法，MicroMos还考虑了光晕的修正以辅助提高拼接的精确度，但是同样缺乏对弹性形变的支持，而这是电镜图像拼接过程必不可少的一个步骤。【详细】

• 
  NORNIR⁹是犹他大学Robert Marc实验室开发的针对ssTEM技术的图像重构工具（链接），功能实现依赖神经环路重构工具包（Neural Circuit Reconstruction (NCR) Toolset）¹⁰。 根据技术文档指示配置相关依赖之后即可在命令行通过执行对应的脚本文件实现从连续电镜图像到完整二维切片的高质量自动拼接，以及从二维切片到三维数据块的自动对齐。 在NORNIR的拼接流程中，首先会根据图像采集软件，即serialEM¹¹，记录的图片的位置记录完成初步配准，随后通过平移旋转进行位置修正，最后再通过基于网格的优化修正剩余拼接误差，得到很高质量的拼接结果。 Nornir的有效性在一些大规模连接组学的项目中已经得到了验证⁹¹²，但是在使用过程中，其命令行形式的安装和基于脚本的命令行执行模式不够直观，给新手用户造成一定障碍，而且软件目前仍然处在开发阶段，但是由于项目开发人员数量有限，在技术响应和社区支持方面均显不足。【详细】

• 
  TrakEM2¹³是由Rodney J. Douglas和Albert Cardona在苏黎世联邦理工学院和苏黎世大学神经信息研究所期间设计（链接），并由Albert Cardona在内的多位开发人员在ImageJ中以插件形式实现的，针对三维图像系统性重构的工具，目前已经绑定在了最新版本FIJI中（链接）。 作为系统性重构的工具，TrakEM2既能够完成从原始图像到最终可供分析数据的完整流程，也可以单独使用其图像重构功能，在得到完整体数据后再通过其他更专业的结构重构工具完成数据标注。 TrakEM2使用了尺度不变特征变化（Scale-invariant feature transform，SIFT）描述图像的对应特征，在线性变换（刚体、仿射、投影）基础上加入弹性变换¹⁴操作，实现了同一切片内，多切片之间的图像拼接，并且能够取得很高质量的拼接结果。 TrakEM2通过直接访问数据库可以实现对大规模数据的支持，因此目前广泛应用在大规模连接组学项目中，从谷歌统计的引用量来看已经达到743次。 与NORNIR相比，二者均能完成大规模数据拼接，但是TrakEM2基于ImageJ开发，在算法库和上下游工具链均有更全面的支持，其技术手册详尽清晰，各项流程配有具体视频操作过程，而且图形化界面的工作形式使其很容易获得众多用户群体，从而在遇到应用障碍时有及时且充分的社区支持。【详细】

---

图像对齐

图像对齐与图像拼接有很多相似之处，均可以被称作图像配准（Registration）或者图像匹配（match），为了不产生歧义，在本文中图像对齐特指将二维图像对齐到同一个空间坐标系，通过三维图像重构样本完整结构的过程。 图像采集方式对图像对齐操作有不同的需求。 按照成像和切片的先后顺序可以将连接组学图像采集方式分为两种，切片前成像的方式，如SBSEM和FIBSEM，直接对组织面进行成像，成像完成后再对当前的组织切面进行削切；而切片后成像的方式，如ssTEM和ATUMSEM，需要先进行切片，然后对切片再进行成像。 很容易理解，切片前成像的结果是天然对齐的，在进行切片之间图像对齐时通过一些简单的平移旋转即可完成。 而切片后成像的方式在图像对齐时则存在诸多困难：首先由于切片精度问题导致Z轴分辨率不够高，相邻图片之间的“跳跃”会影响图像内容的连续性；其次在物理切片过程会引入多种形变，例如皱缩，拉伸，弯曲，折叠，撕裂等，而且这些形变在每次切片时完全随机，无法预测；此外一些其他的制样和采集操作均有可能影响图像质量，例如染色沉淀，电子热效应，聚焦旋转等。 因此在对切片后成像的图像进行对齐时需要通过大量的局部优化修正上述图像质量瑕疵，对于算法的精确性和效率有很高要求。【内容扩展👉】

图像对齐质量是评价图像重构的重要指标，也是后续形态重构顺利进行的先决条件，对于对齐质量不高的数据，人类可以通过相邻图像的全局信息来判断内容之间的对应关系，但是一些基于算法的形态重构过程对图像对齐质量非常敏感，“不光滑”的对齐很大程度上会限制连接组学数据分析的进度。 医学图像处理领域在图像对齐方面有很长的研究历史以及很多出色的工具，以下列举部分在用于连接组学图像对齐的软件工具：

• 
  UnwarpJ¹⁵是由洛桑联邦理工学院生物医学成像组开发的，用于图像配准的ImageJ的插件（链接）。 通过基于样条的形变模型，UnwapJ展示了最基础的图像对齐过程，即根据参考图像对目标图像做弹性变换，完成目标图像向参考图像的单向对齐。 UnwarpJ还支持基于关键点（landmark）的配准，用户可以手动设置关键点以及参考权重，为配准过程提供参考。 UnwarpJ原理清晰，操作简单，适用于少量图像之间的匹配，但是对于连接组学等较大规模的数据，需要通过多次两两配准完成，自动化程度有限。【详细】
  

• 
  bUnwarpJ(Bidirectional UnwarpJ)¹⁶ 是巴斯克大学Ignacio Arganda-Carreras主导开发的ImageJ插件（链接），众多人员参与了多个版本的开发工作，目前也已经绑定在了FIJI发行版中。 算法是在UnwarpJ基础上的进阶版本，同样是对两幅图像进行配准，BUnwarpJ通过基于样条的弹性形变执行双向配准，即两幅图像分别作为参考图像，完成对另一幅图像的配准，最终产生两个配准结果。 配准的可逆性是由一致性约束的，这使配准结果更加光滑，防止发生因单一方向配准产生的过度匹配。 新版本还兼容FIJI的特征提取插件（feature extraction），通过尺度不变特征变换或者多尺度方向补丁（Multi-Scale Oriented Patches，MOPS）算法提取特征点，代替手动关键点设置，具有更高的效率和准确性。 BUnwarpJ在性能和准确性上均有提升，但是同样受限于配准数据的规模。【详细】
  

• 
  Register Virtual Stack Slices也是随FIJI发行的可用于配准的插件（链接）。 除了基于样条的弹性形变（BUnwarpJ），还整合了旋转、刚体、相似、仿射、最小二乘，一共六种对齐方式，这个插件的特殊之处在于读取文件夹内的一组连续图片，并以其中一张作为参照图片（手动选择），自动完成一组图片向参照图片的对齐。 形变过程中计算求得的变换能够以文件格式存储，并用于指导相同或其他相关图像集的匹配。 因此，在需要对多张连续图像进行对齐时，Register Vitrual Stack Slices是不错的选择。【详细】
  

• 
  NORNIR除了可以完成图像拼接，也可以进行图像对齐。对齐过程的操作步骤和拼接类似：对下采样之后的图像进行斑块（Blob）滤波操作找到相邻图像对应特征点，随后根据特征点相关性通过平移旋转对相邻图像进行粗粒度匹配，最终再通过基于网格化的局部弹性形变进行进一步修正。 对于连续的切片的对齐，每一张图片都需要与前一张进行对齐，最终逐步完成所有图片的对齐操作。 这样的对齐模式缺乏对整体的考虑，很容易积累对齐误差，因而在实际工作中，通常指定位于连续切片中间层的图像作为初始参照，随后向两侧逐步对齐，最终完成三维图像重构。 【详细】
  

• 
  TrakEM2同样也可以完成图像对齐任务。 其对齐模式之一是按照其图像拼接的工作方式，即线性变换与弹性变换组合，逐层对齐完成重构。 初次之外，为了能够减少对齐误差的累计，TrakEM2还提供了更加科学的图像重构模式¹⁷，该模式同时考虑了层间对齐和层内拼接计算，在限制全局最优对齐的前提下，还要考虑最小化每层图像的形变，因而能够得到更加真实的配准结果。 除了自动对齐，TrakEM2还支持手动对齐模式，这样一来既能保证图像内容的连贯性，同时还能最大程度还原样本的本质面貌。 因此，众多连接组学项目选择使用TrakEM2完成图像重构。【详细】
  

---

深度学习方案

使用软件辅助能够在很大程度上缓解研究人员在图像重构过程中的压力，尽管如此，实现令人满意的图像重构结果仍然不容易，特别是在图像尺寸和数量不断增加的情况下，传统的优化方法面临着巨大的计算压力，对于研究人员来讲，参数调整的工作量依然繁重，而且还非常依赖处理人员的实际经验。得益于深度网络的发展，近年来深度电镜数据配准方法取得显著进展，出现了一系列基于深度学习的电镜数据配准框架¹⁸¹⁹²⁰。学习方法通常利用卷积网络结构来迭代求解电镜图像之间的形变场，而衡量形变场质量的准则是数据之间的相似性,一般通过自编码器提取的特征来比对。此外，为使得形变场光滑，还需要添加额外的正则项，如梯度的模长。相比传统方法，基于深度学习的电镜数据配准框架有更快的处理速度，然是网络训练依赖大量手工标注数据和昂贵硬件资源，同时网络训练周期较长，泛化性较差，导致该方法实现落地仍有一定距离。因此，开发弱监督或无监督，拥有强泛化性和实用性的电镜图像配准算法将是图像重构环节的主要发展方向。【内容扩展👉】