形态重构

形态重构是对图像进行语义标注的过程，将图像整理为可挖掘的形态学数据。
morphology-reconstruction

在完成对图像重构之后，我们就得到了和原始样本在结构上一致的三维图像，在重构的三维图像上我们需要继续进行形态重构工作，即对图像中的形态结构进行分割或标注。 分割、标注和重构这三个任务往往是密不可分的。 分割主要分为细胞膜/边缘分割、细胞分割和细胞器分割（也叫细胞器检测）三类，目标都是实现区域的精确划分。 标注即标注细胞或细胞结构的属性，需要有领域知识做支撑，通常可以用很更简化的中心点或标注框来表示细胞和细胞结构。 这两个任务经常一同出现，结合分割与检测的结果，我们就可以重建出细胞的形态以及连接关系。 一些针对手工标注的工具，根据手动标注的习惯和需求在操作方式上做了改进，一定程度上提高了的标注阶段的工作效率；一些交互式的软件将数据标注和学习相融合，提高了形态重构阶段的工作效率，但是在准确性和泛化性上尚未达到平衡。

标注工具

以下列出一些用于形态重构过程中数据标注的工具：

  • reconstruct
    Reconstruct1是Kristen M. Harris实验室开发的可对连续电镜图像进行标注和追踪的桌面软件（链接），是最早一批尝试使用计算机辅助三维电镜数据分析的方法，谷歌学术统计的引用数量有920次。 Reconstruct最初仅支持Windows平台，目前的JAVA版本已经实现了跨平台运行，其安装过程流畅，界面清洁，操作简单，能读取绝大多数主流图像格式，并且无需对原始图像做复杂的处理。 特别是配有入门版本、基础版本和完整版本不同程度的使用教程，使其学习成本低廉，对新用户十分友好。 Reconstruct的像素级标注是其核心功能，除此之外还可以完成简易的图像配准和3D可视化，非常适合小规模的三维电镜形态学重构。【详细】

  • itk-snap
    ITK-SNAP23是Guido Gerig发起的，目前由Paul Yushkevich团队维护开发的一款可跨平台使用的医学图像标注软件（链接）。 ITK-SNAP采用三维正交切面展示三维图像，标注过程更加直观和高效，对其他主流的三维医学图像格式也有很好的兼容性。 开发团队称得上是关注用户友好性的典范，到目前的4.0稳定版本，二十多年开发始终以图像标注为核心，只保留并重点开发与图像分割直接相关的操作，并提供了非常直白的视频教程，不对用户的计算机程度作梗要求，使用户能够更加关注其要解决的问题本身，因而被广泛应用在医学图像处理领域，截止发文前，谷歌学术统计的引用数量已经高达6316次。【详细】

  • Espina
    Espina4是在由马德里理工大学和西班牙高等科研理事会共同主导的卡哈尔蓝脑计划（Cajal Blue Brain Project）开发的专用于三维电镜数据标注的软件（链接），软件未开源，但可以提供用户信息后免费下载使用，当前的版本支持windows和linux平台。 Espina同样采用了三维正交的方式来展示数据，并关注用户界面的友好性，软件内的工具栏的功能设置简洁直观，官方提供的教程使用户可以很快熟悉软件的核心功能。 Espina最初的目标是是完成突触连接的高效分割和标注，在辅助手工标注以及编辑方面做了很多的优化，例如利用图像灰度进行自动分割等，目前的支持分割的神经元结构有轴突、树突、线粒体、囊泡。 对于标注好的结构，Espina内还提供了可视化展示和初步的统计分析功能，相关数据可以导出做进一步处理。 因此，Espina适用于小规模数据的形态分割与标注，在标注效率上会有很大提升。【详细】

  • VAST
    VAST56由Sebastian Seung实验室和Jeff Lichtman实验室联合开发，可在windows平台上用于大规模连接组学的手工标注（链接）。 软件并不开源，但是可以免费使用，目前需要提供使用者的简单信息才能获得下载链接，解压即可使用，具体的使用方法可以通过教学视频或用户手册获得。 VAST使用了诸如跨层填充等辅助手段来提高手工标注的准确性和效率，其像素级的标注结果管理方式，还支持对其他算法自动分割的结果进行人工校对。 在数据处理通量方面，VAST能够预先生成下采样图像，通过分级纹理映射方式提高数据的读取效率，同时还支持读取在线数据的模式，极大地提升了可分析的数据规模。 尽管VAST是单机标注软件，但是通过协定标注规则，也能够实现多人合作标注，因此非常适用于大规模连接组学数据的手工标注。 对于高阶用户，VAST还提供了记录详尽的应用程序接口（Application Program Interface，API）来进行数据和指令交互，具有很好的扩展性。【详细】

  • ilastik
    ilastik（Interactive learning and segmentation toolkit, ilastik）78是一款提供交互式学习和分割功能的软件包，目前软件由Anna Kreshuk实验室维护和开发（链接），支持跨平台运行（后续的版本可能不再支持Mac系统）。 顾名思义，ilastik的特点是通过交互的方式完成机器学习过程，进一步支持自动化的分割任务。为了降低对用户预备知识要求，ilastik将深度学习方法封装成预先定义好的交互式操作流程，用户只需要按照流程进行鼠标操作即可完成数据标注，学习和分割预测的过程。 ilastik不仅可以用于图像分割，现有操作流程还支持基于分割的目标追踪和密度计算。 适用于三维电镜重构的操作流程包括像素分类（Pixel classification），目标分类（Object classification），雕琢（Carving），突触检测（IIBoost Synapse Detection）等。 ilastik内置的每一项操作流程都提供了对应的视频或图文教程来介绍最基本的操作过程以及算法的基本原理。 在最关键的参数设置阶段，ilastik提供实时更新（Live update）选项来反馈不同参数下的分割结果，极大地便利了用户对于参数的理解和设置。 目前稳定版本的ilastik对于机器内存有较大的依赖，处理大规模数据较为棘手，对于小规模三维电镜形态重构，ilastik是非常值得尝试的选择之一。【详细】

  • knossos
    KNOSSOS9是马克斯普朗克医学研究所开发三维电镜标注工具（链接），采用了骨架化的标注形式，即仅通过一个节点（Node）来标注平面内的目标结构，并通过边（Edge）连接相邻节点最终形成目标的骨架化表示。 KNOSSOS可跨平台运行，同样采用了更利于标注的三维正交数据呈现方式，而且在数据加载时，仅加载当前视野附近的数据而非完整数据，极大地减轻了对内存的依赖，因而能够实现更大规模的数据标注。 特殊的数据加载方式也对数据格式提出了要求，KNOSSOS仅能读取预定格式的数据，在使用前需要预先通过官方提供的数据转换工具knossos_cuber（链接）进行格式转换。KNOSSOS提供了快速开始和完整文档两份使用教程方便用户学习，但是目前的文档和最近的软件版本并不一致，尽管主要内容基本一致，但是部分因版本升级引起的细节差异需要在阅读时注意甄别。 骨架化的标注方式缺乏对形态数据的完整描述，但相比像素标注来说需要更少的人工标注量，而且这种稀疏的标注方式也有助于提高标注的准确性，因而在实际工作中能够显著提升数据标注速度，因此KNOSSOS适用于更关注数据中神经连接关系的连接组学重构项目。【详细】

  • pyknossos
    pyKNOSSOS10是Adrian A. Wanner在KNOSSOS基础上开发的python版本，以便更高效的代码开发和扩展（链接），但是从其代码仓的状态来看，可能已经失去了稳定维护与更新。

  • webknossos
    webKnossos11是另一项由KNOSSOS衍生的项目，由马克斯普朗克脑研究所 Moritz Helmstaedter实验室与Scalable Minds公司合作开发，相较于KNOSSOS有很多改进和提升（链接）。 webKnossos是基于浏览器的开源标注工具，用户端无需任何安装过程，可以直接通过浏览器进行访问和使用。 对于服务器端的安装，可以通过官方提供的Docker和对应的教程来完成，但这通常需要额外的技术支持。 因此最简单的使用方式即在官方网站完成用户注册，直接访问和使用官方提供的服务。用户可以在一定限制份额内上传自己的数据并享用所有的数据操作权限。 webKnossos提供了正交模式（Orthogonal），任意角度模式（Oblique）和飞行模式（Flight）三种数据呈现方式，用户可根据需求和个人喜好进行切换。 webKnossos保留了KNOSSOS的骨架化标注方式，并新添加了像素标注模式，对于标注结果的编辑、修改、分享都做了优化升级。 在标注指导方面，官方提供了视频，图文教程，并且在对应的功能页面都有相关的操作提示，帮助用户快速高效地熟悉软件功能，而且目前还有非常活跃的社区支持。 基于浏览器的工作模式进一步剥离了数据对于内存或本地存储的依赖，通过服务器端的高效数据存取以及不同颗粒度的任务分配机制，webKnossos毫无疑问是当前领域内完成大规模连接组学重构的最佳工具之一，并且已经完成并正在承担许多大规模连接组学重构项目。【详细】

  • catmaid
    CATMAID（The Collaborative Annotation Toolkit for Massive Amounts of Image Data）12是马克斯普朗克分子细胞生物学和遗传学研究所Pavel Tomancak研究组以及其合作者开发的，针对大规模图像集的多人联合标注开源工具（链接）。 CAIMAID采用了骨架化标注模式和谷歌地图启发的页面展示方式，结合分布式数据存储实现了大规模数据的浏览和多人联合标注。 CAIMAID目前没有提供官方的服务器端，用户需要自己完成服务器配置，尽管官方提供了配置教程，但是这通常需要有具有专业知识的人员来协助完成。 在网页端的使用教程方面，官方提供了完整的文字说明，但是在视频教程方面略显不足，存在一定的学习瓶颈。 尽管如此，相对于webKnossos来说，CATMAID对读入的数据要求不高，并且有完整的上游开源工具链，和图像处理工具TrakEM2有天然的承接关系，因此目前也被广泛应用于连接组学重构项目中。【详细】

  • viking
    Viking13是犹他大学Robert Marc实验室开发的基于网络的多用户标注系统（链接）。 使用Viking需要同时安装客户端和服务器端，客户端在下载后按照指示即可完成安装，目前仅支持Windows系统，服务器端的安装较为复杂，需要专业人员支持。 Viking同样有完整的上游工具链，即同实验室开发的NORNIR数据配准工具。 在标注方式上，Viking使用介于骨架化标注和像素标注之间的标注规则，采用内切圆的标注方式，可以同时获得神经结构的较为准确的形态信息以及神经环路的连接信息。 然而Viking存在和NORNIR相同的问题，即由于开发力量有限导致后续开发缓慢，技术支持不及时，这在很大程度上影响了其在连接组学领域的推广和应用。【详细】

深度学习方案

形态重构是连接组学研究的核心，为了实现更加自动化的连接组学形态重构，研究人员进行了诸多探索和尝试。 在图像分割任务上最具代表的模型有FCN14、U-Net15、FFN16，均利用卷积神经网络的监督式学习方法获得图像的多级特征，进而实现图像分割任务。 在图像标注任务中，主要采用的是一些主流的目标检测算法，例如Fast-RCNN17, Mask-RCNN18, YOLO19等。 这些都属于监督式的方法，对数据标注有很大的依赖，目前可用于分割训练的标注数据有ISBI201220，SNEMI3D21，CREMI22以及U-RISC23等，可用于检测训练的标注数据集有AxonEM24，MitoEM25等。 这些方法和数据集给连接组学形态重构带来了革命性的变化，但是在准确性和鲁棒性上仍然落后于人类标注员，人工标注依然是连接组学形态重构阶段的黄金准则，因此目前这类深度学习的重构结果依旧需要进行人工审核和矫正，尽管如此，这依然是未来连接组学形态重构工作的主要发展方向。【内容扩展👉】

  1. John C Fiala. Reconstruct: a free editor for serial section microscopy. Journal of microscopy, 218(1):52–61, 2005. ↩

  2. Paul A Yushkevich, Joseph Piven, Heather Cody Hazlett, Rachel Gimpel Smith, Sean Ho, James C Gee, and Guido Gerig. User-guided 3d active contour segmentation of anatomical structures: significantly improved efficiency and reliability. Neuroimage, 31(3):1116–1128, 2006. ↩

  3. Paul A Yushkevich, Yang Gao, and Guido Gerig. Itk-snap: an interactive tool for semi-automatic segmentation of multi-modality biomedical images. In 2016 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), 3342–3345. IEEE, 2016. ↩

  4. Juan Morales, Lidia Alonso-Nanclares, José-Rodrigo Rodríguez, Javier DeFelipe, Ángel Rodríguez, and Ángel Merchán-Pérez. Espina: a tool for the automated segmentation and counting of synapses in large stacks of electron microscopy images. Frontiers in neuroanatomy, 5:18, 2011. ↩

  5. Narayanan Kasthuri, Kenneth Jeffrey Hayworth, Daniel Raimund Berger, Richard Lee Schalek, José Angel Conchello, Seymour Knowles-Barley, Dongil Lee, Amelio Vázquez-Reina, Verena Kaynig, Thouis Raymond Jones, and others. Saturated reconstruction of a volume of neocortex. Cell, 162(3):648–661, 2015. ↩

  6. Daniel R Berger, H Sebastian Seung, and Jeff W Lichtman. Vast (volume annotation and segmentation tool): efficient manual and semi-automatic labeling of large 3d image stacks. Frontiers in neural circuits, 12:88, 2018. ↩

  7. Christoph Sommer, Christoph Straehle, Ullrich Koethe, and Fred A Hamprecht. Ilastik: interactive learning and segmentation toolkit. In 2011 IEEE international symposium on biomedical imaging: From nano to macro, 230–233. IEEE, 2011. ↩

  8. Stuart Berg, Dominik Kutra, Thorben Kroeger, Christoph N Straehle, Bernhard X Kausler, Carsten Haubold, Martin Schiegg, Janez Ales, Thorsten Beier, Markus Rudy, and others. Ilastik: interactive machine learning for (bio) image analysis. Nature Methods, 16(12):1226–1232, 2019. ↩

  9. Moritz Helmstaedter, Kevin L Briggman, and Winfried Denk. High-accuracy neurite reconstruction for high-throughput neuroanatomy. Nature neuroscience, 14(8):1081–1088, 2011. ↩

  10. Adrian A Wanner, Christel Genoud, and Rainer W Friedrich. 3-dimensional electron microscopic imaging of the zebrafish olfactory bulb and dense reconstruction of neurons. Scientific data, 3(1):1–15, 2016. ↩

  11. Kevin M Boergens, Manuel Berning, Tom Bocklisch, Dominic Bräunlein, Florian Drawitsch, Johannes Frohnhofen, Tom Herold, Philipp Otto, Norman Rzepka, Thomas Werkmeister, and others. Webknossos: efficient online 3d data annotation for connectomics. nature methods, 14(7):691–694, 2017. ↩

  12. Stephan Saalfeld, Albert Cardona, Volker Hartenstein, and Pavel Tomančák. Catmaid: collaborative annotation toolkit for massive amounts of image data. Bioinformatics, 25(15):1984–1986, 2009. ↩

  13. James R Anderson, Shoeb Mohammed, Bradley Grimm, Bryan W Jones, Pavel Koshevoy, Tolga Tasdizen, Ross Whitaker, and Robert E Marc. The viking viewer for connectomics: scalable multi-user annotation and summarization of large volume data sets. Journal of microscopy, 241(1):13–28, 2011. ↩

  14. Jonathan Long, Evan Shelhamer, and Trevor Darrell. Fully convolutional networks for semantic segmentation. In Proceedings of the IEEE conference on computer vision and pattern recognition, 3431–3440. 2015. ↩

  15. Olaf Ronneberger, Philipp Fischer, and Thomas Brox. U-net: convolutional networks for biomedical image segmentation. In International Conference on Medical image computing and computer-assisted intervention, 234–241. Springer, 2015. ↩

  16. Michał Januszewski, Jörgen Kornfeld, Peter H Li, Art Pope, Tim Blakely, Larry Lindsey, Jeremy Maitin-Shepard, Mike Tyka, Winfried Denk, and Viren Jain. High-precision automated reconstruction of neurons with flood-filling networks. Nature methods, 15(8):605–610, 2018. ↩

  17. Ross Girshick. Fast r-cnn. In Proceedings of the IEEE international conference on computer vision, 1440–1448. 2015. ↩

  18. Kaiming He, Georgia Gkioxari, Piotr Dollár, and Ross Girshick. Mask r-cnn. In Proceedings of the IEEE international conference on computer vision, 2961–2969. 2017. ↩

  19. Yunong Tian, Guodong Yang, Zhe Wang, Hao Wang, En Li, and Zize Liang. Apple detection during different growth stages in orchards using the improved yolo-v3 model. Computers and electronics in agriculture, 157:417–426, 2019. ↩

  20. Ignacio Arganda-Carreras, Srinivas C Turaga, Daniel R Berger, Dan Cireşan, Alessandro Giusti, Luca M Gambardella, Jürgen Schmidhuber, Dmitry Laptev, Sarvesh Dwivedi, Joachim M Buhmann, and others. Crowdsourcing the creation of image segmentation algorithms for connectomics. Frontiers in neuroanatomy, pages 142, 2015. ↩

  21. Kisuk Lee, Jonathan Zung, Peter Li, Viren Jain, and H Sebastian Seung. Superhuman accuracy on the snemi3d connectomics challenge. arXiv preprint arXiv:1706.00120, 2017. ↩

  22. J Funke, S Saalfeld, DD Bock, SC Turaga, and E Perlman. Miccai challenge on circuit reconstruction from electron microscopy images. 2016. ↩

  23. Ruohua Shi, Wenyao Wang, Zhixuan Li, Liuyuan He, Kaiwen Sheng, Lei Ma, Kai Du, Tingting Jiang, and Tiejun Huang. U-risc: an annotated ultra-high-resolution electron microscopy dataset challenging the existing deep learning algorithms. Frontiers in computational neuroscience, 2022. ↩

  24. Donglai Wei, Kisuk Lee, Hanyu Li, Ran Lu, J Alexander Bae, Zequan Liu, Lifu Zhang, Márcia dos Santos, Zudi Lin, Thomas Uram, and others. Axonem dataset: 3d axon instance segmentation of brain cortical regions. In International Conference on Medical Image Computing and Computer-Assisted Intervention, 175–185. Springer, 2021. ↩

  25. Donglai Wei, Zudi Lin, Daniel Franco-Barranco, Nils Wendt, Xingyu Liu, Wenjie Yin, Xin Huang, Aarush Gupta, Won-Dong Jang, Xueying Wang, and others. Mitoem dataset: large-scale 3d mitochondria instance segmentation from em images. In International Conference on Medical Image Computing and Computer-Assisted Intervention, 66–76. Springer, 2020. ↩