讨论
实际连接组学图像处理任务更加复杂，需要更加细致的解决方案以及更加个性化的专业支持
连接组学是建立在神经形态学基础上的一门新兴交叉学科，神经形态学具有悠久的研究历史以及完备的技术支持，而如今完成一项连接组学项目，从样品制备开始到数据分析结束，通常需要在神经形态学以外多个学科的研究人员紧密合作下才能顺利完成。 推动连接组学领域成熟的首要原因是成像技术的快速发展，伴随而来的是研究规模和数据通量不断扩大，原本用于传统神经形态学的处理方式已经难以承载连接组学的数据处理需求，成为了目前限制该领域进一步发展的主要瓶颈。 本文着眼于连接组学图像处理，按照其一般处理流程，系统性地梳理了从原始电镜数据到重构数据之间每一步操作中的软件工具（表2）。 这些工具的可靠性已经被大量的项目应用所验证，而且均可通过网络开放获取，工具的安装和使用都有相对完善的教程，对于非图像处理专业人士非常友好。研究人员可以根据研究项目需求，组合相关工具完成完整的图像处理过程。
本文针对连接组学图像处理的一般流程进行了重点描述，然而在实际连接组学图像处理的过程中，问题往往更加复杂，需要更加细致的解决方案以及更加个性化的专业支持，一些问题尚无有效解决方案，这些特殊情况将在本章节进行讨论：
图像缺陷
连接组学的制样和成像过程，特别是切片后成像技术，会引入各式各样的图像缺陷，这是影响图像自动化处理过程的关键因素之一1。 其中，因透镜畸变引起图像缺陷属于比较稳定的系统误差，可以通过高冗余重叠图像建模后进行修正2。 因染色导致的图像污染属于较轻的随机误差，不会对切片结构进行破坏，处理难度视具体污染程度而定。 因物理切片造成的切片结构变化属于较严重的随机误差范畴，如果仅是一定程度内的图像拉伸和皱缩，通常能够被图像重构算法所容忍；但是如果造成了实质性的结构破坏，如图像撕裂或图像褶皱，目前尚无有效的修复方案，缺陷图像会明显影响后续的图像拼接和图像对齐过程，因而为了获取更高质量的图像重构结果，在实际工作中往往会将受损图像丢弃，然后按照切片缺失来进行处理。而切片丢失也确实是连接组学图像采集阶段不可避免的问题之一，但是只要丢失的切片数量在一定范围内，都不会对后续的处理造成太大影响。目前，有很多基于深度学习的方法，在对有数据缺失的图像进行结构重构时展现出更好的表现3，这或许是彻底解决连接组学图像缺陷的一条可循之路。【内容扩展👉】
多模态融合
连接组学研究最有争议的一点是其投入产出比不高4，尽管在数据采集和分析阶段耗费了大量人力物力，但是其结果仅能反映神经系统某一时刻的静态结构数据，难以充分解释神经系统工作机制。有关争议的学术讨论并非本文主要内容，读者可自行关注两场著名的学术辩论（Anthony Movshon vs. Moritz Helmstaedter，Sebastian Seung vs. Tony Movshon）。为了能够将神经系统的结构数据和功能数据相融合，出现了一个新的连接组学研究范式——功能连接组学（Functional connectomics）5。功能连接组学要求对不同成像模态的数据进行高质量对齐，而这是一项具有复杂挑战的任务。简单来说，目前缺乏有效算法寻找不同的数据模态图像之间的对应点，因此在目前的功能连接组学配准过程中需要提前人为标注大量的关键特征点来辅助算法完成6。如何更有效地实现跨模态数据配准将是推广功能连接组学应用的关键之一。【内容扩展👉】
大数据挑战
目前的连接组学领域内已经存在太字节（Terabyte）78和拍字节（Petabyte）6规模的项目。如此大规模的数据通量对连接组学图像处理提出了严峻的考验9。针对大规模数据的挑战，在数据管理方面，DVID（Distributed Versioned Image-Oriented Dataservice）10以及Boss（Brain Observatory Storage Service）11都是较为常用的方案，能够支持大规模数据的云端存储以及高效调用；在图像重构方面，ASAP（Assembly Stitching and Alignment Pipeline）12和SEAMLeSS（Siamese Encoding and Alignment by Multiscale Learning with Self Supervision）13 都能够 在分布式集群上通过并行计算实现超大规模数据的图像重构；在数据重构方面，已有webKnossos14、CATMAID15等支持基于网络的标注工具实现大规模数据的多人协同标注。然而这些方案的实施和维护均需要额外的专业技术人员来完成。【内容扩展👉】
综上所述，本文为连接组学图像的一般处理流程提供了工具选择，适用于完成绝大多数实验室规模的连接组学研究项目，然而作为一项数据驱动的学科，从未经处理的原始电镜数据到可供科研人员挖掘的数据之间，连接组学的图像处理仍然存在诸多障碍需要克服，特别是大规模连接组学带来的挑战需要综合考虑硬件、算法、数据各方面因素，必须依赖多学科的紧密合作才能顺利完成。
√：代表工具常用的主要功能；o：代表除主要功能以外支持的其他功能.
W：Windows；L：Linux；M：Macintosh
-
Kisuk Lee, Nicholas Turner, Thomas Macrina, Jingpeng Wu, Ran Lu, and H Sebastian Seung. Convolutional nets for reconstructing neural circuits from brain images acquired by serial section electron microscopy. Current opinion in neurobiology, 55:188–198, 2019. ↩
-
Verena Kaynig, Bernd Fischer, Elisabeth Müller, and Joachim M Buhmann. Fully automatic stitching and distortion correction of transmission electron microscope images. Journal of structural biology, 171(2):163–173, 2010. ↩
-
Jan Funke, Fabian Tschopp, William Grisaitis, Arlo Sheridan, Chandan Singh, Stephan Saalfeld, and Srinivas C Turaga. Large scale image segmentation with structured loss based deep learning for connectome reconstruction. IEEE transactions on pattern analysis and machine intelligence, 41(7):1669–1680, 2018. ↩
-
Adam H Marblestone, Evan R Daugharthy, Reza Kalhor, Ian D Peikon, Justus M Kebschull, Seth L Shipman, Yuriy Mishchenko, Jehyuk Lee, David A Dalrymple, Bradley M Zamft, and others. Conneconomics: the economics of dense, large-scale, high-resolution neural connectomics. Biorxiv, pages 001214, 2014. ↩
-
H Sebastian Seung. Towards functional connectomics. Nature, 471(7337):171–172, 2011. ↩
-
J Alexander Bae, Mahaly Baptiste, Agnes L Bodor, Derrick Brittain, JoAnn Buchanan, Daniel J Bumbarger, Manuel A Castro, Brendan Celii, Erick Cobos, Forrest Collman, and others. Functional connectomics spanning multiple areas of mouse visual cortex. bioRxiv, 2021. ↩↩
-
Nicholas L Turner, Thomas Macrina, J Alexander Bae, Runzhe Yang, Alyssa M Wilson, Casey Schneider-Mizell, Kisuk Lee, Ran Lu, Jingpeng Wu, Agnes L Bodor, and others. Reconstruction of neocortex: organelles, compartments, cells, circuits, and activity. Cell, 185(6):1082–1100, 2022. ↩
-
Zhihao Zheng, J Scott Lauritzen, Eric Perlman, Camenzind G Robinson, Matthew Nichols, Daniel Milkie, Omar Torrens, John Price, Corey B Fisher, Nadiya Sharifi, and others. A complete electron microscopy volume of the brain of adult drosophila melanogaster. Cell, 174(3):730–743, 2018. ↩
-
Jeff W Lichtman, Hanspeter Pfister, and Nir Shavit. The big data challenges of connectomics. Nature neuroscience, 17(11):1448–1454, 2014. ↩
-
William T Katz and Stephen M Plaza. Dvid: distributed versioned image-oriented dataservice. Frontiers in neural circuits, pages 5, 2019. ↩
-
Robert Hider Jr, Dean Kleissas, Timothy Gion, Daniel Xenes, Jordan Matelsky, Derek Pryor, Luis Rodriguez, Erik C Johnson, William Gray-Roncal, and Brock Wester. The brain observatory storage service and database (bossdb): a cloud-native approach for petascale neuroscience discovery. Frontiers in Neuroinformatics, 2022. ↩
-
Gayathri Mahalingam, Russel Torres, Daniel Kapner, Eric T Trautman, Tim Fliss, Sharmishtaa Seshamani, Eric Perlman, Rob Young, Samuel Kinn, J Buchanan, and others. A scalable and modular automated pipeline for stitching of large electron microscopy datasets. bioRxiv, 2021. ↩
-
Sergiy Popovych, Thomas Macrina, Nico Kemnitz, Manuel Castro, Barak Nehoran, Zhen Jia, J Alexander Bae, Eric Mitchell, Shang Mu, Eric T Trautman, and others. Petascale pipeline for precise alignment of images from serial section electron microscopy. bioRxiv, 2022. ↩
-
Kevin M Boergens, Manuel Berning, Tom Bocklisch, Dominic Bräunlein, Florian Drawitsch, Johannes Frohnhofen, Tom Herold, Philipp Otto, Norman Rzepka, Thomas Werkmeister, and others. Webknossos: efficient online 3d data annotation for connectomics. nature methods, 14(7):691–694, 2017. ↩
-
Stephan Saalfeld, Albert Cardona, Volker Hartenstein, and Pavel Tomančák. Catmaid: collaborative annotation toolkit for massive amounts of image data. Bioinformatics, 25(15):1984–1986, 2009. ↩