これは、1つのトモグラムの一部をトレーニング入力として使用して、クライオ電子線トモグラムの多クラスセグメンテーションのためのマルチスライスU-Netをトレーニングする方法です。このネットワークを他のトモグラムに推測する方法と、サブトモグラムの平均化やフィラメントトレースなどのさらなる分析のためにセグメンテーションを抽出する方法について説明します。
クライオ電子線トモグラフィー(クライオET)により、研究者は天然の水和状態の細胞を現在可能な最高の解像度でイメージングできます。ただし、この手法にはいくつかの制限があり、生成するデータの分析には時間がかかり、困難になります。1つの断層撮影に数時間から数日かかることがありますが、顕微鏡では1日に50個以上の断層撮影を簡単に生成できます。現在のクライオETのディープラーニングセグメンテーションプログラムは存在しますが、一度に1つの構造をセグメント化することに制限されています。ここでは、マルチスライスU-Net畳み込みニューラルネットワークをトレーニングして適用し、クライオトモグラム内で複数の構造を同時に自動的にセグメント化します。適切な前処理により、これらのネットワークは、トモグラムごとに個々のネットワークをトレーニングすることなく、多くのトモグラムに対して堅牢に推論できます。このワークフローは、ほとんどの場合、セグメンテーション時間を30分未満に短縮することにより、クライオ電子断層撮影の分析速度を劇的に向上させます。さらに、セグメンテーションを使用して、細胞コンテキスト内のフィラメントトレースの精度を向上させ、サブトモグラム平均化のための座標を迅速に抽出することができます。
過去10年間のハードウェアとソフトウェアの開発は、クライオ電子顕微鏡(クライオEM)1,2の「分解能革命」をもたらしました。より優れた、より高速な検出器3、データ収集を自動化するソフトウェア4,5、および位相プレート6などの信号ブーストの進歩により、大量の高解像度クライオEMデータの収集は比較的簡単です。
クライオETは、天然の水和状態で細胞の微細構造に関する前例のない洞察を提供します7、8、9、10。主な制限はサンプルの厚さですが、トモグラフィー11のために厚い細胞および組織サンプルを薄くする集束イオンビーム(FIB)ミリングなどの方法の採用により、クライオETでイメージングできるものの視野は絶えず拡大しています。最新の顕微鏡は1日に50トモグラムをはるかに超えるトモグラムを生成することができ、この速度は迅速なデータ収集スキームの開発により増加すると予測されています12,13。クライオETによって生成された膨大な量のデータを分析することは、このイメージングモダリティのボトルネックのままです。
断層情報を定量的に分析するには、最初に注釈を付ける必要があります。従来、これには専門家による手作業によるセグメンテーションが必要であり、時間がかかります。クライオトモグラムに含まれる分子の複雑さによっては、専用の注意に数時間から数日かかる場合があります。人工ニューラルネットワークは、セグメンテーション作業の大部分をわずかな時間で実行するようにトレーニングできるため、この問題に対する魅力的なソリューションです。畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンタスク14に特に適しており、最近、クライオ電子断層撮影15,16,17の分析に適応されています。
従来のCNNでは、何千もの注釈付きトレーニングサンプルが必要ですが、生物学的画像解析タスクでは不可能なことがよくあります。したがって、U-Netアーキテクチャは、ネットワークを正常にトレーニングするためにデータ拡張に依存し、大規模なトレーニングセットへの依存を最小限に抑えるため、このスペース18 で優れています。たとえば、U-Netアーキテクチャは、1つのトモグラムのほんの数スライス(4つまたは5つのスライス)でトレーニングでき、再トレーニングなしで他のトモグラムに対して堅牢に推論できます。このプロトコルは、Dragonfly 2022.119内で電子クライオトモグラムをセグメント化するためにU-Netニューラルネットワークアーキテクチャをトレーニングするためのステップバイステップガイドを提供します。
Dragonflyは、深層学習モデルによる3次元画像のセグメンテーションや解析に使用される商用開発のソフトウェアで、学術的に自由に利用できます(地理的な制限があります)。高度なグラフィカルインターフェイスを備えているため、専門家でなくても、セマンティックセグメンテーションと画像のノイズ除去の両方でディープラーニングの力を最大限に活用できます。このプロトコルは、人工ニューラルネットワークをトレーニングするためにDragonfly内でクライオ電子線トモグラムを前処理して注釈を付ける方法を示し、大規模なデータセットを迅速にセグメント化するために推測できます。さらに、フィラメントトレースやサブトモグラム平均化のための座標抽出などのさらなる分析のためにセグメント化されたデータを使用する方法について簡単に説明します。
このプロトコルでは、Dragonfly 2022.1 ソフトウェアを使用して 1 つのトモグラムから多クラス U-Net をトレーニングする手順と、同じデータセットからのものである必要のない他のトモグラムに対してそのネットワークを推測する方法について説明します。トレーニングは比較的速く(トレーニングされているネットワークと使用されているハードウェアによって、エポックあたり3〜5分、または数時間遅くなる可能性があります)、学習を改善するためにネットワークを再トレーニングすることは直感的です。前処理ステップがすべての断層像に対して実行される限り、推論は通常堅牢です。
一貫性のある前処理は、ディープラーニング推論の最も重要なステップです。ソフトウェアには多くのイメージングフィルターがあり、ユーザーは実験して、特定のデータセットに最適なフィルターを判断できます。トレーニング断層撮影で使用されるフィルタリングは、推論断層撮影にも同じ方法で適用する必要があることに注意してください。また、ネットワークに正確で十分なトレーニング情報を提供するように注意する必要があります。トレーニングスライス内でセグメント化されたすべての特徴を可能な限り慎重かつ正確にセグメント化することが重要です。
画像のセグメンテーションは、洗練された商用グレードのユーザーインターフェイスによって促進されます。ハンドセグメンテーションに必要なすべてのツールを提供し、トレーニングと再トレーニングの前に、あるクラスから別のクラスにボクセルを簡単に再割り当てできます。ユーザーは、トモグラムのコンテキスト全体内でボクセルを手動でセグメント化することができ、複数のビューとボリュームを自由に回転させる機能が与えられます。さらに、このソフトウェアは、複数のシングルクラスネットワークでセグメント化するよりも優れた16 を実行し、高速であるマルチクラスネットワークを使用する機能を提供します。
もちろん、ニューラルネットワークの機能には制限があります。クライオETデータは、本質的に非常にノイズが多く、角度サンプリングが制限されているため、同一のオブジェクト21に向き固有の歪みが生じます。トレーニングは、構造を正確に手作業でセグメント化するために専門家に依存しており、成功したネットワークは、与えられたトレーニングデータと同じくらい良い(または悪い)だけです。信号をブーストするための画像フィルタリングはトレーナーに役立ちますが、特定の構造のすべてのピクセルを正確に識別することが困難な場合がまだたくさんあります。したがって、トレーニングセグメンテーションを作成する際には、ネットワークがトレーニング中に学習できる最良の情報を持つように細心の注意を払うことが重要です。
このワークフローは、各ユーザーの好みに合わせて簡単に変更できます。すべての断層撮影をまったく同じ方法で前処理することが不可欠ですが、プロトコルで使用される正確なフィルタを使用する必要はありません。ソフトウェアには多数の画像フィルタリングオプションがあり、多くの断層撮影にまたがる大規模なセグメンテーションプロジェクトに着手する前に、ユーザーの特定のデータに合わせてこれらを最適化することをお勧めします。また、このラボのデータにはマルチスライス U-Net が最適に機能することがわかっていますが、別のユーザーは別のアーキテクチャ (3D U-Net や Sensor 3D など) の方が適していると感じるかもしれません。セグメンテーションウィザードは、同じトレーニングデータを使用して複数のネットワークのパフォーマンスを比較するための便利なインターフェイスを提供します。
ここで紹介するようなツールは、完全な断層撮影の手のセグメンテーションを過去のタスクにします。十分に訓練されたニューラルネットワークが堅牢に推測できるため、顕微鏡が収集できる限り迅速に断層撮影データを再構築、処理、および完全にセグメント化するワークフローを作成することは完全に可能です。
The authors have nothing to disclose.
この研究は、ペンシルベニア州立医科大学と生化学分子生物学部、およびタバコ決済基金(TSF)の助成金4100079742-EXTの支援を受けました。このプロジェクトで使用されたCryoEMおよびCryoETコア(RRID:SCR_021178)のサービスと機器は、ペンシルベニア州立大学医学部から研究および大学院生の副学部長のオフィス および ペンシルベニア州保健省を通じて、タバコ決済基金(CURE)を使用して資金提供されました。内容は著者の責任であり、必ずしも大学または医学部の公式見解を表すものではありません。ペンシルベニア州保健局は、分析、解釈、または結論に対する責任を明確に否認します。
Dragonfly 2022.1 | Object Research Systems | https://www.theobjects.com/dragonfly/index.html | |
E18 Rat Dissociated Hippocampus | Transnetyx Tissue | KTSDEDHP | https://tissue.transnetyx.com/faqs |
IMOD | University of Colorado | https://bio3d.colorado.edu/imod/ | |
Intel® Xeon® Gold 6124 CPU 3.2GHz | Intel | https://www.intel.com/content/www/us/en/products/sku/120493/intel-xeon-gold-6134-processor-24-75m-cache-3-20-ghz/specifications.html | |
NVIDIA Quadro P4000 | NVIDIA | https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/productspage/quadro/quadro-desktop/quadro-pascal-p4000-data-sheet-a4-nvidia-704358-r2-web.pdf | |
Windows 10 Enterprise 2016 | Microsoft | https://www.microsoft.com/en-us/evalcenter/evaluate-windows-10-enterprise | |
Workstation Minimum Requirements | https://theobjects.com/dragonfly/system-requirements.html |