תפיסת העומק האנושית של סרטוני סטריאו תלת-ממדיים תלויה בהפרדת המצלמה, בנקודת ההתכנסות, במרחק ובהיכרות עם האובייקט. מאמר זה מציג שיטה רובוטית לאיסוף נתוני בדיקה מהיר ואמין במהלך ניתוח לב פתוח חי כדי לקבוע את תצורת המצלמה האידיאלית.
סטריאו 3D וידאו מהליכים כירורגיים יכול להיות בעל ערך רב עבור חינוך רפואי ולשפר את התקשורת הקלינית. אבל הגישה לחדר הניתוח ולתחום הכירורגי מוגבלת. זוהי סביבה סטרילית, והמרחב הפיזי עמוס בצוות כירורגי וציוד טכני. בהגדרה זו, לכידה ללא הפרעה ורבייה מציאותית של ההליכים הכירורגיים קשה. מאמר זה מציג שיטה לאיסוף נתונים מהיר ואמין של סרטוני תלת-ממד סטריאוסקופיים במרחקים בסיסיים שונים של מצלמה ובמרחקים שונים של התכנסות. כדי לאסוף נתוני בדיקה עם הפרעה מינימלית במהלך הניתוח, עם דיוק גבוה ויכולת חזרה, המצלמות היו מחוברות לכל יד של רובוט בעל זרוע כפולה. הרובוט היה רכוב על התקרה בחדר הניתוח. זה היה מתוכנת לבצע רצף מתוזמן של תנועות מצלמה מסונכרנות צעד דרך מגוון של עמדות בדיקה עם מרחק בסיסי בין 50-240 מ”מ בשלבים מצטברים של 10 מ”מ, ובשני מרחקי התכנסות של 1100 מ”מ ו 1400 מ”מ. הניתוח הושהה כדי לאפשר 40 דגימות וידאו רצופות של 5 שניות. בסך הכל תועדו 10 תרחישים כירורגיים.
בניתוח, הדמיה תלת-ממדית יכולה לשמש לחינוך, לאבחנות, לתכנון טרום ניתוחי ולהערכה שלאחר הניתוח1,2. תפיסת עומק מציאותית יכולה לשפר את ההבנה 3,4,5,6 של אנטומיה נורמלית ולא נורמלית. הקלטות וידאו דו-ממדיות פשוטות של הליכים כירורגיים הן התחלה טובה. עם זאת, חוסר תפיסת עומק יכול להקשות על עמיתים שאינם כירורגיים להבין באופן מלא את היחסים האנטרו-אחוריים בין מבנים אנטומיים שונים ולכן גם להציג סיכון של פרשנות שגויה של האנטומיה7,8,9,10.
חוויית הצפייה בתלת-ממד מושפעת מחמישה גורמים: (1) תצורת המצלמה יכולה להיות מקבילה או מוקלטת כפי שמוצג באיור 1, (2) מרחק בסיסי (ההפרדה בין המצלמות). (3) מרחק למושא העניין ומאפייני סצנה אחרים כגון הרקע. (4) מאפיינים של התקני צפייה כגון גודל מסך ומיקום צפייה1,11,12,13.13. (5) העדפות אישיות של הצופים14,15.
עיצוב מערך מצלמה תלת-ממדית מתחיל בלכידת סרטוני בדיקה המתועדים במרחקים ותצורות בסיסיות שונות של המצלמה שישמשו להערכה סובייקטיבית או אוטומטית16,17,18,19,20. מרחק המצלמה חייב להיות קבוע לשדה הניתוח כדי ללכוד תמונות חדות. המוקד הקבוע עדיף מכיוון שמיקוד אוטומטי יותאם את עצמו להתמקדות בידיים, במכשירים או בראשים שעשויים להופיע. עם זאת, זה לא ניתן להשגה בקלות כאשר זירת העניין היא התחום הכירורגי. חדרי הניתוח הם אזורי גישה מוגבלים מכיוון שיש לשמור על מתקנים אלה נקיים וסטרייליים. ציוד טכני, מנתחים ואחיות לשפשף מקובצים לעתים קרובות מקרוב סביב המטופל כדי להבטיח סקירה חזותית טובה וזרימת עבודה יעילה. כדי להשוות ולהעריך את ההשפעה של מיקומי מצלמה על חוויית הצפייה בתלת-ממד, טווח בדיקה שלם אחד של מיקומי המצלמה צריך לתעד את אותה סצנה מכיוון שמאפייני האובייקט כגון צורה, גודל וצבע יכולים להשפיע על חוויית הצפייה בתלת-ממד21.
מאותה סיבה, טווחי בדיקה מלאים של עמדות מצלמה יש לחזור על הליכים כירורגיים שונים. יש לחזור על רצף המיקומים כולו בדיוק רב. בסביבה כירורגית, שיטות קיימות הדורשות התאמה ידנית של המרחק הבסיסי22 או זוגות מצלמה שונים עם מרחקים בסיסיים קבועים23 אינם אפשריים הן בגלל אילוצי שטח וזמן. כדי להתמודד עם אתגר זה, פתרון רובוטי זה תוכנן.
הנתונים נאספו עם רובוט תעשייתי דו-זרועי משותף שהותקן בתקרה בחדר הניתוח. המצלמות היו מחוברות לפרקי כף היד של הרובוט ונעו לאורך מסלול בצורת קשת עם מרחק בסיסי הולך וגדל, כפי שמוצג באיור 2.
כדי להדגים את הגישה, 10 סדרות בדיקה נרשמו מ 4 חולים שונים עם 4 מומים מולדים שונים בלב. סצנות נבחרו כאשר הפסקה בניתוח הייתה אפשרית: עם הלבבות הפועמים ממש לפני ואחרי תיקון כירורגי. הסדרות נעשו גם כאשר הלבבות נעצרו. הניתוחים הושהו למשך 3 דקות ו -20 שניות כדי לאסוף ארבעים 5-ssequences עם מרחקי התכנסות מצלמה שונים ומרחקים בסיסיים כדי ללכוד את הסצנה. הסרטונים עוצבו מאוחר יותר לאחר עיבוד, הוצגו בתלת-ממד עבור הצוות הקליני, שדירג עד כמה הסרטון התלת-ממדי היה מציאותי לאורך סולם מ-0-5.
נקודת ההתכנסות של מצלמות סטריאו מושקעות היא המקום שבו נפגשות נקודות המרכז של שתי התמונות. נקודת ההתכנסות יכולה, לפי עיקרון, להיות ממוקמת מלפנים, בתוך או מאחורי האובייקט, ראה איור 1A.C. כאשר נקודת ההתכנסות נמצאת מול האובייקט, האובייקט יילכד ויוצג משמאל לקו האמצע לתמונת המצלמה השמאלית ומימין לקו האמצע לתמונת המצלמה הימנית (איור 1A). ההפך חל כאשר נקודת ההתכנסות נמצאת מאחורי האובייקט (איור 1B). כאשר נקודת ההתכנסות נמצאת על האובייקט, האובייקט יופיע גם בקו האמצע של תמונות המצלמה (איור 1C), מה שככל הנראה אמור להניב את הצפייה הנוחה ביותר מכיוון שאין צורך בפזילה כדי למזג את התמונות. כדי להשיג וידאו סטריאו 3D נוח, נקודת ההתכנסות חייבת להיות ממוקמת על, או מעט מאחור, את מושא העניין, אחרת הצופה נדרש לפזול מרצון כלפי חוץ (exotropia).
הנתונים נאספו באמצעות רובוט תעשייתי דו-זרועי שיתופי כדי למקם את המצלמות (איור 2A-B). הרובוט שוקל 38 ק”ג ללא ציוד. הרובוט בטוח באופן מהותי; כאשר הוא מזהה פגיעה בלתי צפויה, הוא מפסיק לנוע. הרובוט תוכנת למקם את מצלמות 5 מגה פיקסל עם עדשות C-mount לאורך מסלול בצורת קשת שעוצר במרחקים בסיסיים קבועים מראש (איור 2C). המצלמות היו מחוברות לידי הרובוט באמצעות לוחות מתאם, כפי שמוצג באיור 3. כל מצלמה מוקלטת ב-25 פריימים לשנייה. עדשות נקבעו ב f-stop 1/8 עם דגש קבוע על מושא העניין (מרכז גיאומטרי משוער של הלב). לכל מסגרת תמונה הייתה חותמת זמן ששימשה לסינכרון שני זרמי הווידאו.
היסט בין פרק כף היד של הרובוט למצלמה כויל. ניתן להשיג זאת על ידי יישור הכוונת של תמונות המצלמה, כפי שמוצג באיור 4. במערך זה, ההיסט התרגומי הכולל מנקודת ההרכבה על פרק כף היד של הרובוט ומרכז חיישן תמונת המצלמה היה 55.3 מ”מ בכוון X ו-21.2 מ”מ בכיוון Z, המוצג באיור 5. ההיסט הסיבובי כויל במרחק התכנסות של 1100 מ”מ ומרחק בסיסי של 50 מ”מ והותאם ידנית עם הג’ויסטיק בלוח הבקרה הרובוטי. הרובוט במחקר זה היה דיוק שצוין של 0.02 מ”מ בחלל קרטזי ו 0.01 מעלות סיבוב רזולוציה סיבובית24. ברדיוס של 1100 מ’, הפרש זווית של 0.01 מעלות מקזז את נקודת המרכז 0.2 מ”מ. במהלך תנועת הרובוט המלאה מהפרדה של 50-240 מ”מ, הכוונת לכל מצלמה הייתה בטווח של 2 מ”מ ממרכז ההתכנסות האידיאלי.
המרחק הבסיסי הוגדל צעד אחד על ידי הפרדה סימטרית של המצלמות סביב מרכז שדה הראייה במרווחים של 10 מ”מ הנעים בין 50-240 מ”מ (איור 2). המצלמות הוחזקו בקיפאון במשך 5 שניות בכל תנוחה ועברו בין העמדות במהירות של 50 מ”מ/ש’. ניתן להתאים את נקודת ההתכנסות בכיווני X ו- Z באמצעות ממשק משתמש גרפי (איור 6). הרובוט פעל בהתאם בטווח העבודה שלו.
הדיוק של נקודת ההתכנסות הוערך באמצעות המשולשים האחידים ושמות המשתנים באיור 7A ו-B. הגובה ‘z’ חושב ממרחק ההתכנסות ‘R’ עם משפט פיתגורס כ
כאשר נקודת ההתכנסות האמיתית הייתה קרובה יותר מהנקודה הרצויה, כפי שמוצג באיור 7A, מרחק השגיאה ‘f1‘ חושב כ
באופן דומה, כאשר נקודת ההתכנסות הייתה דיסטלית לנקודה הרצויה, מרחק השגיאה ‘f2‘ חושב כ
כאן, ‘e’ הייתה ההפרדה המרבית בין הכוונת, לכל היותר 2 מ”מ בהפרדה בסיסית מקסימלית במהלך הכיול (D = 240 מ”מ). עבור R = 1100 מ”מ (z = 1093 מ”מ), השגיאה הייתה פחות ± 9.2 מ”מ. עבור R = 1400 מ”מ (z = 1395 מ”מ), השגיאה הייתה ± 11.7 מ”מ. כלומר, השגיאה של המיקום של נקודת ההתכנסות הייתה בתוך 1% של הרצוי. שני מרחקי הבדיקה של 1100 מ”מ ו 1400 מ”מ היו ולכן מופרדים היטב.
במהלך ניתוח חי, הזמן הכולל של הניסוי המשמש לאיסוף נתוני וידאו 3D הוגבל כדי להיות בטוח עבור המטופל. אם האובייקט אינו ממוקד או חשיפת יתר, אין אפשרות להשתמש בנתונים. השלבים הקריטיים הם במהלך כיול והגדרה של כלי מצלמה (שלב 2). לא ניתן לשנות את הצמצם והמיקוד של המצלמה כאשר הניתוח החל; יש להשתמש באותם…
The authors have nothing to disclose.
המחקר נערך במימון Vinnova (2017-03728, 2018-05302 ו-2018-03651), קרן לב-ריאה (20180390), קרן קמפרד המשפחתית (20190194) וקרן אנה-ליסה וסוון אריק לונדגרן (2017 ו-2018).
2 C-mount lenses (35 mm F2.1, 5 M pixel) | Tamron | M112FM35 | Rated for 5 Mpixel |
3D glasses (DLP-link active shutter) | Celexon | G1000 | Any compatible 3D glasses can be used |
3D Projector | Viewsonic | X10-4K | Displays 3D in 1080, can be exchanged for other 3D projectors |
6 M2 x 8 screws | To attach the cXimea cameras to the camera adaptor plates | ||
8 M2.5 x 8 screws | To attach the circular mounting plates to the robot wrist | ||
8 M5 x 40 screws | To mount the robot | ||
8 M6 x 10 screws with flat heads | For attaching the circular mounting plate and the camera adaptor plates | ||
Calibration checker board plate (25 by 25 mm) | Any standard checkerboard can be used, including printed, as long as the grid is clearly visible in the cameras | ||
Camera adaptor plates, x2 | Designed by the authors in robot_camera_adaptor_plates.dwg, milled in aluminium. | ||
Circular mounting plates, x2 | Distributed with the permission of the designer Julius Klein and printed with ABS plastic on an FDM 3D printer. License Tecnalia Research & Innovation 2017. Attached as Mountingplate_ROBOT_SIDE_ NewDesign_4.stl |
||
Fix focus usb cameras, x2 (5 Mpixel) | Ximea | MC050CG-SY-UB | With Sony IMX250LQR sensor |
Flexpendant | ABB | 3HAC028357-001 | robot touch display |
Liveview | recording application | ||
RobotStudio | robot integrated development environment (IDE) | ||
USB3 active cables (10.0 m), x2 | Thumbscrew lock connector, water proofed. | ||
YuMi dual-arm robot | ABB | IRB14000 |