يعتمد إدراك العمق البشري لمقاطع فيديو ستيريو 3D على فصل الكاميرا ونقطة التقارب والمسافة إلى الكائن ومعرفته. تقدم هذه الورقة طريقة روبوتية لجمع بيانات الاختبار السريع والموثوق به أثناء جراحة القلب المفتوح الحية لتحديد التكوين المثالي للكاميرا.
يمكن أن يكون فيديو ستيريو 3D من العمليات الجراحية ذا قيمة عالية للتعليم الطبي وتحسين التواصل السريري. لكن الوصول إلى غرفة العمليات والمجال الجراحي مقيد. إنها بيئة معقمة ، والمساحة المادية مزدحمة بالموظفين الجراحيين والمعدات التقنية. في هذا السياق ، من الصعب التقاط الإجراءات الجراحية دون حجبها واستنساخها واقعيا. تقدم هذه الورقة طريقة لجمع البيانات بسرعة وموثوقية لمقاطع الفيديو المجسمة 3D على مسافات خط أساس الكاميرا المختلفة ومسافات التقارب. لجمع بيانات الاختبار بأقل قدر من التداخل أثناء الجراحة ، بدقة عالية وقابلية للتكرار ، تم توصيل الكاميرات بكل يد من الروبوت ثنائي الذراع. كان الروبوت مثبتا في السقف في غرفة العمليات. تمت برمجته لأداء تسلسل زمني لحركات الكاميرا المتزامنة التي تخطو عبر مجموعة من مواضع الاختبار مع مسافة خط الأساس بين 50-240 مم عند خطوات تدريجية تبلغ 10 مم ، وعلى مسافة تقارب 1100 مم و 1400 مم. تم إيقاف الجراحة مؤقتا للسماح ب 40 عينة فيديو متتالية من 5 ثوان. تم تسجيل ما مجموعه 10 سيناريوهات جراحية.
في الجراحة ، يمكن استخدام التصور ثلاثي الأبعاد للتعليم والتشخيص والتخطيط قبل الجراحة وتقييم ما بعد الجراحة1,2. يمكن أن يحسن إدراك العمق الواقعي فهم3،4،5،6 من التشريح الطبيعي وغير الطبيعي. تسجيلات الفيديو 2D بسيطة من العمليات الجراحية هي بداية جيدة. ومع ذلك ، فإن عدم وجود إدراك للعمق يمكن أن يجعل من الصعب على الزملاء غير الجراحيين أن يفهموا تماما العلاقات الأمامية الخلفية بين الهياكل التشريحية المختلفة ، وبالتالي يقدمون أيضا خطر سوء تفسير التشريح7،8،9،10.
تتأثر تجربة المشاهدة ثلاثية الأبعاد بخمسة عوامل: (1) يمكن أن يكون تكوين الكاميرا إما متوازيا أو ملتصقا كما هو موضح في الشكل 1 ، (2) المسافة الأساسية (الفصل بين الكاميرات). (3) المسافة إلى موضوع الاهتمام وخصائص المشهد الأخرى مثل الخلفية. (4) خصائص أجهزة العرض مثل حجم الشاشة وموضع العرض1،11،12،13. (5) التفضيلات الفردية للمشاهدين14،15.
يبدأ تصميم إعداد كاميرا ثلاثية الأبعاد بالتقاط مقاطع فيديو تجريبية مسجلة على مسافات وتكوينات أساسية مختلفة للكاميرا لاستخدامها في التقييم الذاتي أو التلقائي16،17،18،19،20. يجب أن تكون مسافة الكاميرا ثابتة إلى المجال الجراحي لالتقاط صور حادة. يفضل التركيز البؤري الثابت لأن التركيز البؤري التلقائي سيتكيف للتركيز على اليدين أو الأدوات أو الرؤوس التي قد تظهر للعيان. ومع ذلك ، لا يمكن تحقيق ذلك بسهولة عندما يكون المشهد المثير للاهتمام هو المجال الجراحي. غرف العمليات هي مناطق مقيدة الوصول لأن هذه المرافق يجب أن تبقى نظيفة ومعقمة. غالبا ما يتم تجميع المعدات التقنية والجراحين وممرضات الفرك بشكل وثيق حول المريض لتأمين نظرة عامة بصرية جيدة وسير عمل فعال. لمقارنة وتقييم تأثير مواضع الكاميرا على تجربة المشاهدة ثلاثية الأبعاد، يجب أن يكون نطاق اختبار كامل لمواضع الكاميرا هو تسجيل نفس المشهد لأن خصائص الكائن مثل الشكل والحجم واللون يمكن أن تؤثر على تجربة المشاهدة ثلاثية الأبعاد21.
للسبب نفسه ، يجب تكرار نطاقات الاختبار الكاملة لمواضع الكاميرا في العمليات الجراحية المختلفة. يجب تكرار التسلسل الكامل للمواقف بدقة عالية. في الإعداد الجراحي، الطرق الحالية التي تتطلب إما تعديلا يدويا لمسافة خط الأساس22 أو أزواج كاميرات مختلفة ذات مسافات خط أساس ثابتة23 غير مجدية بسبب قيود المكان والزمان على حد سواء. لمواجهة هذا التحدي ، تم تصميم هذا الحل الآلي.
تم جمع البيانات باستخدام روبوت صناعي تعاوني ثنائي الذراع مثبت في السقف في غرفة العمليات. تم توصيل الكاميرات بمعصمي الروبوت وتحركت على طول مسار على شكل قوس مع زيادة مسافة خط الأساس ، كما هو موضح في الشكل 2.
لإثبات هذا النهج ، تم تسجيل 10 سلسلة اختبارات من 4 مرضى مختلفين يعانون من 4 عيوب خلقية مختلفة في القلب. تم اختيار المشاهد عندما كان التوقف مؤقتا في الجراحة ممكنا: مع القلوب النابضة قبل وبعد الإصلاح الجراحي مباشرة. كما تم إنتاج المسلسلات عندما تم القبض على القلوب. تم إيقاف العمليات الجراحية مؤقتا لمدة 3 دقائق و 20 ثانية لجمع أربعين سلسلة من 5 تسلسلات مع مسافات تقارب الكاميرا المختلفة ومسافات خط الأساس لالتقاط المشهد. تمت معالجة مقاطع الفيديو لاحقا بعد معالجتها ، وتم عرضها في 3D للفريق السريري ، الذي قيم مدى واقعية الفيديو ثلاثي الأبعاد على طول مقياس من 0-5.
نقطة التقاء كاميرات الاستريو ذات الأصابع هي المكان الذي تلتقي فيه النقاط المركزية لكلتا الصورتين. يمكن وضع نقطة التقارب ، من حيث المبدأ ، إما أمام الجسم أو داخله أو خلفه ، انظر الشكل 1A-C. عندما تكون نقطة التقارب أمام الكائن، سيتم التقاط الكائن وعرضه على يسار خط الوسط لصورة الكاميرا اليسرى ويمين خط الوسط لصورة الكاميرا اليمنى (الشكل 1A). وينطبق العكس عندما تكون نقطة التقارب خلف الكائن (الشكل 1B). عندما تكون نقطة التقارب على الكائن ، سيظهر الكائن أيضا في خط الوسط لصور الكاميرا (الشكل 1C) ، والذي يفترض أن ينتج عنه العرض الأكثر راحة نظرا لعدم الحاجة إلى التحديق لدمج الصور. لتحقيق فيديو ستيريو 3D مريح ، يجب أن تكون نقطة التقارب موجودة على ، أو خلف قليلا ، موضوع الاهتمام ، وإلا يطلب من المشاهد الحول طواعية إلى الخارج (exotropia).
تم جمع البيانات باستخدام روبوت صناعي تعاوني ثنائي الذراع لوضع الكاميرات (الشكل 2A-B). يزن الروبوت 38 كجم بدون معدات. الروبوت آمن في جوهره. عندما يكتشف تأثيرا غير متوقع ، فإنه يتوقف عن الحركة. تمت برمجة الروبوت لوضع الكاميرات بدقة 5 ميجابكسل مع عدسات C-mount على طول مسار على شكل قوس يتوقف عند مسافات خط الأساس المحددة مسبقا (الشكل 2C). تم توصيل الكاميرات بأيدي الروبوت باستخدام لوحات محول ، كما هو موضح في الشكل 3. تم تسجيل كل كاميرا بمعدل 25 إطارا في الثانية. تم ضبط العدسات على f-stop 1/8 مع التركيز الثابت على الكائن محل الاهتمام (المركز الهندسي التقريبي للقلب). يحتوي كل إطار صورة على طابع زمني تم استخدامه لمزامنة دفقي الفيديو.
تمت معايرة الإزاحات بين معصم الروبوت والكاميرا. يمكن تحقيق ذلك عن طريق محاذاة الشعيرات المتقاطعة لصور الكاميرا ، كما هو موضح في الشكل 4. في هذا الإعداد، كان إجمالي الإزاحة الانتقالية من نقطة التركيب على معصم الروبوت ومركز مستشعر صورة الكاميرا 55.3 مم في الاتجاه X و 21.2 مم في الاتجاه Z، المعروض في الشكل 5. تمت معايرة الإزاحات الدورانية على مسافة تقارب 1100 مم ومسافة خط أساس 50 مم وتم تعديلها يدويا باستخدام عصا التحكم الموجودة على لوحة تحكم الروبوت. كان للروبوت في هذه الدراسة دقة محددة تبلغ 0.02 مم في الفضاء الديكارتي ودقة دورانية تبلغ 0.01 درجة24. عند نصف قطر 1100 م ، يعوض فرق الزاوية البالغ 0.01 درجة نقطة المركز 0.2 مم. أثناء الحركة الكاملة للروبوت من فصل 50-240 مم ، كان التقاطع لكل كاميرا على بعد 2 مم من مركز التقارب المثالي.
وزادت المسافة الأساسية تدريجيا عن طريق الفصل المتماثل للكاميرات حول مركز مجال الرؤية بزيادات قدرها 10 ملم تتراوح بين 50-240 ملم (الشكل 2). تم الاحتفاظ بالكاميرات في حالة توقف تام لمدة 5 ثوان في كل موضع وتحركت بين المواضع بسرعة 50 مم / ثانية. ويمكن ضبط نقطة التقارب في الاتجاهين X وZ باستخدام واجهة مستخدم رسومية (الشكل 6). اتبع الروبوت وفقا لذلك ضمن نطاق عمله.
وقدرت دقة نقطة التقارب باستخدام المثلثات الموحدة وأسماء المتغيرات الواردة في الشكلين 7 ألف وباء. تم حساب الارتفاع “z” من مسافة التقارب “R” مع نظرية فيثاغورس على النحو التالي:
عندما تكون نقطة التقارب الحقيقية أقرب من النقطة المطلوبة، كما هو موضح في الشكل 7A، يتم حساب مسافة الخطأ “f1“ على النحو التالي:
وبالمثل ، عندما كانت نقطة التقارب بعيدة عن النقطة المطلوبة ، تم حساب مسافة الخطأ “f2“ على النحو التالي:
هنا ، كان “e” هو الحد الأقصى للفصل بين الشعيرات المتقاطعة ، على الأكثر 2 مم عند أقصى فصل خط الأساس أثناء المعايرة (D = 240 مم). بالنسبة إلى R = 1100 مم (z = 1093 مم)، كان الخطأ أقل من ± 9.2 مم. بالنسبة إلى R = 1400 مم (z = 1395 مم) ، كان الخطأ ± 11.7 مم. أي أن خطأ وضع نقطة التقارب كان في حدود 1٪ من المطلوب. وبالتالي تم فصل مسافتي الاختبار 1100 مم و 1400 مم بشكل جيد.
أثناء الجراحة الحية ، كان الوقت الإجمالي للتجربة المستخدمة لجمع بيانات الفيديو 3D محدودا ليكون آمنا للمريض. إذا كان الكائن غير مركز أو مفرط التعرض، فلا يمكن استخدام البيانات. تتمثل الخطوات الحاسمة أثناء معايرة أداة الكاميرا وإعدادها (الخطوة 2). لا يمكن تغيير فتحة الكاميرا والتركيز البؤري ع…
The authors have nothing to disclose.
تم إجراء البحث بتمويل من Vinnova (2017-03728 و 2018-05302 و 2018-03651) ومؤسسة القلب والرئة (20180390) ومؤسسة Family Kamprad Foundation (20190194) ومؤسسة Anna-Lisa و Sven Eric Lundgren Foundation (2017 و 2018).
2 C-mount lenses (35 mm F2.1, 5 M pixel) | Tamron | M112FM35 | Rated for 5 Mpixel |
3D glasses (DLP-link active shutter) | Celexon | G1000 | Any compatible 3D glasses can be used |
3D Projector | Viewsonic | X10-4K | Displays 3D in 1080, can be exchanged for other 3D projectors |
6 M2 x 8 screws | To attach the cXimea cameras to the camera adaptor plates | ||
8 M2.5 x 8 screws | To attach the circular mounting plates to the robot wrist | ||
8 M5 x 40 screws | To mount the robot | ||
8 M6 x 10 screws with flat heads | For attaching the circular mounting plate and the camera adaptor plates | ||
Calibration checker board plate (25 by 25 mm) | Any standard checkerboard can be used, including printed, as long as the grid is clearly visible in the cameras | ||
Camera adaptor plates, x2 | Designed by the authors in robot_camera_adaptor_plates.dwg, milled in aluminium. | ||
Circular mounting plates, x2 | Distributed with the permission of the designer Julius Klein and printed with ABS plastic on an FDM 3D printer. License Tecnalia Research & Innovation 2017. Attached as Mountingplate_ROBOT_SIDE_ NewDesign_4.stl |
||
Fix focus usb cameras, x2 (5 Mpixel) | Ximea | MC050CG-SY-UB | With Sony IMX250LQR sensor |
Flexpendant | ABB | 3HAC028357-001 | robot touch display |
Liveview | recording application | ||
RobotStudio | robot integrated development environment (IDE) | ||
USB3 active cables (10.0 m), x2 | Thumbscrew lock connector, water proofed. | ||
YuMi dual-arm robot | ABB | IRB14000 |