Этот протокол описывает шаги для использования программного обеспечения novel, SwarmSight, для отслеживания по кадрам насекомых антенны и Хоботок позиций от обычных веб-камеры видео с использованием обычных компьютеров. Свободный, с открытым исходным кодом программное обеспечение обрабатывает кадры около 120 раз быстрее, чем люди и выполняет лучше, чем человека точности.
Многие важные научно и аграрно насекомых использовать антенны обнаружить присутствие летучих химических соединений и расширить их Хоботок во время кормления. Возможность быстро получить с высоким разрешением измерения естественных движений, антенна и Хоботок и оценить, как они изменяются в ответ на химическое, развития и генетических манипуляций может помочь понимание поведения насекомых. Путем расширения нашей предыдущей работы по оценке совокупного Рой насекомых или животных группы движений от природных и лабораторных видео с помощью видео анализ программного обеспечения SwarmSight, мы разработали модуль роман, бесплатным и открытым исходным кодом программного обеспечения, SwarmSight придаток Отслеживание (SwarmSight.org) для отслеживания по кадрам насекомых антенны и Хоботок позиций от обычных веб-камеры видео с использованием обычных компьютеров. Программное обеспечение обрабатывает кадры около 120 раз быстрее, чем люди, выполняет лучше, чем человека точности и, используя 30 кадров в вторая (fps) видео, можно захватить усиков динамика до 15 Гц. Программное обеспечение используется для отслеживать усиков ответ медоносных пчел в двух запахов и обнаружили значительные среднее усиков опровержения от запаха источник около 1 сек после презентации запах. Мы наблюдали антенна позиции плотность тепла карта формирования кластера и кластер и означает угол зависимость концентрации запаха.
Большинство членистоногих перемещение антенны или другие придаток к образцу экологические сигналы и сигналы во времени и пространстве. Животных можно использовать антенны для перемещения их окружающей среды путем обнаружения сенсорные сигналы летучих химических веществ и вкусовые и механических раздражителей1,2,3,4. У насекомых усики содержат сенсорные рецепторы, которые связывают летучих химических веществ4,5,6 и передавать этот сигнал через обонятельной сенсорных нейронов Центральный мозг регионах1,7 ,8,9. Насекомых можно скорректировать позиции антенн для модуляции информацию о входящих запахи4,10,11. Эта модуляция облегчает активно информированных поведенческих реакций запахи и их перья12,13.
Многие насекомые, включая перепончатокрылых (например, медоносных пчел и шмелей), триплоидная (например, бабочки), двукрылых (например, мух и комаров), среди прочего, корма, расширяя их Хоботок14 , 15 , 16 , 17 , 18 , 19 , 20 , 21. расширение Хоботок надежно использовались в прошлом для различных обучения и памяти задачи22,23,24,25,26, 27,–28,–29,–30,–31. Аналогичным образом количественная оценка движения антенн с высоким временным и пространственным разрешением может дать понять отношения между стимулом, поведение и внутреннее состояние животного. Действительно предыдущей работы показал как усиков движений содержат богатый количество информации о мед пчелы слежения окружающей среды и изменения движения с обучения,32,33,34 35,36,,3738.
В течение последнего десятилетия методы для наблюдения за поведением животных были значительно ускорился прогресс в камерах с высоким разрешением видео, компьютерной обработки скорости и алгоритмы машинного зрения. Такие задачи, как животных обнаружения, подсчет, отслеживания и анализа предпочтений место было автоматизированного с сложного программного обеспечения, которое может обрабатывать видео поведения животных и извлечь соответствующие меры39,40, 41,42,,4344,45,,4647.
Эти технологии также помогают отслеживания движений насекомых антенны и Хоботок. Это возможно для человека рейтеров использовать курсор мыши к вручную отслеживать положение антенны. Однако хотя этот метод может быть точной, задача занимает много времени, и человека невнимательность и усталость могут привести к ненадежные результаты. Специальное оборудование и подготовка может использоваться для уменьшения необходимости сложного программного обеспечения. Например одна установка используется высокоскоростной камеры и окрашены советы антенн для отслеживания движения антенна48. Пользователи могут также попросить выбрать ключ кадры видео для оказания помощи программного обеспечения для обнаружения местоположения антенны и Хоботок49. Другой подход обнаружено два крупнейших движения кластеры для выявления антенн, но он не обнаружить местонахождение Хоботок50. Другой пакет программного обеспечения может обнаружить расположения антенны и Хоботок, но требует около 7,5 s время обработки за кадр51, которая может быть непомерно высокой для наблюдения в реальном времени или долгосрочных исследований. Наконец это может быть возможность настроить коммерческие пакеты программного обеспечения (например, EthoVision) для выполнения задач46, но их лицензирования и учебных расходов может быть непомерно высока.
С методом, описанным здесь, мы расширили наши предыдущей работы по движения анализ программного обеспечения41 для отслеживания расположения насекомых антенн и Хоботок с следующих целей: (1) не требуется специального оборудования или сложных животных подготовки, (2). Рама, обработка в режиме реального времени (30 fps или быстрее) на обычного компьютера, (3) простота использования и (4) открытым исходным кодом, легко расширяемая кода.
Результате Роман метод и открытым исходным кодом программного обеспечения, SwarmSight придаток отслеживания, не требует покраски советы антенн, можно использовать потребителей веб-камеру для захвата видео и видео кадры процессов на 30-60 fps на обычного компьютера ( Рисунок 1). Программное обеспечение принимает видео файлов в качестве входных данных. Пользователь находит на должность руководителя насекомых в видео, и, после обработки, файл запятыми (CSV) производится с расположения антенн и Хоботок. Программное обеспечение способно читать сотни различных форматов видео (включая форматы, производимых в большинстве цифровых камер) с помощью FFmpeg библиотеки52.
Рисунок 1: животных установки и программное обеспечение вывода. (A) A мед пчелы добытчик с его головы и тела, сдержанный в упряжи. (B) запах источник помещается перед животное, видео камеры позиционируется выше, и источник вакуума помещаются за животное. (C) антенна наконечник и Хоботок переменных определяется по SwarmSight из видео. (D) пользователь наведении животное антенна датчика и настраивает параметры фильтра. Программное обеспечение обнаруживает положения антенны и Хоботок (желтые кольца).Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.
Во-первых тело насекомого и его голова сдержанно в обвязке таким образом, что антенна и Хоботок движения легко наблюдаются (рис. 1A). Запах источник помещается перед насекомых, с источник вакуума, помещают позади, чтобы удалить запахи из воздуха и свести к минимуму потенциальные последствия сенсорной адаптации (рис. 1B). Обычные веб-камера помещается над головой насекомых на штатив. Светодиодный индикатор могут быть расположены в поле зрения камеры чтобы указать, когда запах представлен.
Рисунок 2: система координат антенна. X, Y значения использовать видео системы координат, где верхний левый угол происхождения и повышения значения X и Y при направлении в нижнем правом углу. Углы выражаются в градусах относительно передней части головы (обычно источник запахов). Значение «0» означает, что линия, образованная жгутика антенна указывает непосредственно перед животного. Все углы являются положительными, за исключением, когда антенна указывает на противоположные направления (например, правом жгутика точек слева). Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.
После съемки, видео файл открыт с помощью программного обеспечения SwarmSight, где пользователь позиций виджете антенна датчика (рис. 1 d, черный квадрат) над головой насекомого и начинает воспроизведение видео. Когда результаты сохраняются, CSV-файл будет содержать X, Y позиции антенны советы, антенна углами по отношению к передней части головы (рис. 2) и Хоботок X, Y позиции. Кроме того доминирующим сектором метрики вычисляется для каждой антенны. Метрические шоу, которые из пяти секторов 36 градусов вокруг каждой антенны содержится наибольшее количество очков могут быть усики и может быть полезным, если антенна/угол метрики не являются надежными, из-за шумных или иным образом проблемных видео.
Вкратце программное обеспечение работает с помощью набора движения фильтры53 и расслабленной наводнение заполнения алгоритм54. Найти вероятность антенна точки, используются два фильтра:41,3-подряд кадр разница в фильтр55 и56 фильтр Медиана фон вычитание. Фильтр пороговое расстояние цвет используется для Хоботок точки обнаружения. Топ 10% точек каждого фильтра объединяются, и наводнение заполнения алгоритм, который проверяет последовательных точек с пробелами до 2 пикселей (px) находит крайние точки. Параллельно кадра декодирования, обработки и визуализации трубопроводов и оптимизации памяти, выделение потока данных фильтра достигает высокой производительности. Сырые x и y значения координат, производства программного обеспечения после обработки с 3-кадр подвижного медианный фильтр57 (см. обсуждение). Инструкциям, чтобы загрузить полный исходный код можно найти онлайн58.
Ниже — это протокол подготовить добытчик пчелы мед для слежения антенны. Аналогичный протокол может использоваться для отслеживания перемещения антенны/Хоботок других насекомых. В разделе результаты мы опишем пример вывода трассировки антенна, обнаруженного программного обеспечения, Сравнение программного обеспечения вывода для отслеживания выполняемых человека рейтинговых агентств и оценки антенн движения в ответ на пяти отдушки.
Представленные здесь метод позволяет насекомых антенны и Хоботок движений в реальном времени отслеживать без оборудования и специальных животных препаратов.
Ограничения:
Несмотря на эти преимущества есть некоторые ограничения метода. К ним относятся требования, что голова животного ограничивается от движения, необходимости для пользователя, чтобы выбрать расположение и ориентацию животное для каждого видео, требование иметь доступ к компьютеру с Windows и неспособность программного обеспечения отслеживания движение в трех измерениях (3D) и в некоторых позициях визуально неоднозначной придаток, описанные ниже.
Программное обеспечение требует, чтобы голова животного фиксируется в месте и не движется во время видео. Это похоже на подготовке предыдущих работ48,49,50,51. Это позволяет изменять программное обеспечение, чтобы разрешить автоматическое обнаружение головы вращений, однако, это будет потреблять дополнительное время обработки и ввести новый источник ошибки. Если модифицированное программное обеспечение для обнаружения угол поворота головы неправильно, это скажется на углы антенн, как их вычисления задается угол поворота головы. В настоящее время пользователь выбирает направление головы один раз в видео. Этот подход, хотя и не без человеческой ошибки, минимизирует ошибки в расчетах угол когда голова не разрешено перемещаться во время видео.
Программное обеспечение также требует Windows 7 (или более поздней версии) операционной системы (ОС). Цель заключалась в том, чтобы сделать программное обеспечение легко установить, настроить и использовать пользователями без программирования или сложные навыки администрирования компьютера. Мы решили целевой Windows, потому что он широко доступен, и в тех случаях, когда доступ к нему ограничены, могут быть легко созданы виртуальные машины (например, VMware, VirtualBox Parallels) с Windows. Этот выбор OS значительно упрощает установку программного обеспечения с помощью easy-to-use, бесплатные командной строки установщика и избежать ошибок, характерных для различных ОС.
Программное обеспечение отслеживает только положение придатков в 2D пространстве. Известно, что насекомые переместить их антенну в 3D, которая может означать, что важная информация теряется, когда только двухмерные координаты измеряются. В то время как использование нескольких камер или зеркала могут помочь в сборе дополнительной информации, необходимой для 3D локализации, это можно вычислить, с использованием тригонометрических отношений, ожидаемое положение вне плоскости, предполагая, что усики Одноместный линейных сегментов постоянной длины и двигаться только на одной стороне плоскости камеры. Для медоносных пчел это предположение верно получить приблизительные оценки позиции в 3D, но не обязательно в случае других видов и ситуаций.
Программное обеспечение не будет правильно обнаруживать антенн и Хоботок Совет места в некоторых неоднозначных ситуациях. Если животное перемещает антенну так, чтобы в видео, оно перекрывало расширенный Хоботок, программное обеспечение будет вероятно обнаружить кончик антенны как кончик Хоботок. Однако, угол антенны все еще вероятно будут рассчитываться правильно (от non перекроя части). Аналогично Если антенна советы двигаться прямо над головой животного (т.е. не по бокам) затем программное обеспечение может только обнаружить части антенны, которая видна за пределами головы, или себя предыдущее расположение антенны или обнаружить ложные видео шум как расположение антенны. В обеих ситуациях даже человека рейтеров испытывают трудности, взыскательных антенны от Хоботок или головы. Чтобы смягчить эту проблему, мы рекомендуем использовать фильтр подвижного средний57 3-рама, симметричный сырье X и Y координаты производства программного обеспечения. Этот фильтр удаляет колебания большой временной позиции (сингл кадр) и сохраняет больше движений положение антенны. Мы обнаружили, что 3-рамка фильтра выполнен лучше, чем без фильтра, в то время как более широкое фильтры (например, 5, 11 или 15 кадров) снижение точности. Код примера R, который использует видео-учебник и фильтра можно найти онлайн58.
Значение как научный инструмент:
Доступность метода быстро получить точные насекомых придаток движений в экономически эффективным образом имеет потенциал, чтобы открыть новые области исследования.
Хоботок расширение рефлекс (PER) является часто используемые поведенческие реакции расследовать учить и память целого ряда насекомых59. Предыдущие исследования обычно опирались на бинарный продлен или не мера процента, хотя видео и электромиографической анализы показали гораздо более сложные топологии для Хоботок движений65,66. Этот метод позволяет быстрой квантификации Хоботок движений в высокого временнóго и пространственного разрешения.
Насекомых антенна движения в ответ на запахи изучены плохо. Одна из причин этого является, что антенны, как правило, двигаться так быстро, что экономически, автоматизированных средств для получения антенны движение данных не была доступна. Метод, представленный здесь можно быстро получить антенна движения данных для большого количества насекомых в большое количество условий. Это может помочь, например, исследователи, расследование сопоставление между антенной движения в ответ на различные стимулы, в частности летучие запахи. С помощью камеры, которые захвата кадров 30 Гц, программное обеспечение может использоваться для характеризовать динамику усиков движение до 15 Гц (Найквиста предел). Если необходима квалификация в высоких частотах, камеры с более высокими ставками захвата (например, 60 или 120 fps) могут быть использованы. Однако может потребоваться более быстрый компьютер для обработки выше fps видео в режиме реального времени. Мы предположить, что классы запахов, и возможно даже некоторые отдельные запахи, имеют характерный врожденной усиков движений. Если эти классы или соединений могут быть обнаружили, неизвестные запахи или их класса может быть обнаружены усиков движения неподготовленных насекомых. Если такое отображение существует, сочетание достаточных данных движение антенны и состояние искусства машина обучения алгоритмы должны начать раскрыть его. Кроме того как это сопоставление изменений в ответ на обучения, формы во время разработки, или нарушается с генетического вмешательства может предложить понимание функции обонятельные системы.Наконец эта работа может дать понимание искусственной обнаружения запаха, если она показывает методы оптимального выборки для запаха в сложных средах.
Будущая работа:
Здесь, мы показали, что антенна движения данных можно быстро получены и проанализированы: значительные поведение ответы могут быть обнаружены от данных, генерируемых нашего программного обеспечения, и были определены несколько областей дальнейшего расследования.
Время курсы вызвали стимул антенны угол отклонения от и восстановления базовой линии и рикошета любой стимул заключение и его зависимость от запаха концентрации могут быть расследованы и математически моделировать. Кроме того любые изменения антенны движений, вызванных appetitive или отрицательной принадлежности также можно оценить с помощью программного обеспечения.
Можно также изучить лучше дифференциация запахов. В этом исследовании, запахов, в чистом и 35 x разреженных версии вызвало аналогичные ответы: антенны, в среднем, как представляется, быстро уйти от источника запаха и вернуться к предварительной запах исходных линий через несколько секунд. Мы предположить, что даже разбавленных версии были очень сильные обонятельные стимулы для медоносных пчел. Значение true, если более широкий спектр концентраций могут использоваться для определения, если усиков ответы различать запахи. Кроме того более сложный анализ лучше может выявить различия в усиков движения в ответ на различные запахи. Мы сделали файлы данных, используемые для создания фигур в этой рукописи, доступных для заинтересованных исследователей на веб-сайте SwarmSight67.
Кроме того хотя в сферу этой рукописи, программное обеспечение может быть продлен для обработки видео животных, размещены в камерах с двумя зеркалами, под углом в 45° (см. Рисунок 1 d например). Это может использоваться для точно локализовать и отслеживать их движение в трехмерном пространстве и придатков. Однако, алгоритмы для 3D отслеживания должны будут эффективно: (a) неоднозначность нескольких антенн, когда они являются видимыми в одном из боковые зеркала, (b) правильно для несовершенства в зеркало углы и (c) приходится искажения из-за камеры позиционирование.
Наконец дополнительный выигрыш в точность позиционирования могут быть реализованы через использование Калман фильтр68, какие модели и использует информацию физическое состояние как придаток скорость и ускорение для ограничения прогнозируемого расположения. Однако любое увеличение точности должны оцениваться против любых сокращений в скорости за счет дополнительных вычислений.
Заключение:
Многие насекомые использовать антенны активно образец летучих соединений в их местных условиях. Шаблоны в усиков движений может обеспечить понимание восприятия запаха насекомых и как она зависит от принадлежности, токсичных соединений и генетические изменения. Аналогичным образом Хоботок движений были использованы для оценки восприятия запаха и его модуляции. Однако быстро получить большое количество данных с высоким разрешением придаток движение было трудно. Здесь протокол и программное обеспечение описан которые автоматизирует такие задачи. Таким образом мы создали и продемонстрировал, как сочетание недорогих аппаратных средств, общей подготовки животных и открытым исходным кодом программное обеспечение может использоваться для быстро получать данные с высоким разрешением насекомых придаток движения. Были показаны выходные данные программного обеспечения, как она превосходит человека рейтинговых агентств в скорости и точности, и как ее выходные данные могут быть проанализированы и визуализированы.
The authors have nothing to disclose.
JB, SMC и РКГ были поддержаны низ R01MH1006674 для SMC и низ R01EB021711 для РКГ. CMJ и BHS были поддержаны идеи NSF лаборатории проекта на «крекинг обонятельные код» для BHS. Мы благодарим Кайл Steinmetz, Тарин Oboyle и Рэйчел Halby за их помощь в проведении этого исследования.
Insect harness | N/A | N/A | Use materials needed for Protocol sections 1-3.1.1 of Smith & Burden (2014) |
Odor delivery source | N/A | N/A | Use materials needed for Protocol section 3 of Smith & Burden (2014) |
Vacuum source | N/A | N/A | Use materials needed for Protocol section 3 of Smith & Burden (2014) |
LED connected to odor delivery source | N/A | N/A | Use materials needed for Protocol section 3 of Smith & Burden (2014) |
Low Voltage Soldering Iron | Stannol | Low Voltage Micro Soldering Iron 12V, 8W | |
DC Power Supply | Tekpower | HY152A | |
White sheet of paper | Georgia-Pacific | 998606 | Any white sheet of paper can be used as alternative |
Tripod | AmazonBasics | 50-Inch Lightweight Tripod | Optional |
Camera | Genius | WideCam F100 | FLIR Flea3 or another camera with manual focus can be used. |
Camera software | Genius | N/A | Software comes with camera. On MacOS, Photo Booth app can be used to record videos. |
Camera shutter speed software | Genius | N/A | Genius camera software allows shutter speed setting. In Mac OS, iGlasses by ecamm can be used instead: http://www.ecamm.com/mac/iglasses/ |
Windows Operating System | Microsoft | Windows 7 Professional | Versions 7 or later are compatible. Oracle VirtualBox, Parallels Desktop, or VMWare Fusion can be used to create a Windows virtual machine in MacOS environments. |
SwarmSight software | SwarmSight | Appendage Tracking | Download from http://SwarmSight.org |
R software | R Project | R 3.4.0 | Download from: https://cran.r-project.org/bin/windows/base/ |
R Studio software | RStudio | RStudio Desktop | Download from: https://www.rstudio.com/products/rstudio/download/ |