在这里, 我们提出了一个协议, 单独跟踪动物在很长一段时间。它使用计算机视觉方法来识别一组手动构建的标签, 方法是使用一组龙虾作为案例研究, 同时提供有关如何容纳、操纵和标记龙虾的信息。
我们提出了一种与基于背景减法和图像阈值的视频跟踪技术相关的协议, 该协议使单独跟踪单独的男女同校动物成为可能。我们用四个共同存放的挪威龙虾 (诺韦吉克斯肾病) 在黑暗的条件下测试了5天的跟踪程序。龙虾已经被单独贴上标签了。实验设置和使用的跟踪技术完全基于开源软件。将跟踪输出与人工检测进行比较后发现, 有69% 的时间正确检测到龙虾。在正确检测到的龙虾中, 99.5% 的时间正确识别了它们的个别标签。考虑到协议中使用的帧速率和龙虾的运动速率, 视频跟踪的性能具有较好的质量, 具有代表性的结果支持了协议在为研究需要生成有价值数据方面的有效性 (个人)。空间占用率或运动活动模式)。这里提出的协议可以很容易地定制, 因此可以转移到其他物种, 在这些物种中, 一个群体中的标本的个别跟踪对回答研究问题很有价值。
在过去的几年中, 基于图像的自动跟踪提供了高度精确的数据集, 可用于探索生态学和行为学科1中的基本问题。这些数据集可用于动物行为的定量分析2,3。然而, 用于跟踪动物和行为评估的每一种图像方法都有其优点和局限性。在基于图像的跟踪协议中, 使用电影中以前帧中的空间信息来跟踪动物4、5、6,当两个动物的路径交叉时, 就会引入错误。这些错误通常是不可逆的, 并随着时间的推移而传播。尽管计算方面的进展减少或几乎消除了这个问题5,7, 这些技术仍然需要均匀的实验环境来准确地识别和跟踪动物。
使用可以在动物身上唯一识别的标记可以避免这些错误, 并允许对已识别的个人进行长期跟踪。工业和商业中存在广泛使用的标记 (如条形码和二维码), 可以使用众所周知的计算机视觉技术进行识别, 例如增强现实 (例如 artag8) 和摄像机校准 (例如, caltag9)).标签动物以前曾被用于不同动物物种的高通量行为研究, 例如蚂蚁3或蜜蜂10, 但以前的一些系统没有优化以识别孤立的标记3。
本文提出的跟踪协议特别适用于单通道图像中的动物跟踪, 如红外光或单色光 (特别是蓝光)。因此, 开发的方法不使用颜色提示, 也适用于照明中存在约束的其他设置。此外, 我们还使用定制的标签, 以避免打扰龙虾, 同时, 允许用低成本的相机进行录制。此外, 这里使用的方法是基于独立于框架的标记检测 (即,该算法识别图像中存在的每个标记, 而不管以前的轨迹是什么)。此功能适用于动物可以暂时遮挡或动物轨迹可能相交的应用。
标签设计允许在不同的动物群体中使用。一旦确定了该方法的参数, 就可以将其转移到其他动物跟踪问题上, 而不需要培训特定的分类器 (其他甲壳类动物或腹足类动物)。导出协议的主要限制是标签的大小和对动物的依恋需求 (这使得它不适合小昆虫, 如苍蝇、蜜蜂等) 和动物运动的2D 假设。考虑到所提出的方法假定标记大小保持不变, 此约束非常重要。在3D 环境中自由移动的动物 (例如, 鱼) 会根据其与相机的距离显示不同的标记大小。
本协议的目的是提供一种用户友好的方法, 以便在2D 上下文中长时间 (即几天或几周) 跟踪多个标记动物。方法方法是基于使用开源软件和硬件。自由和开源软件允许调整、修改和自由再分发;因此, 生成的软件在每一步11,12上都得到了改进。
这里介绍的协议侧重于为跟踪和评估四个水生动物在水箱中的运动活动而设立的实验室, 为期5天。视频文件从1秒图像中录制, 并以每秒20帧的速度在视频中进行编译 (1个录制日占用约1小时的视频)。所有的视频录制都会自动进行后处理, 以获得动物的位置, 并应用计算机视觉方法和算法。该协议允许获取大量的跟踪数据, 避免了它们的人工注释, 这在以前的实验论文13中已经证明是耗时和费力的。
我们使用挪威龙虾 (诺维吉克斯的尼弗罗斯) 进行案例研究;因此, 我们提供特定物种的实验室条件来维护它们。龙虾执行经过充分研究的洞穴出现节奏, 这些节奏是在生物钟14、15 的控制下, 当它们共同居住时, 它们形成了 16,17的优势等级。因此, 这里介绍的模型是一个很好的例子, 研究人员感兴趣的行为的社会调制, 特别是关注生理节律。
这里提出的方法很容易复制, 如果有可能区分有个别标签的动物, 可以适用于其他物种。在实验室复制这种方法的最低要求是: (一) 实验装置的等温室;(ii) 连续供水;(三) 水温控制机制;(iv) 灯光控制系统;(v) USB 摄像机和标准计算机。
在本协议中, 我们使用 Python18和 opencv19 (开源计算机视觉库)。我们依靠快速和通用的操作 (在实现和执行方面), 如背景减法20和图像阈值21,22。
视频跟踪协议的性能和代表性结果证实了其在动物行为领域应用研究中的有效性, 重点是被关押动物的社会调制和生理节律。动物检测的效率 (69%)和标签区分的准确性 (99.5%)再加上这里使用的目标物种的行为特征 (即运动率), 这个协议是长期实验试验 (例如, 几天和几周) 的完美解决方案。此外, 该协议还提供了一个基本优势, 即在开发和定制方面更易于使用, 并且速度更快, 而其他技术, 如自动学习算…
The authors have nothing to disclose.
作者感谢为出版这项工作提供资金的 Joan B. company。此外, 作者还感谢巴塞罗那海洋科学研究所 (ICM-CSIC) 实验水族馆区的技术人员在实验工作中提供的帮助。
这项工作得到了 RITFIM 项目 (CTM2010-16274; 首席调查员: J. aguzzi) 的支持, 以及西班牙经济和竞争力部设立的 TIN2015-66951-C2-2-r 赠款。
Tripod 475 | Manfrotto | A0673528 | Discontinued |
Articulated Arm 143 | Manfrotto | D0057824 | Discontinued |
Camera USB 2.0 uEye LE | iDS | UI-1545LE-M | https://en.ids-imaging.com/store/products/cameras/usb-2-0-cameras/ueye-le.html |
Fish Eye Len C-mount f=6mm/F1.4 | Infaimon | Standard Optical | https://www.infaimon.com/es/estandar-6mm |
Glass Fiber Tank 1500x700x300 mm | |||
Black Felt Fabric | |||
Wood Structure Tank | 5 Wood Strips 50x50x250 mm | ||
Wood Structure Felt Fabric | 10 Wood Strips 25x25x250 mm | ||
Stainless Steel Screws | As many as necessary for fix wood strips structures | ||
PC | 2-cores CPU, 4GB RAM, 1 GB Graphics, 500 GB HD | ||
External Storage HDD | 2 TB capacity desirable | ||
iSPY Sotfware for Windows PC | iSPY | https://www.ispyconnect.com/download.aspx | |
Zoneminder Software Linux PC | Zoneminder | https://zoneminder.com/ | |
OpenCV 2.4.13.6 Library | OpenCV | https://opencv.org/ | |
Python 2.4 | Python | https://www.python.org/ | |
Camping Icebox | |||
Plastic Tray | |||
Cyanocrylate Gel | To glue tag’s | ||
1 black PVC plastic sheet (1 mm thickness) | Tag's construction | ||
1 white PVC plastic sheet (1 mm thickness) | Tag's construction | ||
4 Tag’s Ø 40 mm | Maked with black & white PVC plastic sheet | ||
3 m Blue Strid Led Ligts (480 nm) | Waterproof as desirable | ||
3 m IR Strid Led Ligts (850 nm) | Waterproof as desirable | ||
6m Methacrylate Pipes Ø 15 mm | Enclosed Strid Led | ||
4 PVC Elbow 45o Ø 63 mm | Burrow construction | ||
3 m Flexible PVC Pipe Ø 63 mm | Burrow construction | ||
4 PVC Screwcap Ø 63 mm | Burrow construction | ||
4 O-ring Ø 63 mm | Burrow construction | ||
4 Female PVC socket glue / thread Ø 63 mm | Burrow construction | ||
10 m DC 12V Electric Cable | Light Control Mechanism | ||
Ligt Power Supply DC 12V 300 w | Light Control Mechanism | ||
MOSFET, RFD14N05L, N-Canal, 14 A, 50 V, 3-Pin, IPAK (TO-251) | RS Components | 325-7580 | Light Control Mechanism |
Diode, 1N4004-E3/54, 1A, 400V, DO-204AL, 2-Pines | RS Components | 628-9029 | Light Control Mechanism |
Fuse Holder | RS Components | 336-7851 | Light Control Mechanism |
2 Way Power Terminal 3.81mm | RS Components | 220-4658 | Light Control Mechanism |
Capacitor 220 µF 200 V | RS Components | 440-6761 | Light Control Mechanism |
Resistance 2K2 7W | RS Components | 485-3038 | Light Control Mechanism |
Fuse 6.3x32mm 3A | RS Components | 413-210 | Light Control Mechanism |
Arduino Uno Atmel Atmega 328 MCU board | RS Components | 715-4081 | Light Control Mechanism |
Prototipe Board CEM3,3 orific.,RE310S2 | RS Components | 728-8737 | Light Control Mechanism |
DC/DC converter,12Vin,+/-5Vout 100mA 1W | RS Components | 689-5179 | Light Control Mechanism |
2 SERA T8 blue moonlight fluorescent bulb 36 watts | SERA | Discontinued / Light isolated facility |