Vision par ordinateur poursuivi automatique et caracterisation decomportement de civelles - Université de Pau et des Pays de l'Adour Access content directly
Theses Year : 2021

Automatic computer vision and characterization of elvers

Vision par ordinateur poursuivi automatique et caracterisation decomportement de civelles

Abstract

Monitoring living organisms makes it possible to understand the dangers that threaten hem and that might have disastrous effects on biodiversity. As part of the MIRA research federation (Milieux and Aquatic Resources) at the University of Pau et Pays de l'Adour, the biology and computer laboratories work together to study migratory fishes in the Adour basin.One of the research actions concerns the acquisition of knowledge about the migratory behavior of an endangered species : the glass eel. One hypothesis to be verified is that the migratory behavior of glass eels is linked to their energy reserves and to the rate at which they use these reserves, because they do not feed during their estuarine migration. For this study, glass eels are marked with a colored elastomer, and then introduced into an experimental medium simulating the tides, and filmed for several weeks in order to follow their movements. The objective of this work is to exploit computer vision techniques allowing automatic tracking of glass eels in an aquarium in order to extract information meeting the needs of biologists, such as counting the number of passages according to the direction of the tide, and measuring the swimming speed and direction. The current techniques for analyzing video data are either entirely manual, or based on elementary image processing that does not explicitly exploit the temporal dimension of the video sequences collected and gives only summary information. The problem of the thesis therefore concerns the contribution of a temporal processing of videos for motion detection, motion estimation and monitoring of glass eels robust to occlusions. Moreover, an unsupervised technique (without heavy training on a large dataset) is desirable, and also obtaining more detailed additional information not accessible to observation by the human operator is envisioned (such as the swimming undulation behavior). In this thesis, the steps of an algorithm allowing to detect and follow glass eels in video sequences are developed. Elver detection uses a background subtraction technique followed by a connected-component analysis of the resulting image in order to extract the geometric information from the bounding boxes of the markings. For color classification, the choice of a hue-luminance-saturation system, combined with an unsupervised classification by the K-means algorithm on the hue component, allows learning of the color range of the classes. These ranges are used to identify the color of each marking detected. The tracking algorithm uses a Kalman filter and a color data association method. Thereafter, a tagging coupling technique allows the individual identification of each glass eel. This makes it possible to obtain their trajectory in the aquarium, as well as dynamic information (average speed, motion direction, number of passages). In parallel, the potential interest of motion estimation by optical flow techniques to extract more precise information is investigated. The velocity-vector field obtained by differential methods (algorithms of Horn & Schunck and of Lucas & Kanade) makes it possible to obtain information currently not available to biologists, such as the swimming undulation of the elvers resulting in the divergence and convergence of the velocity-vector field. Finally, we present the complete information system with the human-machine interface for automatic monitoring of glass eels developed to meet the needs of biologists. This makes it possible to identify glass eels, to determine their direction of passage (with or against the water current) and to count them, thus reducing the tedious observation work time of a human operator.
Le suivi des organismes vivants permet de comprendre les dangers qui les guettent et qui peuvent avoir des effets désastreux sur la biodiversité. Dans le cadre de la fédération de recherche MIRA (Milieux et Ressources Aquatiques) de l'université de Pau et des Pays de l'Adour, les laboratoires de biologie et d'informatique collaborent pour l'étude des poissons migrateurs du bassin de l'Adour. L'une des actions de recherche concerne l'acquisition de connaissances sur lecomportement migratoire d'une espèce menacée : la civelle d''anguille. Une hypothèse, à vérifier, est que le comportement migratoire des civelles est lié à leurs réserves énergétiques et au rythme auquel elles utilisent ces réserves, car elles ne s'alimentent pas durant leur migration estuarienne. Pour cette étude, des civelles sont marquées avec un élastomère coloré, puis introduites dans un milieu expérimental simulant les marées, et filmées pendant plusieurs semaines afin de suivre leurs déplacements. L'objectif du présent travail est d'exploiter des techniques de vision par ordinateur permettant un suivi automatique de civelles dans un aquarium afin d'extraire les informations répondant aux besoins des biologistes telles que le nombre de passages en fonction du sens de marée, la vitesse et la direction de nage. Les techniques actuelles de dépouillement des données vidéo sont soit entièrement manuelles, soit basées sur du traitement d'image élémentaire, qui n'exploite pas explicitement la dimension temporelle des séquences vidéo collectées, et qui ne donne que des informations sommaires. La problématique de la thèse concerne donc l'apport d'un traitement temporel des vidéos pour la détection de mouvement, l'estimation de mouvement et un suivi des civelles robuste aux occultations. Par ailleurs, une technique non supervisée (sans apprentissage lourd sur une grosse base de données) est souhaitée. Enfin l'obtention d'informations complémentaires plus fines non accessibles à l'observation par l'opérateur humain est envisagée (telle que l'ondulation de nage). Dans ce mémoire de thèse, les étapes d'un algorithme permettant de détecter et suivre les civelles dans des séquences vidéo sont développées. La détection de civelle utilise une technique de soustraction du fond, suivie de l'analyse des composantes connexes sur l'image résultante afin d'extraire les informations géométriques des boîtes englobantes des marquages. Pour la classification couleur, le choix d'un système teinte-luminance-saturation, combiné à une classification non supervisée par l'algorithme des K-moyennes sur la composante de teinte, permet un apprentissage des plages de couleur des classes. Ces plages sont utilisées pour identifier la couleur de chaque marquage détecté. L'algorithme de suivi utilise un filtre de Kalman et une méthode d'association des données couleur. Une technique de couplage des marquages permet enfin l'identification individuelle de chaque civelle. Ceci permet d'obtenir leur trajectoire dans l'aquarium, ainsi que les informations dynamiques (vitesse moyenne, sens de déplacement, nombre de passages). En parallèle, l'intérêt d'une estimation du mouvement par le flux optique pour extraire des informations plus précises est investigué. Il s'agit du champ de vecteurs-vitesses obtenu par des méthodes différentielles (algorithme de Horn et Schunck et de Lucas et Kanade), qui permet d'obtenir des renseignements actuellement non disponibles pour les biologistes, tels que l'ondulation de nage des civelles, se traduisant par la divergence et la convergence du champ de vecteurs-vitesses. Finalement, on présente le système d'information complet avec l'interface homme-machine de suivi automatique des civelles, développé pour répondre aux besoins des biologistes. Il permet d'identifier les civelles, de déterminer leur sens de passage (avec ou contre le courant), de les compter, réduisant ainsi le temps de travail d'observation fastidieuse de l'opérateur humain.
Fichier principal
Vignette du fichier
theseeldrogi.pdf (41.97 Mo) Télécharger le fichier
Origin : Version validated by the jury (STAR)

Dates and versions

tel-03783675 , version 1 (22-09-2022)

Identifiers

  • HAL Id : tel-03783675 , version 1

Cite

Nawal Eldrogi. Vision par ordinateur poursuivi automatique et caracterisation decomportement de civelles. Bio-informatique [q-bio.QM]. Université de Pau et des Pays de l'Adour, 2021. Français. ⟨NNT : 2021PAUU3063⟩. ⟨tel-03783675⟩
64 View
1 Download

Share

Gmail Facebook Twitter LinkedIn More