Contexte et objectifs

Nous vous proposons d’effectuer votre stage de fin d’étude de 4 à 6 mois au sein de l’équipe  Probayes Paris où nous traitons de nombreux sujets tels que : la détection et classification d’anomalies, la maintenance prédictive, le Traitement Automatique des Langues ainsi que différents cas d’usage industriels mêlant problématiques de vision ou de calcul embarqué.

Face aux besoins croissants en traitement et exploitation de données, l’annotation manuelle reste une étape cruciale mais chronophage qui devient une contrainte en termes de temps et de coûts. Nous recherchons donc une solution qui pourrait accélérer et améliorer ce processus d’annotation.

Ce stage vise à développer un outil d’annotation de données avancé capable de gérer plusieurs formats de données (PDF, images, textes, etc.). L’outil s’appuiera sur des bases open-source, en y intégrant des fonctionnalités d’automatisation pour simplifier et réduire le temps d’annotation. Il permettra également d’explorer des pistes innovantes d’annotation semi-automatique via des modèles de langage (LLM), afin de limiter le besoin d’interventions humaines.

Missions du stage

Le/la stagiaire aura pour mission principale de développer cet outil d’annotation de données en suivant plusieurs phases. Voici les grandes lignes du projet :

1. État de l’art et choix technologiques

• Objectif : Étudier les outils open-source d’annotation existants pour évaluer leurs avantages, inconvénients et limites par rapport aux besoins identifiés.
• Tâches :
  • Dans un premier temps, le/la stagiaire se familiarisera avec les outils open-source existants pour évaluer leur capacité à répondre aux exigences du projet et déterminer dans quelle mesure ils peuvent être adaptés aux besoins spécifiques de l’équipe. Cette étude comprendra une analyse approfondie de solutions comme Doccano, pour le texte, et CVAT, pour les images, avec une identification des points d’amélioration potentiels.

2. Développement d’une interface d’annotation manuelle

• Objectif : Développement d’une interface intuitive pour faciliter l’annotation des données.
• Tâches :
  • Annotation de texte : Développer une interface simple permettant de classer du texte via des boutons de sélection (ex. « Classe 1 », « Classe 2 », « OK », « Not OK »).
  • Annotation de texte dans une image : Permettre à l’utilisateur de positionner des boîtes de délimitation (bounding boxes) autour des zones d’intérêt et annoter le contenu de ces zones.
  • Validation des annotations : Intégrer une interface de validation des annotations, avec des options de correction pour vérifier les champs annotés.

3. Exploration de l’annotation assistée par LLM

• Objectif : Analyser et intégrer les capacités des modèles de langage (LLM) pour l’annotation semi-automatique.
• Tâches :
  • Réaliser une recherche d’état de l’art sur l’utilisation des modèles de langage et vision (LLM/VLM) pour des tâches d’annotation.
  • Explorer l’intégration de modèles LLM pour assister l’annotation.
  • Effectuer des tests sur des cas d’usage spécifiques (par exemple, lecture et annotation automatique de textes contenus dans des images, ou validation d’annotations faites par les LLM).
  • Évaluation de la performance des modèles de langage sur des cas d’annotation, avec des statistiques sur la précision et les gains de temps observés.