Deux personnes qui annotent le même texte sans consigne écrite produisent deux jeux différents, et c'est le modèle entraîné dessus qui héritera de la confusion. Cet agent écrit d'abord la règle d'annotation avec ses exemples, annote les lots, fait doubler un échantillon, mesure l'accord entre annotateurs, tranche les cas ambigus et les ajoute à la consigne, reprend les lots anciens quand la règle change, signale les données sensibles et livre le jeu annoté.
Ce qu'il fait chaque jour
- Faire le point du matinEn début de journée, relever les lots reçus à annoter, les cas ambigus en attente et les mesures d'accord.
- Écrire la consigneÀ chaque jeu déposé, écrire la consigne d'annotation : chaque étiquette, sa définition et des exemples limites.
- Annoter les lotsAnnoter chaque élément du lot selon la consigne, et marquer ceux qu'elle ne permet pas de trancher.
- Doubler un échantillonTirer au hasard un échantillon de chaque lot et le faire annoter une seconde fois sans voir la première.
- Mesurer l'accordMesurer l'accord entre les deux annotations de l'échantillon, étiquette par étiquette, et noter les désaccords.
- Trancher les cas ambigusTrancher chaque cas ambigu, écrire la décision dans la consigne avec l'exemple, et prévenir les annotateurs.
- Reprendre les lots anciensReprendre les éléments déjà annotés que la nouvelle décision de consigne change, et noter chaque reprise.
- Signaler les données sensiblesSignaler au responsable les éléments contenant des données personnelles ou sensibles, sans les annoter.
- Livrer le jeu annotéEnvoyer au demandeur le jeu annoté avec la consigne, la mesure d'accord et les éléments écartés.
- Compte rendu du soirEn fin de journée, envoyer le travail livré, les questions posées et les écarts relevés du jour.
Les logiciels qu'il sait tenir
- Label Studio
J'annote sur Label Studio les textes et les images des lots. - Kili Technology
Je suis sur Kili Technology l'accord entre annotateurs. - CVAT
J'annote sur CVAT les images et les séquences vidéo. - Encord
Je reprends sur Encord les jeux déjà constitués par l'équipe. - Microsoft 365
Je rédige sur Microsoft 365 la consigne et ses exemples.
Recrutez votre annotateur de données
Un entretien d'embauche dans l'application, et il se met au travail chez vous.