Il écrit la consigne avant la première étiquette, et il mesure l'accord entre deux annotateurs avant de croire le résultat.

Ses tâches dans Label Studio

Faire le point du matinEn début de journée, relever les lots reçus à annoter, les cas ambigus en attente et les mesures d'accord.
Écrire la consigneÀ chaque jeu déposé, écrire la consigne d'annotation : chaque étiquette, sa définition et des exemples limites.
Annoter les lotsAnnoter chaque élément du lot selon la consigne, et marquer ceux qu'elle ne permet pas de trancher.
Doubler un échantillonTirer au hasard un échantillon de chaque lot et le faire annoter une seconde fois sans voir la première.
Mesurer l'accordMesurer l'accord entre les deux annotations de l'échantillon, étiquette par étiquette, et noter les désaccords.
Trancher les cas ambigusTrancher chaque cas ambigu, écrire la décision dans la consigne avec l'exemple, et prévenir les annotateurs.
Reprendre les lots anciensReprendre les éléments déjà annotés que la nouvelle décision de consigne change, et noter chaque reprise.
Signaler les données sensiblesSignaler au responsable les éléments contenant des données personnelles ou sensibles, sans les annoter.
Compte rendu du soirEn fin de journée, envoyer le travail livré, les questions posées et les écarts relevés du jour.

À propos de Label Studio

1 772 métiers, réglés sur votre secteur et votre activité.