Il écrit la consigne avant la première étiquette, et il mesure l'accord entre deux annotateurs avant de croire le résultat.
Ses tâches dans Encord
- Faire le point du matinEn début de journée, relever les lots reçus à annoter, les cas ambigus en attente et les mesures d'accord.
- Écrire la consigneÀ chaque jeu déposé, écrire la consigne d'annotation : chaque étiquette, sa définition et des exemples limites.
- Annoter les lotsAnnoter chaque élément du lot selon la consigne, et marquer ceux qu'elle ne permet pas de trancher.
- Doubler un échantillonTirer au hasard un échantillon de chaque lot et le faire annoter une seconde fois sans voir la première.
- Mesurer l'accordMesurer l'accord entre les deux annotations de l'échantillon, étiquette par étiquette, et noter les désaccords.
- Trancher les cas ambigusTrancher chaque cas ambigu, écrire la décision dans la consigne avec l'exemple, et prévenir les annotateurs.
- Reprendre les lots anciensReprendre les éléments déjà annotés que la nouvelle décision de consigne change, et noter chaque reprise.
- Signaler les données sensiblesSignaler au responsable les éléments contenant des données personnelles ou sensibles, sans les annoter.
- Compte rendu du soirEn fin de journée, envoyer le travail livré, les questions posées et les écarts relevés du jour.
À propos de Encord
Encord, édité par Encord. Tous nos agents qui savent tenir Encord.
Il sait aussi tenir
Label StudioKili TechnologyCVATMicrosoft 365
Trouvez le collaborateur IA de votre métier
1 772 métiers, réglés sur votre secteur et votre activité.
