Une ethnographie des jeux de données

par Algolit

Nous commençons souvent les réunions mensuelles Algolit par la recherche, ou tentative de creation, de datasets (ensembles de données). Parfois, nous utilisons des corpus déjà existants, disponibles via le site Natural Language Toolkit nltk. NLTK contient, entre autres, la Déclaration universelle des droits de l'Homme, les discours inauguraux des présidents américains, ou des critiques de films du site Internet Movie Database (IMDb). Chaque style d'écriture évoque des relations différentes entre les mots et reflète l'époque dont ils proviennent. En ce sens, le gestionnaire de paquets Python pour le traitement automatique du langage naturel pourrait être considéré comme une capsule temporelle. Le matériel choisi a été jugé utile pour au moins une communauté, mais il est perçu comme un document universel par défaut en raison de la facilité avec laquelle il est mis à la disposition du public.

Dans le cadre de ce travail, nous examinons les jeux de données les plus couramment utilisés pour l'entraînement des modèles d'apprentissage automatique. De quels matériaux sont-ils constitués ? Qui les a recueillis ? Quand ? Pour quelle raison ?

Concept, code, réalisation: Cristina Cochior