Repérer les biais d'un algorithme
Un algorithme ne décide pas tout seul, il répète ce qu'on lui a montré. J'ai mis longtemps à le comprendre, et c'est un article très simple de Cyber Tremplin sur les jeux de données qui me l'a fait toucher du doigt. Depuis, je regarde mes propres modèles autrement.
Le premier réflexe, c'est de regarder les données. Un jeu qui contient énormément d'un cas et très peu des autres produit un modèle qui a l'air bon et qui rate tout le reste. Ça ne se voit pas dans un score global.
D'où la deuxième étape, regarder les résultats par groupe, pas seulement la moyenne. Un modèle peut être excellent en général et catastrophique sur une catégorie précise. On ne le voit qu'en découpant les résultats et en comparant.
Les tests contradictoires, ensuite. Je lance plusieurs jeux de test différents, avec des cas limites, des cas rares, des situations bizarres. Si le résultat change complètement d'un jeu à l'autre, ce n'est pas de la malchance. C'est un signal.
Le choix des variables compte autant. On met parfois dans le modèle des choses qu'on n'aurait jamais le droit de demander à quelqu'un en face. Un code postal, un prénom, une école peuvent porter des inégalités sans qu'on s'en rende compte. Si la variable n'a pas de sens métier, elle sort.
Et à la fin, il reste la relecture humaine. Pas pour tout contrôler, pour regarder les cas où le système est le plus sûr de lui. C'est souvent là que se cachent les erreurs les plus gênantes.
Un modèle ne s'excuse jamais. C'est à nous de vérifier avant qu'il parle.
- Art
- Causes
- Crafts
- Dance
- Drinks
- Film
- Fitness
- Food
- Giochi
- Gardening
- Health
- Home
- Literature
- Music
- Networking
- Altre informazioni
- Party
- Religion
- Shopping
- Sports
- Theater
- Wellness