Si, elles servent à évaluer la validité d'un modèle
par rapport aux données sur lesquelles il a été construit. C'est déjà un bon début.
Mais le
vrai enjeu du prédictif c'est de prédire le futur... pas le passé ! Les critères statistiques cités ne peuvent évaluer le modèle que sur le passé, même en échantillonnant les données et en testant le modèle sur une partie des données qui n'ont pas servi à l'apprentissage, ça reste du passé. Or les entreprises qui se remettent en question et vérifient la validité de leur modèle et la pertinence de ses prédictions à posteriori sont trop rares. C'est-à-dire "
j'avais prévu X ventes en 2014 pour 2015, je suis maintenant en 2016, combien est-ce que j'ai fait de vente en 2015 ?". Les banques et les assurances le font, c'est une question de survie, mais les autres...
Le problème réside aussi dans la mauvaise utilisation de prédictions. Exemple: depuis 20 ans que je fais un parcours, excepté de rares exceptions que j'estime négligeables, je ne mets jamais plus de 20mn. Bon je prends 10mn de risque (+50%). Je pars donc 30mn avant mon train. Sur la route, un accident a provoqué un bouchon, je mets 45mn à arriver, je rate mon train et par la même occasion un évément ultra-important qui va impacter toute ma vie:
- après analyse je m'aperçois que les rares exceptions étaient aussi liées à des événements rares mais qui ont provoqué un temps de parcours pouvant aller jusqu'à 1h: mauvaise prise en compte des outliers
- après analyse je m'aperçois que je fais ce parcours depuis 20 ans certes mais seulement 5/6 fois par an dans ces conditions. Donc je n'ai que 100 / 120 événements : mauvaise évaluation statistique de la fiabilité de mon modèle à cause d'un trop faible nombre d'événement
- à la réflexion je n'ai pas accordé assez d'importance au risque lié au fait de rater mon train
Bref je me suis planté en beauté: mauvaises données, mauvais modèle, j'ai mis en risque mon opérationnel avec du prédictif mal ficelé. Et
surtout je ne vais pas me remettre en cause, ni moi ni mon modèle, ni la façon dont je l'utilise, je vais surtout râler contre les pouvoirs publics qui font des routes dangereuses, oui ma bonne dame.
La réalité des entreprises qui font du prédictif c'est malheureusement celle-là: un stagiaire qui tente un truc avec un outil open-source pour une demande d'un chef ambitieux qui veut donner l'impression que sa stratégie est basée sur des données et pas juste sur du pif, on ne conserve pas les prédictions, on ne score pas les prédictions a posteriori, on ne demande pas à de vrais statisticiens de faire le travail et on n'accepte pas les critiques sur la pertinence de la démarche.
Les entreprises qui font du prédictif sérieusement:
- n'en font pas n'importe quand, n'importe comment
- savent le prix que ça coûte
- évaluent le ROI en terme d'opérationnel et de stratégie
- l'appliquent à des domaines pertinents
0 |
0 |