Alors que Dataiku vient de sortir LLM Cost Guard, un outil de gestion des coûts associés à l’IA, Florian Douetteau, son directeur général, revient pour Stratégies sur cette problématique encore peu abordée.
Pourquoi avoir sorti un outil de mesure des coûts de l’IA ?
Florian Douetteau. Nous avons été parmi les premiers à accompagner des entreprises sur les cas d’usage de l’IA générative. Nous avons vu des start-up et d’autres acteurs passer du POC (proof of concept) à la mise en production, que ce soit pour la mise en place de chatbot par LLM [large language model, grand modèle de langage], des analyses de corpus… Et nous avons beaucoup vu la question du coût se dégager. C’est lors de la mise en production que cette question émerge et que des surprises apparaissent…
Pourquoi tant de difficulté à apprécier les coûts relatifs à l’IA générative ?
Quand on reçoit une facture d’OpenAI ou de n’importe quel autre développeur, on a du mal à suivre ce que chaque application coûte réellement. La distinction entre ce qui fait partie du POC ou de la mise en production est très difficile à faire, car les coûts varient selon les cas d’usage. Quand vous interagissez avec un LLM, ce dernier est rarement pertinent par lui-même dès le départ. À chaque fois, vous devez le nourrir de données spécifiques, et le coût dépendra du volume et du type de données que vous lui envoyez. Le coût varie également en fonction du temps de réponse que vous attendez. In fine, chaque usage de l’IA est spécifique au sein de l’entreprise. Vous n’avez pas une IA qui fait tout. Vous avez très vite trois, quatre ou cinq applications différentes. Nous nous sommes rendu compte qu’il y avait un aspect dynamique du coût à prendre en compte, alors même que les entreprises ont lancé beaucoup de projets en interne pour intégrer l’IA générative et que les budgets sont en train d’être analysés. Notre outil permet de mesurer et piloter les coûts application par application. La mise en place de solutions d’IA dans une entreprise nécessite de comprendre quel en sont les gains effectifs, évalués autrement que par la seule pertinence des réponses.
Pourrait-il y avoir de mauvaises surprises sur la douloureuse ?
Il pourrait y avoir un effet des dérives de coûts. Les clients vont mettre en place les projets en faisant une « règle de 3 » assez basique après le POC, calculée sur les coûts de départ. Ce qui n’aurait aucun sens. Nous avons vécu cela sur la mise en place du cloud : la problématique des coûts non maîtrisés se ressent encore… Les factures ont grandi sans aucune anticipation. De l’autre côté, et c’est paradoxal, tout le monde anticipe également une baisse des coûts des LLM dans le temps. La multiplication des acteurs avec OpenAI, Claude 3 (Anthropic), Azure, Mistral ou Gemini, ou même l’open source, va créer de la compétition entre les acteurs. Les algorithmes seront optimisés, et surtout, les entreprises apprendront à travailler avec des modèles plus petits. Cela rendra plus floue l’anticipation des dépenses réelles. Comme avec le web, la structure de coût changera beaucoup dans les 5 à 10 ans. Au départ, avoir son site ou son application mobile était une gentille lubie. Aujourd’hui, chacun a son parc, ses équipes, ses prestataires et tout un écosystème.
Donc se posera la question de savoir si on internalise ou non ?
Cela sera une vraie question de fond, oui. Plusieurs facteurs viendront limiter les réflexions : la maturité du marché, la disponibilité des machines [affectant les temps de réponses] et le contrôle et la souveraineté des données.
