Read more
Matillion réduit la création de pipelines de données de 40 heures à 1 heure avec un assistant IA propulsé par Claude
Secteur d'activité :
Logiciels
Taille de l'entreprise :
Grande
Produit :
Claude Code
Région :
Europe
Création de pipelines 40 fois plus rapide
Des transformations de données sophistiquées qui prenaient 40 heures à un client ne prennent plus qu’1 heure avec Maia
41 % plus rapide pour compléter les pull requests
80 % des développeurs de Matillion utilisent Claude Code, rapportant une réduction moyenne de 41 % du temps consacré aux pull requests
Video caption
Video caption
Matillion est une plateforme d’intégration de données qui aide les équipes data à construire et gérer des pipelines pour l’IA et l’analyse. Des milliers d’entreprises, dont Cisco, London Stock Exchange Group et Slack, utilisent Matillion pour les analyses, l’analyse opérationnelle et les applications de machine learning.
Avec Claude, Matillion :
- Crée des pipelines de données en langage naturel : les utilisateurs décrivent ce dont ils ont besoin en langage courant, et Maia construit des pipelines prêts pour la production
- Atteint 100 % de précision dans les migrations complexes. Maia réplique avec succès des pipelines de production sans connaissance préalable des paysages de données
- Réalise 500 000 $ de gains d’efficacité opérationnelle par client
- Traduit automatiquement les bases de code héritées : migre les processus ETL existants sans recréation manuelle
- Exécute des opérations de données autonomes : gère tout, de l’échantillonnage des données à l’optimisation des transformations à la vitesse de la machine
- Permet le libre-service pour les non-ingénieurs : les analystes métier peuvent désormais construire une infrastructure de données qui nécessitait auparavant une expertise spécialisée
- Maintient et optimise les pipelines existants : améliore continuellement les performances et s’adapte aux exigences changeantes
Sélectionner le bon modèle de fondation
Matillion a choisi Claude après 18 mois de tests auprès de plusieurs fournisseurs de modèles. Leur cadre d’évaluation mesurait trois capacités critiques : la compréhension de langages propriétaires spécifiques au domaine, le raisonnement multi-étapes pour les opérations de données complexes et les décisions fiables d’appel d’outils. Claude a systématiquement surpassé les autres modèles sur toutes les métriques. Spécifiquement :
• Raisonnement et appel d’outils robustes : Claude a démontré une capacité sophistiquée à sélectionner les bons outils et à séquencer des opérations complexes, essentiel pour la gestion autonome de pipelines de données
• Fiabilité : Des performances stables d’une version de modèle à l’autre signifiaient que Matillion pouvait passer aux nouvelles versions de Claude sans réingénierie de toute leur architecture de prompts
• Aucun entraînement requis : Claude a compris immédiatement le langage propriétaire de pipeline de données (DPL) basé sur YAML de Matillion, malgré l’absence de données d’entraînement publiques
• Comportement cohérent : L’équipe a constaté qu’elle n’avait jamais à « lutter » contre le modèle pour obtenir les résultats souhaités
« La décision de choisir Claude était entièrement basée sur les données », explique Julian Wiffen, Chief of AI and Data Science chez Matillion. « Nous avons testé plusieurs modèles côte à côte, et Claude a systématiquement fourni les meilleurs résultats en termes de précision et de fiabilité. »
Le défi : des équipes data noyées sous les backlogs
Les équipes d’ingénierie data peinent à suivre la demande. Les dirigeants demandant des tableaux de bord et les analystes ayant besoin de nouvelles sources de données attendent souvent des semaines ou des mois pour des requêtes simples. Ce problème est sur le point de s’aggraver ; l’adoption de l’IA générative augmente considérablement la charge sur des équipes data déjà sous tension qui doivent construire des pipelines alimentant les processus d’IA tout en gérant le flux de données que ces systèmes génèrent.
L’ingénierie data était devenue un goulot d’étranglement critique. Même les requêtes simples devaient traverser des backlogs de plusieurs mois, créant de la friction dans l’ensemble des organisations. Matillion a reconnu que les approches traditionnelles ne pouvaient pas s’adapter à la demande explosive de création et de maintenance de pipelines de données.
Construire Maia : du concept à la production
La transformation a commencé lorsque Matillion a découvert que son langage propriétaire de pipeline de données, conçu pour être lisible par l’homme, était également lisible par la machine. Alors qu’ils pensaient initialement que les LLM ne pourraient pas comprendre un langage sans données d’entraînement publiques, Claude leur a prouvé le contraire. Le modèle a démontré une compréhension sophistiquée de leur format basé sur YAML, respectant les instructions et générant des définitions de pipeline valides de manière cohérente.
Matillion a construit un cadre de test sophistiqué utilisant trois LLM de concert : l’un exécutant Maia, un autre jouant le rôle de testeur, et un troisième agissant comme juge pour vérifier les résultats. Ce cadre leur a permis de mesurer les performances de manière tangible : en suivant le temps écoulé, la précision de sélection des outils et la consommation de jetons à travers des ensembles de scénarios.
L’évolution de la simple auto-documentation aux capacités agentiques complètes a pris deux ans, mais les résultats justifient l’investissement. Maia peut désormais accéder à la quasi-totalité des fonctionnalités du Data Productivity Cloud via des appels d’outils, exécutant des opérations qui défient même les ingénieurs data experts.
« Maia gère tout, des migrations ETL héritées à la construction de pipelines prêts pour la production à la vitesse de la machine, avec une qualité logique à laquelle nous pouvons faire confiance », a déclaré Ammad Baig, Director of Enterprise Data & AI Services chez Precision Medicine Group, l’un des clients de Matillion. « Cela accélère fondamentalement notre flux de travail tout en réduisant les efforts manuels. »
Le résultat : redéfinir la productivité des équipes data
Depuis la disponibilité générale de Maia en juin, les clients constatent des changements significatifs dans leur manière de travailler. Les équipes livrent davantage avec leurs ressources existantes, les analystes pouvant désormais se servir eux-mêmes d’une infrastructure de données qui nécessitait auparavant une expertise d’ingénierie spécialisée. Un client a rationalisé ses opérations data, sa petite équipe étant désormais capable de livrer l’ensemble de sa stratégie data, atteignant une productivité qui aurait autrement nécessité des ressources considérablement élargies.
L’impact s’étend au-delà des clients externes. Quatre-vingts pour cent des développeurs de Matillion ont adopté Claude Code, rapportant une réduction moyenne de 41 % du temps consacré aux pull requests d’après des enquêtes internes. Cela crée un effet multiplicateur : les développeurs juniors traitent des tâches qui revenaient auparavant aux seniors, tandis que les développeurs seniors s’attaquent à des travaux que seuls les leads techniques vétérans pouvaient gérer avant.
Pour l’avenir, Matillion prévoit d’étendre les capacités de Maia pour capturer les informations sémantiques des catalogues de données, des pipelines existants et de la documentation. L’objectif est de donner à Maia une expertise de domaine sur le paysage de données unique et la terminologie métier de chaque client, comprenant non seulement qu’il existe des champs de revenus dans une base de données, mais lesquels représentent la véritable source de référence pour des contextes métier spécifiques.
« Capturer ces types de détails sémantiques et permettre à Maia de les utiliser efficacement est notre prochain défi », explique Julian. « Les modèles d’Anthropic seront essentiels pour cela. »
« Nous avons testé plusieurs modèles côte à côte, et Claude a systématiquement fourni les meilleurs résultats en termes de précision et de fiabilité. »
Chief of AI and Data Science, Matillion
Video caption