Matillion、Claude 搭載の AI アシスタントでデータパイプライン作成を 40 時間から 1 時間に短縮

Matillion は、データチームが AI と分析のためのパイプラインを構築・管理するためのデータ統合プラットフォームです。Cisco、London Stock Exchange Group、Slack を含む数千のエンタープライズが、インサイト、運用分析、機械学習アプリケーションに Matillion を使用しています。

Claude の活用による成果：

• 自然言語でデータパイプラインを作成：ユーザーが必要な内容を平易な英語で説明するだけで、Maia が本番対応のパイプラインを構築
• レガシーコードベースを自動変換：手動で再作成することなく既存の ETL プロセスを移行
• 自律的なデータ操作を実行：データサンプリングから変換の最適化まで、すべてを機械速度で処理
• 非エンジニア向けのセルフサービスを実現：これまで専門知識が必要だったデータインフラを、ビジネスアナリストが構築可能に
• 既存パイプラインの保守と最適化：パフォーマンスを継続的に改善し、変化する要件に適応

適切な基盤モデルの選定

Matillion は、複数のモデルプロバイダーにわたる 18 か月のテストを経て Claude を選びました。評価フレームワークでは、独自のドメイン固有言語の理解、複雑なデータ操作のためのマルチステップ推論、信頼性の高いツール呼び出しの判断という3つの重要な能力を測定しました。Claude はすべての指標で他のモデルを一貫して上回りました。具体的には：

・優れた推論とツール呼び出し：Claude は適切なツールを選択し、複雑な操作をシーケンス化する高度な能力を示しました。これは自律的なデータパイプライン管理に不可欠です
・信頼性：モデルバージョン間の安定したパフォーマンスにより、Matillion はプロンプトアーキテクチャ全体を再設計することなく、新しい Claude リリースにアップグレードできました
・トレーニング不要：Claude は公開トレーニングデータがないにもかかわらず、Matillion 独自の YAML ベースの Data Pipeline Language（DPL）を即座に理解しました
・一貫した挙動：チームはモデルと「格闘」して望む結果を得る必要がありませんでした

「Claude を選んだ決定は完全にデータドリブンでした」と、Matillion の AI ・データサイエンス責任者である Julian Wiffen 氏は説明しています。「複数のモデルを並べてテストし、Claude が精度と信頼性の両方で一貫して最良の結果を出しました」

課題: バックログに埋もれるデータチーム

データエンジニアリングチームは需要に追いつくのに苦労しています。ダッシュボードを要求する経営陣や新しいデータソースを必要とするアナリストは、簡単なリクエストでも数週間から数か月待つことがよくあります。この問題は今後さらに悪化する見込みです。生成 AI の普及により、AI プロセスに供給するパイプラインの構築とそれらのシステムが生成する大量のデータの処理を同時に行わなければならない、すでに逼迫したデータチームへの負荷が大幅に増加しています。

データエンジニアリングは深刻なボトルネックとなっていました。簡単なリクエストでさえ数か月のバックログに並ぶ必要があり、組織全体に摩擦が生じていました。Matillion は、従来のアプローチではデータパイプラインの作成と保守に対する爆発的な需要に対応できないことを認識していました。

Maia の構築：コンセプトから本番へ

変革は、Matillion が人間にとって読みやすく設計された独自の Data Pipeline Language が機械にも読みやすいことを発見したときに始まりました。当初は公開トレーニングデータのない言語を LLM が理解できるとは想定していませんでしたが、Claude はそれを覆しました。モデルは YAML ベースのフォーマットを高度に理解し、指示を遵守して有効なパイプライン定義を一貫して生成しました。

Matillion は 3 つの LLM を連携させた高度なテストフレームワークを構築しました。1 つが Maia を実行し、もう 1 つがテスターの役割を果たし、3 つ目が結果を検証するジャッジとして機能します。このフレームワークにより、所要時間、ツール選択の精度、シナリオセット全体のトークン消費量を追跡し、パフォーマンスを具体的に測定できました。

シンプルな自動ドキュメント生成から完全なエージェンティック機能への進化には 2 年かかりましたが、その成果は投資に見合うものです。Maia は現在、ツール呼び出しを通じて Data Productivity Cloud のほぼすべての機能にアクセスでき、熟練したデータエンジニアでさえ困難な操作を実行しています。

「Maia はレガシー ETL の移行から本番対応パイプラインの構築まで、信頼できるロジック品質で機械速度ですべてを処理します」と、Precision Medicine Group のエンタープライズデータ & AI サービスディレクター Ammad Baig 氏は述べています。「当社のワークフローを根本的に加速させながら、手作業の負担を軽減しています」

成果：データチームの生産性を再定義

Maia の一般提供開始以来、カスタマーは運用方法に大きな変化を実感しています。チームは既存のリソースでより多くを提供しており、以前は専門的なエンジニアリング知識が必要だったデータインフラをアナリストがセルフサービスで構築できるようになっています。

その効果は外部カスタマーにとどまりません。Matillion の開発者の 80% が Claude Code を採用し、社内調査に基づいてプルリクエストにかかる時間が平均 41% 短縮されたと報告しています。これは乗数効果を生み出します。ジュニア開発者が以前はシニアが担当していたタスクを処理し、シニア開発者はベテランのテクニカルリードしか管理できなかった作業に取り組めるようになっています。

今後、Matillion は Maia の機能を拡張し、データカタログ、既存パイプライン、ドキュメントからセマンティック情報を取得できるようにする計画です。目標は、各カスタマー固有のデータランドスケープとビジネス用語に関するドメイン専門知識を Maia に持たせることです。データベースに収益フィールドがあることを理解するだけでなく、特定のビジネスコンテキストにおいてどのフィールドが真の信頼できる情報源であるかを理解させることが目標です。

「このようなセマンティックの詳細を取得し、Maia に効率的に活用させることが次の課題です」と Julian は説明しています。「Anthropic のモデルがその鍵となるでしょう」