Fivetran の請求額がソーステーブルの更新頻度によって急上昇していませんか?
Fivetran は Monthly Active Rows(MAR:月間アクティブ行数)に基づいて課金されます。上流での一括更新やスキーマ移行が行われると全行が再処理対象となり、請求額が跳ね上がります。データ行自体が悪いわけではありません。自前で再処理するデータに対して行単位で課金される料金モデルこそが問題なのです。
このような課題はありませんか?
- 基幹 ERP のマイグレーションが行われた月の請求額が前月の数倍に膨れ上がり、誰もその予算を想定していなかった。
- ソース側のシステム開発チームが一括更新バッチを実行しただけで、データ取り込みの請求書がそのコストをそのまま被ることになる。
- ビジネス側の本来のデータニーズではなく、「同期にいくらかかるか」を基準に対象テーブルを選別し始めている。
- 財務部門から取り込み費用の着地予測を求められたが、「ERP チームが来期何をするかによる」としか答えられない。
Monthly Active Rows(MAR:月間アクティブ行数)は、マネージドコネクタの課金指標としては一見合理的に思えます。しかし、変更されるデータ行の数を決定するのが「他者」である場合、これは深刻な予算リスクに化けます。ERP での全品目価格の一括改定、全レコードのカラム仕様を変更するスキーマ移行、顧客マスターの半数に及ぶデータクレンジングなど、これらは影響を受けたすべての行を「アクティブな行」として再カウントし、事後的に莫大な請求書をもたらします。
請求額を自社でコントロールできない理由
- MAR は「ビジネス価値のある行」ではなく「触られた行」を数える: 1,000 万件のレコードのうち 1 つのカラムを一括更新するマイグレーションは、下流のレポートに何の影響も与えない場合であっても、きっちり 1,000 万アクティブ行として請求されます。
- 引き金は常に上流で引かれる: ソースシステム側の運用チームは、一括更新処理を実行する前にデータチームの取り込み予算を確認したりはしませんし、確認すべきでもありません。
- 同じデータ行に対して二重にコストを支払っている: データの受け入れ時(インジェスチョン時)に行単位の利用料を支払い、さらに下流でどの行が変更されたかを把握できないために全件再計算を行い、ウェアハウスのコンピュート費用を二重に支払っています。
- 正確な予算予測が不可能: コネクタはシステムのアクティビティを計測しますが、そのアクティビティは自社データチームではなく他部門のプロジェクト進行によって決まります。
Fivetran は自社の料金体系に沿って忠実に動作しているに過ぎません。真に問うべきは、「最もデータ量が多く、最も頻繁に更新される基幹テーブルに対して、行単位の従量課金モデルを適用することが経済的に正しいのか」という点です。
コストが本来属するべき場所
- 大容量テーブルの取り込みはウェアハウス自身の仕事: モデル駆動型プラットフォームは、ウェアハウスを自動生成する一環としてそれらのデータを直接ロードし、自社がすでに保有しているコンピュート上で稼働させます。
- 下流へは差分(デルタ)のみを移動させる: 自動化された Data Vault アーキテクチャは、変更があったデータのみを Hub、Link、Satellite へ反映します。ステージングでの全件リロードが、上位レイヤーすべての全件再処理に波及することはありません。
- ロングテール SaaS はコネクタに残す: マネージドコネクタは、データ量が少なく MAR が小さく安定している低ボリュームの SaaS ソースにおいて真価を発揮します。
Datavault Builder による変革
Datavault Builder は、データベース、ファイル、REST API、NoSQL、Python ソース、Kafka ストリームからのバッチ、差分、CDC ロードを直接実行できる取り込み機能を内蔵しており、ウェアハウスの生成と同一のプラットフォームで完結します。
- 高頻度テーブルを行単位課金のループから除外: プラットフォームを介してステージングへ直接ランディングさせることで、コネクタの請求額が ERP チームの作業カレンダーに連動する悪夢を断ち切ります。
- リロードの影響をステージング内に封じ込める: 自動生成された Vault ロードは、すでに履歴保持されているデータと照合して差分のみを移動させるため、上流でのリロードがシステム全体の再計算に波及しません。
- コネクタを使い続けるテーブルとも安全に共存: 生データのランディングテーブルと履歴管理レイヤーが明確に分離されているため、テーブルごとにコネクタを使うか直接取り込むかを自由に選択・変更できます。
- コストを明確なキャパシティ計画として管理: ウェアハウスのコンピュート費用は、事前に測定・予約・予測が可能です。他社システムの予測不能な行数変動に振り回されることはありません。
今すぐ判断すべきこと
直近 6 ヶ月間の MAR レポートを確認し、テーブルごとに降順で並び替えてみてください。もし上位 5〜10 個のテーブルが請求額の大部分を占めているなら、それらこそが自社プラットフォームによる直接取り込みへ移行すべき対象です。その境界線より下のロングテールなテーブル群は、今のままコネクタに任せておいて問題ありません。
貴社のデータソースで実際の動作をご確認ください
無料デモをお申し込みいただき、費用や保守工数が最もかかっているコネクタをお持ち寄りください。
データパイプラインを自社で完全に掌握する 3 つのステップ
-
コストが急増しているテーブルを特定する
通常、MAR の大半は 3〜4 個のソース(巨大なファクトテーブル、頻繁に更新されるテーブル、移行対象テーブル)に集中しています。
-
それらのテーブルを自社プラットフォームで直接取り込む
Datavault Builder は、データベース、ファイル、API、ストリームからバッチ、差分、CDC でステージングへ直接ロードします。行ごとの従量課金は発生しません。
-
残りの SaaS ソースはそのまま維持する
ロングテールの SaaS ソースは既存コネクタに残します。Data Vault レイヤーが取り込み経路の違いを吸収するため、下流の処理に影響はありません。
Datavault Builder がデータ取り込みの摩擦を解消する仕組み
-
取り込み機能を標準で統合
データベース、ファイル、REST API、NoSQL、Python ソースからのバッチ・差分・CDC ロードに対応し、Kafka などのストリームもマイクロバッチとして取り込み可能。ウェアハウス生成と同一の単一プラットフォームで完結し、追加のツール費用は不要です。
-
ベンダー仕様ではなく自社設計のスキーマ
ソーステーブルは自社で設計した Data Vault 2.0 モデルにマッピングされます。カラム追加やテーブル名変更が発生しても、マッピングを調整するだけで対応でき、ロード後のスクリプト修正作業は不要です。
-
差分(デルタ)のみを転送・処理
Hub、Link、Satellite は変更分のみを効率的にロードします。フルリロードデータはステージングに留まり、下流で毎晩再処理されるような無駄な負荷を発生させません。
-
設計段階から変更履歴を確実に保持
すべての変更履歴が到着順に記録されるため、ソース側でレコードが上書きされても過去時点の正確な状態(as-was)を遡って集計・レポーティングできます。
-
手作業でのコーディングは一切不要
ロード処理、履歴管理、データリネージはモデルからリアルタイムで自動生成され、Snowflake、Databricks、BigQuery、SQL Server、Fabric、Oracle、PostgreSQL 上でネイティブに実行されます。
-
1 つのプラットフォームで最大 9 つのツールを集約
モデリング、ETL、CI/CD、ドキュメント生成、リネージ管理を 1 つの環境に統合。要件定義から本番環境へのデプロイまでわずか 14.7 分という迅速なデリバリーを実現します。
専門家にご相談ください
弊社のセールスディレクターが 20 分間で、貴社の技術スタックに適合するか率直にお答えします。
Matt Collett
Sales Director
ご都合の良い日時をお選びください:
本シリーズで解説するその他の課題
-
Fivetran のコストとスキーマの課題:データ取り込みの摩擦を自動モデリングで解消
設定不要ですぐに動くプラグ&プレイの ELT は、導入当初は迅速ですが、長期的には制御が困難になります。時間の経過とともに損なわれるのは「パイプラインの費用」と「データの形状を誰が決めるのか」という主導権です。自動化された Data Vault レイヤーは、稼働中のコネクタを維持したまま、これら両方の主導権を取り戻します。
-
Fivetran のスキーマ仕様により、ロードのたびに手動でデータ再加工を強いられていませんか?
Fivetran は各ソースを標準化された独自のスキーマで出力します。その結果、ビジネスキーの統合、カスタムフィールド、レガシー構造への対応を、ロード後の SQL スクリプトで手作業で加工しなければならず、コネクタの仕様変更で容易に破損します。解決策はより優れたスクリプトを書くことではなく、データの形状を自ら掌握するモデルを持つことです。
よくあるご質問
- 必ずしもそうではありません。多くのチームは、ロングテールの SaaS ソースには既存のマネージドコネクタを使い続け、コストが高くデータ量の多い主要テーブルのみを直接取り込みへ移行しています。Data Vault は両方の背後で統合レイヤーとして機能するため、下流のデータモデルは各テーブルがどの経路で届いたかを気にする必要がありません。
- JDBC 経由のデータベース、ファイル、REST API、Trino コネクタ経由の NoSQL ストア、gRPC コネクタ経由の Python ソースからのバッチ、差分、CDC ロードに対応しています。Kafka などのストリームデータは Trino を介してマイクロバッチとして取り込まれます。CDC 機能は Enterprise プランに含まれています。
- 自社のデータウェアハウスのコンピュート費用が発生しますが、これはすでに契約済みで事前に容量設計(サイジング)が可能な予測できるコストです。完全になくなるのは、ソースシステム側が勝手に書き換えた行に対する「行単位のライセンス課金」と、変更のないデータまで下流全体で毎晩再処理する無駄なコストです。