Qlik アプリ内で意図しない合成キーが勝手に生成されていませんか?
合成キー(Synthetic Key)や循環参照(Circular Reference)は、Qlik が与えられたテーブル構造を愚直に関連付けた結果として発生します。データが適合ディメンションや適切な主キーを持たずに届くため、アプリごとにそれらを無理やり作り出さざるを得ないことが根本原因です。
このような課題はありませんか?
- データモデルビューアを開くと、誰も作成するつもりのなかった「$Syn」テーブルで埋め尽くされている。
- リロード時に循環参照の警告が表示され、特定のテーブルが疎結合(Loosely Coupled)になってしまう。
- すべてのロードスクリプトの冒頭が、項目のリネーム、QUALIFY 文、リンクテーブルの構築処理で埋まっている。
- アプリにテーブルを 1 つ追加しただけで、昨日まで正常に機能していた連想関係が突然破損する。
合成キー(Synthetic Key)は、Qlik が与えられたテーブル群に対して仕様通りに関連付けを行った結果です。複数のテーブル間で複数のフィールド名が重複している場合、連想エンジンは何らかの形でそれらを結びつけるしかありません。
合成キーが示している本当の問題
- 複数のテーブル間で複数の共通フィールドが存在する: Qlik はその組み合わせごとに
$Synテーブルを自動生成し、モデルビューアはそれらで埋め尽くされます。 - 同一テーブルに至る複数の結合ルートが存在する: これが循環参照(Circular Reference)であり、Qlik はループを遮断するためにテーブルを強制的に疎結合化します。
- 対症療法的な修正に追われる: リンクテーブル、ファクトの連結、
QUALIFY、ASによるリネーム、AutoNumberによる複合キー生成など、構造的なパッチが必要になります。 - 修正はそのアプリ内でしか通用しない: そのアプリの問題は解決できても、同じソースデータを利用する別のアプリではまたゼロから同じ修正を繰り返すことになります。
これらはすべて、「データが Qlik に届く前に解決されているべきだったキーの不備」を物語っています。
なぜその負担がアナリストに押し付けられるのか
- 各ソースシステムがたまたま使用していたフィールド名のまま、抽出データがアナリストに丸投げされました。
- どの
CustomerIDが真の顧客を表すのかを上流の誰も定義しなかったため、ロードスクリプト側で判断せざるを得ませんでした。 - Qlik 側でフィールド名を変更することはできても、その大元であるディメンションの標準化(コンフォーミング)はアナリストにはできません。
本来その処理が行われるべき場所
- テーブル間のリレーションシップの設計はウェアハウスの責務: Qlik 側でそれをやらせると、すべてのアプリのロードスクリプトで毎回同じパッチワークを繰り返すことになります。
- 1 箇所の中央基盤に集約すべき: データウェアハウスやデータハブ側で 1 度だけ解決し、すべてのアプリが統一されたスタースキーマを参照すべきです。
- 「DWH の改修は高額で時間がかかる」と思われるかもしれませんが: その見積もりは手作業でパイプラインを構築することを前提としています。専用の自動化プラットフォームを活用すれば、モデルからパイプラインが自動生成されるため、必要なコストと期間は劇的に圧縮されます。
完成したモデルが届いたときに変わること
Datavault Builder は、Snowflake、Databricks、SQL Server、Fabric、Oracle、PostgreSQL 上で、データボルトおよびディメンショナルレイヤーをネイティブに自動生成します。
- 適合ディメンション(Conformed Dimensions): すべてのファクトで共有される単一の顧客テーブルと単一の顧客キーが提供されます。
- 明示的なサロゲートキー: 単一のフィールドで結合されるため、Qlik が合成キーを生成する余地がそもそも存在しなくなります。
- 明確な粒度のファクトテーブル: 手作業で保守していたリンクテーブルが不要になります。
- ロードスクリプトがシンプルに: スクリプト冒頭の複雑なリネーム処理が一切不要になり、完成テーブルからの単純な
LOADだけで完結します。 - 新しいアプリを作成する際も、過去のワークアラウンドをコピペするのではなく、共通モデルから安全に開始できます。
上流チームに何を要求すべきか
単に「Qlik が合成キーを勝手に作ってしまう」と伝えるのではなく、以下のように依頼してください:
「受注、請求、出荷の各テーブルがそれぞれ独自の顧客キーや日付キーを持っているため、アプリ側でリンクテーブルやリネームによる対症療法を強いられています。すべてのアプリが同じスタースキーマを直接読み込めるよう、サロゲートキーを持つ適合ディメンションをウェアハウス側で提供してもらえませんか?」
もし上流から「ディメンションの標準化には何ヶ月もかかる」と返答されたなら、まさにその構築障壁を自動化によって排除するのが Datavault Builder です。
実際のデータで動作をご確認ください
無料デモをお申し込みいただき、最も課題を抱えているレポートをお持ち寄りください。
数値の整合性を保つための 3 つのステップ
-
既存のロジックを抽出
現在レポート内に点在している計算式、結合、フィルターを整理・収集します。
-
1 か所に集約・一元化
ロジックをデータウェアハウスモデルへ一度集約することで、すべてのレポートが同一の定義を参照します。
-
整合性のある正確な数値を実現
すべてのレポートで整合した数値が表示され、「この数値の出所はどこか」という疑問に明確に答えられるようになります。
Datavault Builder が完成したモデルをレポートに提供する仕組み
-
完成したモデルが即座に利用可能
Datavault Builder は Vault やスタースキーマを自動生成し、SQL Server、Azure SQL、Synapse、Fabric、Snowflake、Databricks、BigQuery など既存のデータベース上でネイティブに実行します。
-
レポート側の集計・変換作業を解消
マージ、パース、ファジーマッチなどの手間がレポート側から完全に不要になります。
-
ソースデータを統合した状態で提供
ERP、CRM、EC サイトなどの顧客データを整合性のあるディメンションに統合。結合処理はデータウェアハウス内で一度だけ行われ、各レポートで毎回繰り返す必要がなくなります。
-
いつでも過去時点のデータを遡及クエリ可能
すべての変更履歴が到着順にそのまま保持されるため、ソース側でレコードが上書き更新された場合でも、当時の状態(as-was)と現在の状態(as-is)の双方を正確にレポーティングできます。
-
すべての数値に明確なリネージを保持
ビジネスロジックにデータリネージが付与されるため、「この数値がどこから算出されたのか」をいつでも可視化できます。
-
上流でデータ変更を適切に処理
緩やかに変化するディメンション(SCD)は、近似処理ではなく、上流の Vault サテライトとして正確に管理されます。
専門家にご相談ください
弊社のセールスディレクターが 20 分間で、貴社の環境や要件に適合するか率直にお答えします。
Matt Collett
Sales Director
ご都合の良い日時をお選びください:
本シリーズで解説するその他の課題
-
Qlik アプリと Power BI レポートで数値が食い違っていませんか?
Qlik も Power BI も計算自体は間違っていません。問題は、各ツールが独自のロードロジック、独自の定義、独自のリネージを持っているため、同じ指標が 2 回別々に計算され、誰もその差異を照合できない点にあります。ロジックは両ツールが参照する単一のガバナンスの効いたウェアハウスモデルに集約されるべきです。
-
Qlik のロードスクリプトごとに同じデータクレンジングを繰り返していませんか?
同じマッピングテーブル、文字列のトリミング処理、重複排除ロジックが、あらゆるアプリや QVD レイヤーで何度も書かれ、コピー同士の定義が徐々に乖離していく。データクレンジングがスクリプトごとに繰り返されるのは、上流のデータウェアハウスがそれを一元的に解決していないからです。
-
Qlik のセット分析(Set Analysis)式が長すぎて重くなっていませんか?
セット分析は、前年同月比などの真の比較集計を行うための強力な機能です。しかしアプリ内に存在する長大な計算式の多くは、モデル側に履歴、フラグ、統一された粒度が存在しないため、チャートが選択操作のたびにそれらを再構築していることが原因です。