CDCとバッチ処理を、業務要件から選ぶ

結果をいつ使い、古いデータが業務にどのような影響を与えるか確認します。定時の報告にはバッチが適し、業務中の判断には短い更新間隔が必要な場合があります。処理量と実行できる時間帯も確認します。CDCは変更のない行の再取得を減らせますが、すべてのシステムに適する方式ではありません。

ログベースのCDCは、対応する変更記録を読み取ります。照会など別の方式を使う製品もあるため、必要な権限、設定、ライセンス、バージョンを確認します。初期ロードと通常運用で元システムへの負荷を測定し、負荷がゼロ、あるいは影響が一切ないと決めつけないことが大切です。

初期ロードから継続更新への切り替えを設計します。更新、削除、順序、データ型、スキーマ変更を試し、利用する読み取り・書き込み機能の組み合わせで、配信と復旧の動作を確認します。「一度だけ処理する」という説明は、対象範囲、前提、再試行時の接続先の動作まで確認します。

監視、過去データの取り込み直し、障害対応、元システムのログ保持、費用を比較します。過去データはバッチ、継続更新はCDCという組み合わせも考えられます。遅延や欠損の検知、再処理の結果確認まで決め、必要な条件を満たす構成を選びます。

用途によります。必要な鮮度、変更量、元システムの対応、運用作業で判断します。両方を組み合わせる構成もあります。

負荷がないとは限りません。設定条件を確認し、初期ロードと通常運用の両方で影響を測定してください。