CDC対バッチETL：日本のデータチームが乗り換える理由

バッチパイプラインは、1日分の変更をまとめて収集し、夜間の一括処理で移送・変換いたします。コストは計算処理そのものではなく、待ち時間にございます。データは処理ウィンドウが走るまでクエリ不能なまま置かれ、その後の分析は常に少なくとも1日遅れ、ソースからウェアハウスまでの各段階が、レイテンシと、突き合わせが破綻しうる箇所を積み上げていきます。レガシースタックでは、1件の変更が意思決定に届くまで3〜5日を要することもございます。不正検知、在庫、パーソナライゼーションといった時間に敏感なものにとって、答えは役に立たなくなってから届くのです。

CDCは、データベースのトランザクションログ、すなわちデータベースが耐久性のためにすでに書き込んでいるログを読み取り、挿入・更新・削除のそれぞれをコミットと同時にストリーミングいたします。ソースには何も追加せず、クエリ負荷もかけないため、本番システムは影響を受けることなく稼働し続けます。Striimは、Oracle、SQL Server、PostgreSQL、MySQLをはじめとする100を超えるソースのログを取得し、インフライトでの変換・エンリッチメントを施したうえで、サブ秒単位のレイテンシで宛先へ配信いたします。データは着地した瞬間に最新であり、その上で動く分析もまた最新です。

CDCが常に答えになるとは限らず、優れたアーキテクチャは両方を使い分けます。バッチは、大規模な過去データのバックフィル、数年分のレコードの一度きりの移行、あるいは本当に前日の数値だけで足りるレポートなど、スケジュールジョブの単純さがレイテンシを上回る場面に依然として適しております。CDCは、鮮度に価値がある領域、すなわち不正検知、リアルタイム在庫、ライブのパーソナライゼーション、運用ダッシュボード、そしてAIへの最新データ供給のすべてで優位に立ちます。判断基準は単純です。データが古くなるにつれて価値を失う意思決定であれば、それを支えるパイプラインにはCDCが適しており、夜間ジョブでは要件を満たせません。

バッチからの移行は、リスクの高い一斉切り替えを意味いたしません。標準的な道筋は、既存のバッチジョブと並行してCDCを走らせることです。CDCストリームを立ち上げ、新しい宛先にデータを投入し、2つの出力が一致するまで突き合わせ、ストリーミング経路が信頼できると確認できた時点でバッチジョブを退役させます。CDCはログベースで非侵入型であるため、ソースデータベースが停止されることはなく、これは本番システムを止められない日本のエンタープライズにとって重要です。SingleStore Flowは、まさにこのパターンのために、SingleStoreへのCDCと一括取り込みを提供し、オンプレミスのワークフロー向けにセルフホスト構成にも対応しております。

日本は、バッチが最も痛手となるワークロードが集中する市場です。メガバンクは1日に数千万件のトランザクションを清算し、通信キャリアは5Gで1日あたり数十億件のイベントをルーティングし、製造業は数テラバイトのセンサーデータをストリーミングしており、そのすべてが夜間パイプラインの下で時間とともに価値を失っていきます。さらに、これらのシステムをオンプレミスへと向かわせるデータレジデンシー規制が加わることで、要件は具体的になります。すなわち、顧客自身の環境で動作する、サブ秒・ログベースのCDCです。StriimとSingleStoreはいずれも、完全なオンプレミス同等性をもってこの水準を満たしており、それゆえ日本では移行がパイロットから標準へと移りつつあるのです。

バッチETLは1日分の変更を収集し、通常は夜間に一括して移送するため、分析は常に少なくとも1日遅れます。チェンジデータキャプチャ（CDC）は、データベースのトランザクションログを読み取り、各変更をコミットと同時にサブ秒単位でストリーミングいたします。バッチは鮮度と引き換えに単純さを得る方式であり、CDCは宛先を継続的に最新の状態に保ちます。

いいえ。ログベースのCDCは、データベースが耐久性のためにすでに書き込んでいるトランザクションログを読み取るため、ソースにクエリ負荷も書き込み負荷も追加いたしません。これが非侵入型と呼ばれる理由であり、動作を遅くできない本番システムに対しても安全に実行できる理由でございます。Striimは、Oracle、SQL Server、PostgreSQL、100を超えるソースにわたってこのログベースの方式を用います。

バッチは、レイテンシが問題にならない場合に依然適しております。大規模な一度きりの過去データのバックフィル、数年分のレコードの移行、あるいは本当に前日のデータだけで足りるレポートなどでございます。こうした場面では、ストリーミングパイプラインよりもスケジュールジョブのほうが運用は容易でございます。データが古くなるにつれて意思決定が価値を失う場合には、CDCをご利用ください。

既存のバッチジョブと並行してCDCを走らせます。CDCストリームを立ち上げて新しい宛先にデータを投入し、その出力をバッチの出力と一致するまで突き合わせ、ストリーミング経路が信頼できると確認できた時点でバッチジョブを退役させます。CDCはログベースであるため、切り替えの間もソースがオフラインになることはございません。

はい。StriimとSingleStoreはいずれも、クラウド版と機能同等でオンプレミス運用に対応しており、SingleStore FlowはセルフホストのCDCと一括取り込みをサポートしております。これにより、日本のエンタープライズは規制対象データを自社環境内に保持したまま、サブ秒のストリーミングパイプラインへ移行できます。