75個のデータベースを1つに：日本におけるHTAPの意義

トランザクションと分析を別々のデータベースに分けることは、1つのエンジンで両方を十分にこなせなかった時代には理にかなっておりました。しかし同時に、恒常的なコストも生み出しました。データベースが1つ増えるごとに、ライセンス、インフラ、運用要員が加わり、維持すべき連携がもう1つ増え、同期を保つべきデータのコピーがもう1つ増えます。平均的な企業はいまや67〜75個の別々のデータベースを運用しており、それらの間でデータを動かすETLは、最大のレイテンシ源であると同時に、突き合わせが最も破綻しやすい箇所でもございます。この分断は性能の問題を解決した一方で、その代わりに運用コストの問題を残したのです。

HTAP（ハイブリッドトランザクション/分析処理）とは、書き込みの多いトランザクションクエリと、負荷の高い分析クエリの双方を、同一のデータに対し、同時に、システム間でコピーすることなく処理する単一のデータベースを意味いたします。トランザクションがコミットされると、その瞬間に分析クエリから参照可能となり、間にETLの工程は存在いたしません。得られるものは速度だけにとどまりません。スタックからまるごと1つの層、すなわち独立したウェアハウスとそれを供給するパイプラインを取り除き、その層がもたらしていたコストとデータの古さもあわせて解消いたします。

SingleStoreは、Universal Storageの上に構築された分散SQLデータベースです。Universal Storageは、書き込みの速いトランザクション向けのロウストアと、分析スキャンの速いカラムストアを、単一のテーブル型の中で組み合わせます。その下層では、3階層の設計により、ホットデータをメモリに、ウォームデータをローカルの永続キャッシュに、そして全データセットをクラウドオブジェクトストレージに保持するため、容量は実質的に無制限でありながらクエリは高速なままです。アーキテクチャがシェアードナッシングの分散型であるため、ノードをまたいでスケールアウトいたします。これが、Siemensが書き込みを処理する同一システム上で、10万人の同時ユーザーに対し数十億行を100ミリ秒未満でクエリできる理由です。

OLTPとOLAPの層を1つのエンジンへと畳み込むことは、データベースを構成から取り除きます。このように統合した組織は、50%を超えるインフラコストの削減を報告しており、あわせて、複数のシステムを守り、バックアップし、要員を割く代わりに1つのシステムで済むという運用上の簡素化も得られます。Dellはバッチ型の在庫システムを置き換え、レポーティングを30分から1分へと短縮いたしました。二次的な効果は、単一の信頼できる情報源です。トランザクションと分析が同じデータを参照するようになると、2つのシステムが一致していることを証明する突き合わせ作業そのものが消え去ります。

日本の2つの実情が、統合を特に魅力的なものにしております。第一に、IT予算は1年前に確定するため、コストが際限なく膨らむデータベースの乱立よりも、予測可能で統合されたプラットフォームのほうがガバナンスしやすいのです。第二に、データレジデンシー規制がオンプレミス展開を後押ししており、オンプレミスで運用するシステムは、数が多いよりも少ないほうがはるかに簡素です。SingleStoreは完全な機能同等性をもってオンプレミスで動作するため、日本のエンタープライズは、トランザクションと分析の資産を自社環境の中で統合できます。規制対象データは、いずれにせよそこに置かれ続けなければならないのです。

HTAP（ハイブリッドトランザクション/分析処理）とは、トランザクションの書き込みと分析クエリを、同一のデータに対し同時に実行する単一のデータベースでございます。OLTPシステムと独立したOLAPウェアハウスとの間でETLによるコピーを行う必要がございません。SingleStoreは、分散SQLの上に構築されたHTAPプラットフォームでございます。

従来の設計では、用途ごとに異なるデータベースを用いるためでございます。アプリケーション向けのOLTP、レポーティング向けのOLAP、検索インデックス、キャッシュ、ベクトルストアなどでございます。そのそれぞれがコスト、連携、そしてデータのコピーを増やします。平均的な企業はいまや67〜75個を運用しており、それらの間のETLが主なレイテンシ源となっております。

Universal Storageによってでございます。これは、書き込みの速いロウストアと、分析スキャンの速いカラムストアを、単一のテーブル型の中で組み合わせ、メモリ・ローカルキャッシュ・クラウドオブジェクトストレージという3階層の設計の上で動作いたします。アーキテクチャは分散型かつシェアードナッシングであるため、同一データ上で両方のワークロードを高速に保ちながらスケールアウトいたします。

はい。複数のデータベースとETLツールを1つのHTAPエンジンへ統合した組織は、50%を超えるインフラコストの削減を報告しており、あわせて、守り、バックアップし、要員を割くシステムが1つで済むという運用上の節約も得られます。Dellは統合後、在庫レポーティングを30分から1分へと短縮いたしました。

はい、それこそがこの設計の目的でございます。SingleStoreは、書き込みの多いトランザクションと負荷の高い分析クエリを、同一エンジン上で同時に処理いたします。Siemensは、書き込みを処理する同一システム上で、10万人の同時ユーザーに対し数十億行を100ミリ秒未満でクエリしております。