(アップデート)トレジャーデータ紹介資料を更新しました。全てのデータエンスー達へ その2
本記事は移転しました。新サイトにリダイレクトします。
*トレジャーデータはデータ収集、保存、分析のためのエンドツーエンドでサポートされたクラウドサービスです。
Data Processing / Data Mart
データ分析には,レポーティングのためのバッチ処理と必要な原因探索や新たな分析軸を求めてあれこれ試行錯誤するアドホックな分析の2通りが考えられます。
レポーティングに関しては指定した時間インターバルで処理を行うバッチ処理で運用可能ですが,アドホックな分析では集計結果がすぐ(遅くとも1分以内)返ってこないとトライ&エラーサイクルを回していけません。バッチ処理では早くても数秒かかってしまいますので,アドホックな分析には向きません。
トレジャーデータでは,Hiveによるバッチクエリと TQA (Treasure Query Accelerator) によるによるアドホッククエリによって双方のニーズに応える環境を用意しています。
Data Mart
前述したいわゆる「バッチ」と「アドホック」の(許容できる所要時間の)ギャップは,Treasure Cloud Storage とフロントエンドの間に Data Mart を立てることでも解決できます。
このギャップを埋めるには,Data Mart というレイヤーを追加することで対処できます。
TQAは生データに対しても数秒のレスポンスを返してくれる「クエリエンジン」であるのに対し,Data Martは,バッチ処理結果を保存しフロントエンドから高速に参照する「ストレージ(データベース)」であることにご注意ください。
Data Mart はローカル環境かクラウド環境か,柔軟性と処理性能のどちらを取るか,などによって候補が変わって来ます。
トレジャーデータに関するお問い合わせは support@treasure-data.com まで。