Amazon SageMaker Unified Studioによるデータ分析とAIの融合の未来 | AWS re:Invent 2024 現地レポート
注目の「Amazon Sagemaker Unified Studio」での実際のデモが紹介されたセッション「Beyond boundaries: Converging analytics and AI to reshape the future」のレポートをお届けします。このセッションでは、データワーカーの行動が進化し、データ分析とAIの境界が曖昧になる中で、どのように信頼できる洞察をリアルタイムで得ることができるのか、そしてAWSがどのようにその未来を描いているのかを探求するものでした。
コラボレーションが求められるデータワーカー
データワーカーとは、データを収集、分析、整理、管理することを主な業務とする職種や役割を指します。具体的には、データアナリスト、データサイエンティスト、データエンジニア、BIアナリスト、データベース管理者(DBA)、マーケティングアナリストなどが挙げられます。
データワーカーが抱える課題
さまざまな職種のデータワーカーが活動する一方で、異なるツールやワークフローがサイロ化されているという現状があります。しかしながら、これからのDXを推進していく流れにおいて、これからはシームレスなコラボレーションと相互運用性を求めています。また、デジタル化が進んでいる中で、リアルタイムで信頼できるインサイト(洞察)を得ることが最重要視されています。
AWSのデータ分析業務のコラボレーションに活用できるサービス
AWSでは、これらのコラボレーションにおける課題に応えるサービスが展開されています。本セッションでは、特に、Amazon SageMaker Unified StudioやAmazon Q、Amazon SageMaker Lakehouseなどが紹介され、これらのツールがどのようにデータワーカーの業務を効率化するかが重点的に説明されました。
Amazon SageMaker Unified Studio
Amazon SageMaker Unified Studioは、データアナリストや機械学習（ML）モデル開発者のための統合されたAI開発環境です。このプラットフォームは、データの収集から分析、モデルの開発、デプロイまでの一連のプロセスを一元的に管理できる機能を提供します。特に以下の機能が今後展開される予定です。
- Streaming ※：リアルタイムデータの処理を可能にし、即時の意思決定をサポートします。
- Data Processing：大規模データの処理を効率化し、データの前処理や変換を容易にします。
- SQL Analytics：SQLクエリを使用してデータを迅速に分析できる機能を提供します。
- Model Development：機械学習モデルの開発を加速し、ユーザーが簡単にモデルを構築できるようにします。
- Gen AI App Development：生成AIを活用したアプリケーションの開発を支援します。
- Business Intelligence※：ビジネスインサイトを得るための分析機能を強化します。
-
Search Analytics※：データ内の情報を迅速に検索し、必要なデータを即座に取得します。
※印のついているものは、今後リリースされる予定の機能
Amazon Q
Amazon Qは、Unified Studio内でチャットボットのような役割を果たし、自然言語でのクエリ発行を可能にします。データアナリストが専門的なプログラミング知識を持たなくても、自然言語で必要な情報を引き出せるため、業務の効率化に寄与します。具体的には、アナリストが「このデータが欲しい」といった要望をAmazon Qに伝えると、適切なSQLクエリが自動生成され、アナリストはそれをコピー＆ペーストするだけで済みます。
Amazon SageMaker Lakehouse
Amazon SageMaker Lakehouseは、データの保管場所として機能し、データの整理と管理を容易にします。このサービスは、データのストレージと分析を統合し、データのサイロ化を防ぎます。これにより、データワーカーは必要なデータに迅速にアクセスできるようになります。
デモ：SageMaker Unified StudioとAmazon Qを組み合わせるとどうなるのか？
講演では、実際のデモを通じて、SageMaker Unified StudioとAmazon Qの効果が示されました。デモでは、データエンジニア、データサイエンティスト、アナリスト、アプリデベロッパーの4人が使用した場合に、どのようにワークフローが短縮されるかを紹介されました。
登場人物
-
データエンジニア: データの収集、整理、管理を行います。彼らは、データの取得元を特定し、必要なデータを収集するためのパイプラインを構築します。
- データサイエンティスト: データベースを構築し、収集したデータを分析します。彼らは、データのパターンを特定し、モデルを構築するための前処理を行います。
- アナリスト: データ分析のためにテーブルを確認しますが、必要なデータが思っていたものと異なる場合があります。このとき、アナリストは自分でクエリを書くことができませんが、Amazon Qに自然言語で依頼することで、適切なSQLクエリが生成されます。これにより、アナリストは必要なデータを迅速に取得でき、業務の効率が大幅に向上します。
- アプリデベロッパー: 最後に、開発者は全てのデータを確認し、アプリケーションの開発を行います。このプロセスでは、データの整合性を確認し、ビジネスニーズに応じたアプリケーションを迅速に構築します。
シナリオ
デモの中では、アナリストが「こういうデータが欲しいからもう一度書き直してほしい」とデータサイエンティストに依頼する時間を短縮できることが強調されました。また、Amazon Qを使用して「このファイルはどこにあるか？」と尋ねることで、Lakehouse内から迅速にファイルを探し出すことができ、これもまた時間の節約につながります。
このデモでは、開発者が全てのデータを確認するまでの時間が大幅に短縮される様子が強調されました。これにより、チーム全体の生産性が向上し、より多くの業務に時間を割くことが可能になります。
MLとAIを統合することで生まれる新しいワークフロー
講演では、トヨタが新しい技術を導入し、業務プロセスの効率化を図っている事例が紹介されました。小さな時間短縮が積み重なることで、大きな効率化につながると考えられます。この技術により、業務の効率化だけでなく、他の重要な業務に時間を振り向けることも可能です。
現在は統合されたAI開発環境として紹介されており、今後はさまざまなワークフローの効率化にも寄与することが期待されています。業務効率化に役立つAIが増える中で、私たちもAIやMLに関する知識を深め、技術を使いこなせる人材になる必要があります。
データ分析とAIの融合がもたらす可能性や、AWSの新しいサービスがデータワーカーの業務を変革することが明らかになりました。これにより、業務効率化が進み、迅速かつ信頼性の高い意思決定が可能になります。データ分析とAIの融合は、今後のビジネスにおいて不可欠な要素となり、チーム連携がスムーズになり、コラボレーションが加速することで、ビジネススタイルにも変化をもたらされるのではないでしょうか。
