あなたは、Microsoft Foundry プロジェクト内のマルチモーダルチャットモデルのデプロイメントにリクエストを送信する App1 という名前の Web アプリケーションを持っています。
ユーザーメッセージには、テキストと画像の両方を含めることができます。
現在、App1では画像URLがメッセージコンテンツ内にプレーンテキストとして含まれているため、モデルはそれを画像として認識できません。
トレース結果によると、リクエストにはマルチモーダルコンテンツ配列ではなく、単一のテキストメッセージが含まれていることがわかった。
モデルが画像を正しく処理できるようにするには、テキスト部分と画像参照の両方を含む構造化配列としてメッセージを送信する必要があります。
あなたはどうすべきでしょうか？

• A. システムメッセージ内に画像URLを配置し、タイプをimage_urlに設定して、モデルが初期化時に画像をロードするようにします。
• B. リクエストメタデータセクションに画像URLを追加すると、モデルが処理の問題を自動的に解決できます。
• C. ユーザーメッセージコンテンツ配列に、タイプ: text とタイプ: image_url のアイテムを含めるように設定します。
• D. 画像をbase64でエンコードし、エンコードされたデータをユーザーメッセージのコンテンツ文字列内に含めます。

あなたは、GPTリアルタイムモデルを使用するApp1という名前の顧客サポートWebアプリをMicrosoft Foundryで構築しています。
アプリ1は以下をサポートする必要があります：
- Azure OpenAI を使用した、リアルタイムで低遅延の音声会話
- ユーザーからのストリーミング音声入力と再生音声応答
クライアントアプリケーションでリアルタイムオーディオストリーミングをサポートし、レイテンシが約100ミリ秒を目標とする接続方法を設定する必要があります。
どの接続方法を使用すべきですか？

• A. WebSocket
• B. RTMP
• C. SIP
• D. WebRTC

顧客サポートエージェントを含む Microsoft Foundry プロジェクトがあるとします。このエージェントは、応答を生成する前に、内部のナレッジ API ツールを呼び出します。
ユーザーから以下の問題が報告されています。
- 一部のリクエストは完了までに15秒以上かかる場合があります。
- 知識APIが期待されるデータを返した場合でも、一部の応答が誤っていることがあります。
大規模言語モデル(LLM)呼び出し、ツール呼び出し、およびタイミング情報の順序を確認するには、個々のエージェントの実行を検査する必要があります。
どの可観測性機能を使用すべきでしょうか？

• A. モニタリング
• B. トークンの使用
• C. 安全指標
• D. トレース

事例研究1 - コントソ社
概要
会社情報
Contoso, Ltdは、Microsoft Foundryを使用して生成型AIおよびエージェントベースのソリューションを構築、展開、管理する多国籍小売企業です。
既存の環境
アイデンティティ環境
Contosoは、エージェントが組織のリソースやサービスにアクセスできるようにするID管理、認証、認可機能にMicrosoft Entra IDを使用しています。
Contosoは最近、既存のAIソリューションを最適化および保守するために、Agent1Dev Teamという新しいAIエンジニアリングチームを結成しました。
チームは、ソリューションアーキテクト、DevOpsエンジニア、セキュリティエンジニアと協力して、AIアプリケーションの設計、実装、監視、およびセキュリティ対策を行います。
Contosoには、AIソリューションの導入前にその妥当性を検証する「Agent1Test Team」というチームも存在する。
生成環境
Contosoは、Project1とProject2という名前の2つのプロジェクトを含むMicrosoft Foundry環境を構築しています。
プロジェクト1
Project1には、顧客からの製品に関する問い合わせやトラブルシューティングの依頼に対応する、Agent1という名前のカスタマーサポートエージェントが含まれています。
Agent1には以下の設定があります。
- Agent1は基本モデルのデプロイメントを使用します。
安全性評価パイプラインは有効になっていません。
ツール呼び出し承認ワークフローは有効になっていません。
会話メモリの制約は設定されていません。
Agent1は、デジタルサポートチャネルを使用して顧客とやり取りし、Contoso製品に関する一般的な質問に回答します。
Project1は、欧州連合(EU)域内にあるAzureリージョンにデプロイされています。
Agent1開発チームは、Project1を使用してAgent1の最適化と保守を行います。
プロジェクト2
Project2には、既に展開済みの動画生成モデルが含まれています。Contoso社のマーケティング部門はProject2にアクセスでき、このモデルを用いて動画制作ソリューションを開発する予定です。
解決策の開発は未完了です。
データ環境
Contosoは、AIアプリケーションをサポートするAzureリソースに製品関連情報を保存します。
Azure環境には、Contoso製品の製品詳細シートを保存するstorage1という名前のAzure Blob Storageアカウントが含まれています。
製品仕様書には、仕様、機能説明、および製品サポート情報が記載されており、エージェント1はこれらを使用して顧客からの質問に回答できます。製品仕様書はPDF形式で保存されます。
問題提起
コントソ氏は以下の問題点を指摘している。
- Agent1はContoso製品に関する一般的な知識しか持っていません。
- Agent1との最近のチャットのやり取りについて、感情分析が行われました。分析結果はまだ処理されていません。
- Agent1は、顧客からの質問に回答する際に、storage1に保存されている製品シートの詳細な製品情報を使用しません。
コントソ社の財務部門によると、仕入先からの請求書は、契約書に定められた条件と一致していることを確認するため、手作業で精査する必要があるとのことです。請求書には表やロゴ、様々なレイアウトが含まれているため、一貫した処理が困難です。
要件
計画されている変更
コントソ氏は以下の変更を実施する予定です。
プロジェクト1向けに、仕入先請求書の視覚的なレイアウトとテキスト内容の両方を評価することで請求書を分析し、仕入先との契約条件と照合できるソリューションを実装する。
- Agent1で使用される基本モデルのデプロイメントを更新し、モデルのバージョンを標準化して、継続性と一貫した応答を確保します。
- Agent1がstorage1に保存されている製品シートから詳細な製品情報を取得して使用できるようにします。
- Agent1が顧客からの質問に回答するために使用できる製品シートのインデックス作成ソリューションを実装する。
・動画制作ソリューションの開発を完了する。
技術要件
Contoso社は、以下の技術要件を特定しました。
- Agent1で使用されるモデル展開は、拡張性が高く、高スループットの生成型AIワークロードをサポートし、予約済みのスループット容量を必要とせずに、変動する顧客サポートトラフィックを処理するために動的に拡張する必要があります。
- 製品シートは、セマンティック検索とベクトル検索を可能にするインデックス作成パイプラインを使用して処理され、Agent1が関連する製品情報を取得できるようにする必要があります。
製品シートの情報に基づいて生成される回答は、関連性があり、完全かつ正確でなければなりません。
- エージェント1は、製品シートを使用して、製品の詳細に関する自然言語の質問に答えることができなければなりません。
- エージェント1が使用するモデルのバージョンは、安定した応答を確保するために一貫している必要があります。
- モデルによって処理されるデータは、EU域内に留まらなければならない。
セキュリティおよびコンプライアンス要件
Contosoは、以下のセキュリティおよびコンプライアンス要件を特定しています。
- APIキーを使用してFoundryにデプロイされたモデルにアクセスしてはなりません。
Azureリソースへのアクセスは、最小権限の原則に従う必要があります。
Contosoの開発者は、Microsoft Entra認証を使用してMicrosoft Foundryリソースへの認証を行う必要があります。
- Project1へのアクセス権は、SC_Agent1_Devという名前のセキュリティグループを使用して、Agent1Devチームのメンバーに割り当てる必要があります。
- Project1へのアクセス権は、SC_Agent1_Testという名前のセキュリティグループを使用して、Agent1Testチームのメンバーに割り当てる必要があります。
- Agent1は、顧客データを含む文書がストレージ1の製品シートリポジトリに誤って追加された場合でも、顧客情報を決して開示してはならない。
製品仕様書には、テキストが埋め込まれた画像が含まれている場合があります。Agent1は、画像内に隠されている可能性のある悪意のある命令から保護される必要があります。
ビジネス要件
Contosoは以下のビジネス要件を特定しました。
- Agent1とやり取りするユーザーは、今後のやり取りにおいてパーソナライズされた体験を得る必要があり、そのためにはAgent1が会話の文脈を保持し、過去のやり取りから関連情報を想起できる機能が必要です。
- エージェント1は、Contosoが販売する製品に関する質問のみに回答しなければならない。
ホットスポットに関する質問
Agent1のモデル展開を技術要件を満たすように構成する必要があります。
何を設定すればよいですか？回答するには、回答欄で適切なオプションを選択してください。
注：正解ごとに1ポイントが加算されます。