Kore.aiは、Bot分析セクションの一部として、すべての情報を記録および表示します。開発者は、タスクを特定し実行する際のBotの実行に関して詳細なインサイトを得ることができます。インテントと一致したユーザーの発話と一致しなかったユーザーの発話に必要な情報を見ることができます。
分析 > 測定セクションには次のセクションが含まれています。
- 正常に処理したユーザーの発話：KGインテントによってトリガーされたダイアログタスクを含む、トレーニングされたインテントに正常にマッピングされたすべてのユーザー発話が含まれます。発話は類似性に基づいてグループ化されます。
- インテント、ユーザー（KoreのユーザーIDまたはチャネル固有の一意のID）、日付期間、使用チャネル、言語などのさまざまな基準に基づいて情報をフィルタリングできます。レコードは、複数のカスタムタグでフィルタリングすることもできます。
- 完全なメタ情報は、元のユーザーの発話、通信チャネル、抽出されたエンティティ、適用されたカスタムタグ、各エンジンから返されたスコアを使用した詳細なNLP分析、ランキングおよび解決のスコアなど、後の分析のために保存されます。
- ユーザーの発話のポイントまでチャットのトランスクリプトを表示する機能です。
- 未処理のユーザーの発話：プラットフォームがBotインテント・FAQにマッピングできなかったすべてのユーザーの発話が含まれます。これらは、開発者が発生回数に基づいてトレーニングするため、類似性に基づき共にグループ化されます
。- ユーザー（KoreのユーザーIDまたはチャネル固有の一意のID）、日付期間、使用チャネル、言語などのさまざまな基準に基づいて情報をフィルタリングできます。レコードは、複数のカスタムタグでフィルタリングすることもできます。
- 完全なメタ情報は、元のユーザーの発話、通信チャネル、抽出されたシステムエンティティ、適用されたカスタムタグ、各エンジンから返されたスコアを使用した詳細なNLP分析、ランキングおよび解決のスコアなど、後の分析のために保存されます。
- ユーザーの発話のポイントまでチャットのトランスクリプトを表示する機能です。
- 開発者は発話をトレーニングするオプションがあり、トレーニングされると発話にマークが付けられます。開発者は、トレーニングされた、またはトレーニングされていない発話に基づいてフィルタリングすることもできます。
- タスク実行の失敗：インテントが正常に特定されたものの、タスクを完了できなかったすべてのユーザーの発話がこのセクションでは一覧表示されます。開発者は、タスクと失敗の種類に基づいてグループ化し、Botの問題を分析して解決できます。
- サポートされているプラットフォームの失敗の種類は次のとおりです。
- ユーザーが一時停止したタスク
- 代替タスクの開始
- チャットインターフェイスの更新
- ヒューマンエージェントの転送
- 認証試行の失敗-最大試行回数に達した場合
- 不適切なエンティティの失敗-最大試行回数に達した場合
- スクリプトの失敗
- サービス障害
- 上記のように情報をフィルタリングすることができます。
- 処理済みおよび未処理のシナリオのようなメタ情報に加えて、プラットフォームはダイアログ内のユーザーの移動経路もキャプチャします。
- サポートされているプラットフォームの失敗の種類は次のとおりです。
- スクリプトとサービスの実行：開発者は、単一のウィンドウからBotタスク全体のすべてのスクリプトとAPIサービスを監視できます。プラットフォームは、次のメタ情報を保存します。
- 総実行数
- 成功率（％）
- 応答が200件のコールの総数と、応答が200件以外のコールの総数を表示します。実際の応答コードは、サービス行をクリックした際に開く詳細ページから確認できます。
- 平均応答時間
- スクリプトまたはサービスが連続して失敗した場合の適切なアラート
測定ページを開くには、サイドナビゲーションパネルにカーソルを合わせて、分析 > 測定をクリックします。
Botの実行を簡単に確認できるようにエンドユーザーの発話は類似性に基づいてグループ化されています。
フィルター基準
次の基準を使用して、測定ページの情報をフィルタリングできます。
| 基準 | 説明 |
|---|---|
| ユーザーID |
会話に関連するエンドユーザーのユーザーIDです。以下に基づいてフィルタリングすることができます
ユーザーIDの最初の3つのアルファベットを入力すると表示されるドロップダウンから、ユーザーIDを選択することができます。 注意：チャネル固有のIDは、選択した期間中にBotと対話したユーザーに対してのみ表示されます。 |
| 日付期間 | このページには、デフォルトで過去7日間の会話が表示されます。過去24時間の会話のみにフィルタリングするには、「24時間」をクリックします。過去7日間のセッションに戻すには、「過去7日間」をクリックします。日付と時刻を指定してカスタマイズした期間を追加することもできます（バージョン7.3では時刻が追加）。 |
| 言語 | 多言語Botの場合は特定の言語を選択して、その言語で発生した会話をフィルタリングできます。このページには、デフォルトで有効になっているすべての言語で発生した会話が表示されます。 実行タブには適用されません。 |
| チャネル | 特定のチャネルを選択して、そのチャネルで発生した会話をフィルタリングします。このページには、デフォルトで有効になっているすべてのチャネルで発生した会話が表示されます。 |
| タスク/インテント | 特定のタスクまたはインテントを選択して、そのタスクまたはインテントに関連する会話をフィルタリングします。このページには、デフォルトではすべてのタスクまたはインテントに関連する会話が表示されます。 未検出のインテントタブには適用されません。 |
| 発話タイプ | Botへのトレーニング済みの発話のみを含む会話をフィルタリングするには、「トレーニング済み」オプションを選択します。 トレーニングされていない発話を含む会話を表示するには、「トレーニングされていない」をクリックします。このページには、デフォルトで両方に関連する会話が表示されます。 検出されたインテントタブにのみ適用可能です。 |
|
あいまい |
「あいまいな表示」オプションを選択して、複数のタスクまたはインテントを特定する会話をフィルタリングし、ユーザーは表示されたオプションから選択することができます。 未検出のインテントタブでのみ使用可能です。 |
| 開発者のインタラクション | 開発者のインタラクションを結果に含める場合は、「開発者のインタラクションを含める」を選択します。デフォルトでは、開発者のインタラクションは含まれていません。開発者には、Botオーナーと共有開発者の両方が含まれます。 |
| カスタムタグ |
特定のカスタムタグを選択して、メタ情報、セッションデータ、フィルター基準に基づいてレコードをフィルター処理します。これらのタグは、次の3つのレベルで追加できます。
デバッグログタブでは使用できません。 タグは、スクリプトノード、メッセージ、エンティティ、確認プロンプト、エラープロンプト、ナレッジグラフの応答、BotKit SDKなど、アプリケーション内の任意の場所に記述されたスクリプトのキーと値のペアとして定義できます。
|
特定されたインテントと未特定のインテント
検出されたインテントおよび未検出のインテントの両方の主要な詳細、フィルター基準、高度な詳細はわずかな違いがあるものの類似しています。これらのタブから直接、任意の発話についてBotをトレーニングすることもできます。
主な詳細
| フィールド | 説明 |
|---|---|
| 発話 | ユーザーが入力した実際の発話です。タブ内の詳細は、デフォルトでは発話ごとにグループ化されています。発話によるグループ化をオフにするには、発話ヘッダーをクリックして発話によるグループ化オプションをオフにします。 |
| インテント （検出されたインテントタブにのみ適用されます） |
ユーザーの発話に対して特定されたインテントです。特定されたインテントとユーザーの発話を調べて、それらが適切に一致するかどうかを判断できます。そうでない場合は、こちらからBotをトレーニングすることができます。インテントによるグループ化を有効にするには、インテントヘッダーをクリックしてタスクによるグループ化オプションを有効にします。 |
| ユーザーID |
会話に関連するエンドユーザーのユーザーIDです。KoreのユーザーIDまたはチャネル固有の一意のIDのいずれかに基づいて測定を表示するように選択できます。 注意：チャネル固有のIDは、選択した期間中にBotと対話したユーザーに対してのみ表示されます。 |
| 言語 | 会話が行われた言語です。 |
| 日時 | チャットの日時です。 |
Botのトレーニング
検出されたインテントタブと未検出のインテントタブの両方からインテントをトレーニングできます。これを行うには、これらのタブのいずれかの行にカーソルを合わせ、トレーニングアイコンをクリックします。Botをトレーニングできるテストおよびトレーニングページが開きます。詳細については、Botのテストとトレーニングをご覧ください。
失敗したタスク
失敗したタスクタブには、特定されたが何らかの理由で実行に失敗したタスクに関連する以下の詳細が表示されます。
| フィールド | 説明 |
|---|---|
| 発話 | ユーザーが入力した実際の発話です。タブ内の詳細は、デフォルトでは発話ごとにグループ化されています。発話によるグループ化をオフにするには、発話ヘッダーをクリックして発話によるグループ化オプションをオフにします。 |
| タスク名 | ユーザーの発話に対して特定されたタスクです。タスク名によるグループ化を有効にするには、タスク名ヘッダーをクリックしてタスクによるグループ化オプションを有効にします。 |
| 失敗ポイント | 失敗が発生してタスクがキャンセルされたり、ユーザーがドロップしたりした、タスク実行ジャーニー内のノードまたはポイントです。エントリをクリックするとそのセッションの会話全体が表示され、インテント検出の発話と失敗/ドロップアウトポイントを特定するためにマーカーで表示されます。タスクのタイプに応じて、失敗ポイントをクリックすると詳細が表示されます。 |
| 問題の種類 |
失敗の理由として、次のオプションのいずれかを表示します。
|
| ユーザーID |
会話に関連するエンドユーザーのユーザーIDです。KoreのユーザーIDまたはチャネル固有の一意のIDのいずれかに基づいて測定を表示するように選択できます。 注意：チャネル固有のIDは、選択した期間中にBotと対話したユーザーに対してのみ表示されます。 |
| 言語 | 会話が行われた言語です。 |
| 日時 | チャットの日時です。 |
高度な詳細ビュー
検出されたインテント、未検出のインテント、失敗したタスクタブに載っているすべてのユーザーの発話について、次のサブタブでユーザーセッションに関連する詳細を開くことができます。
- 詳細：セッションの基本的な詳細を、会話のNLP分析を含むJSONファイルとともに表示します。
- NLP分析：インテントスコアリングと選択を含むNLP分析を視覚的に表示します。詳細については、Botのテストとトレーニングをご覧ください。
- チャット履歴：レコードがログとして記録される正確なメッセージまたは会話に移動し、ユーザーセッションのチャット履歴全体を表示します。
チャット履歴
チャット履歴に次の機能が追加され、ユーザー情報が可視化されています。
- ユーザープロファイル：ユーザーの360度ビューとその使用状況メトリクスの測定を行います。
- ユーザーの会話セッション：選択した発話セクションを展開して、指定した期間のユーザーのすべてのセッションを一覧表示します。
- 選択した発話に移動：選択した発話はオレンジ色で強調表示されます。
提供されるユーザー情報の詳細は次のとおりです。
| 機能 | 属性 | 説明 |
|---|---|---|
| ユーザープロファイル | KoreのユーザーID | プラットフォームによって割り当てられたユーザーID |
| チャネルデータ | チャネルから受信したデータ、つまりユーザーコンテキストで利用可能な情報です。 | |
| ユーザーメタタグ | ユーザーに関連付けられたメタタグの総数と、最新のもののキーと値のペアです。 | |
| 最新のインタラクション | ユーザーが最後にBotとやり取りしたときを指します。 | |
| 会話セッション総数 | 時間の初めからユーザーが登録した対話型セッションと非対話型セッションの総数です。 | |
| 過去30日間の会話セッション総数 | 過去30日間にユーザーが登録した対話型セッションと非対話型セッションの総数です。 | |
| *過去30日間にユーザーとのやり取りがなかった場合、次のいくつかの属性は表示されません | ||
| 過去30日間のインテント検出率 | （特定されたインテントの合計/（特定されたインテントの合計 + 未特定の発話の合計））*100（過去30日間の発話） | |
| リクエストされたインテント | 特定されたインテントの合計 + 未特定の発話の合計 | |
| 特定されたインテント | 特定されたインテントの合計 | |
| 過去30日間の目標達成率 | （タスクに成功したタスク/（成功したタスクの合計 + 失敗したタスクの合計））*100（過去30日間のタスク） | |
| 開始したタスク | 成功したタスクの合計 + 失敗したタスクの合計 | |
| 完了したタスク | 正常に完了したタスク | |
| 最近の会話フロー | 過去30日間にユーザーが実行した人気の会話フローのトップ10です。人気のフローは、フローが実行されたインスタンスの数によって決定されます。 | |
| ユーザーの会話セッション | セッション属性 | |
| セッション開始 | セッション開始日時です。 | |
| セッション終了 | セッション終了日時です。 | |
| チャネル | セッションが開始されたチャネルです。 | |
| エージェントへの転送タグ | ユーザーがエージェントに転送されたセッションです。ユーザーがBotに戻った場合でも、セッションを考慮する必要があります。 | |
| ドロップオフタグ | ユーザーがドロップオフしたセッションです。 | |
| 合計成功タスク | セッションで正常に完了したタスクの数です。 | |
| 失敗したタスクの合計 | セッションで失敗したタスクの数です。 | |
| 特定されたインテント | セッションで正常に特定されたインテントの数です。 | |
| 未特定のインテント | セッションで未確認のインテント数と未確認のインテントのリストです。 | |
| 会話パス | ユーザーがセッションで開始した一連のタスクです。 | |
| セッションメタタグ | 最新のカスタムメタタグの詳細が表示された状態で使用されたセッションメタタグの数です。 | |
| 会話のトランスクリプト | ||
| メッセージメタタグ | チャットのトランスクリプトには、メタタグが関連付けられたメッセージのメッセージタグが注釈として付けられます。 | |
| エージェントへの転送 | 転送前の最後のメッセージでのエージェントへの転送ポイントを示します。 | |
| ドロップオフ | ドロップオフする前の最後のメッセージでのドロップオフのポイントを示します。 | |
実行
実行タブには、Botのバックエンドの実行に関連する次の情報が表示されます。
| フィールド | 説明 |
|---|---|
| ノード名 | ユーザーの発話に応答して実行されたタスク内のサービス、スクリプト、WebHookの名前です。これらのスクリプトまたはサービスが属するコンポーネントによるグループ化を有効にするには、ノード名ヘッダーをクリックし、コンポーネントごとにグループ化オプションを有効にします。 |
| タイプ |
スクリプト、サービス、WebHookのいずれであるかを示します。 注意：WebHookの詳細はバージョン7.0から含まれています。 |
| タスク | ユーザーの発話に対して特定されたタスクです。タスク名によるグループ化を有効にするには、タスク名ヘッダーをクリックしてタスクによるグループ化オプションを有効にします。 |
| 総実行数 | 期間内にユーザーの発話に対してスクリプトまたはサービスが実行された合計回数です。 |
| 成功率 | 正常に実行されたサービスまたはスクリプトの実行割合です。 |
| 2XX応答 | 2xx応答を返したサービスまたはスクリプトの実行割合です。 |
| 2XX以外の応答 | 2xx以外の応答を返したサービスまたはスクリプトの実行割合です。 |
| 平均応答時間 | 総実行回数におけるスクリプトまたはサービスの平均応答時間です。 |
高度な実行の詳細
サービス、スクリプト、WebHook名をクリックするとサービスの詳細ダイアログが開き、実行の各インスタンスが一覧表示され、成功した実行と失敗した実行のタブが個別に表示されます。さまざまな実行の平均応答時間を分析することで、サービスまたはスクリプトの実行に異常があるかについてインサイトが得られます。任意の行をクリックして、サービスまたはスクリプトの実行に関連付けられたJSONの応答を開きます。
デバッグログ
koreDebugger.log("<debug statement>")ステートメントを使用してスクリプトノードに入力したカスタムデバッグステートメントは、このタブに表示されます（デバッグステートメントは文字列形式である必要があります）。
ログには、すべてのチャネルにわたるユーザーの会話が含まれます。特にユーザーとのやり取り中に失敗が発生した場合に、Bot分析に使用できます。
詳細は次のとおりです。
- Bot定義時に定義した実際のステートメントです。
- ロギングを行った日時
- チャネル
- ユーザーID（およびチャネル固有のID）
- 相互作用のある言語
- 利用可能な場合はタスク名
- 開発者フラグ-インタラクションが開発者またはエンドユーザーのどちらによって実行されたかを示します。
セッションに関連付けられているチャット履歴の詳細を表示することもできます。詳細を表示するには、以下の手順に従ってください。
- 任意のログレコードをクリックします。
- 対応するウィンドウに、詳細タブとチャット履歴タブが表示されます。
- 詳細タブで、タスク名、チャネル、言語、フローを確認できます。
- チャット履歴タブをクリックします。ログが記録されているチャットのトランスクリプトを見つけることができます。
-
デバッグログがBotメッセージから生成された場合、チャットトランスクリプト内のその特定のメッセージに移動します。
-
デバッグログがBotメッセージの一部でない場合は、デバッグステートメントの前に追加された最新のメッセージに移動します。
-
ユニバーサルBotの場合、ユニバーサルBotとリンクされたBotからのデバッグステートメントがログに含まれます。
デバッグログには、プラットフォームがBotKitに到達できなかった場合や、BotKitがプラットフォームから送信されたメッセージを認識しなかった場合など、BotKitに関連するエラーメッセージも含まれます。メッセージには、<endpoint>、<error code>、<response time>などの詳細が含まれています。
ストレージの制限
プラットフォームは、Botごとに保持されるログステートメントの数に制限を課します。制限はボリュームと期間の組み合わせとなります。
- Botごとに最新順に700のステートメントが保存されます。
- 7日間を過ぎた古いステートメントは削除されます。
データのエクスポート
ページの右上隅にあるエクスポートアイコンをクリックすると、Bot分析ページに表示されているデータをCSVファイルにエクスポートすることができます。
アイコンをクリックすると、エクスポート処理が開始され、ステータストラッカードックを使用してエクスポートの進捗状況を確認できます。エクスポートの完了後、エクスポートステータスがドックに表示され、エクスポートが成功した場合はファイルをダウンロードするためのリンクが表示されます。
ダウンロードには、選択したタブに表示されている情報と、選択したフィルターに基づいた詳細な分析が含まれます。
これらの記録には、メタタグの情報も含まれます。