Kore.aiは分析セクションの一部として、すべての情報を記録および表示します。開発者はタスクの識別と実行における、ボットのパフォーマンスに関する詳細なインサイトを得ることができます。インテントと一致したユーザーと一致しなかったユーザーの発話に対し、必要な情報を表示できます。

分析＞NLPメトリクスセクションには、次のセクションが含まれています。

• 検出されたインテント：KGインテントによってトリガーされたダイアログタスクを含む、トレーニングされたインテントに正常にマッピングされたすべてのユーザー発話を含みます。発話は類似性に基づいてグループ化されます
  • ユーザーの発話、インテント、ユーザー（KoreユーザーIDまたはチャネル固有の一意のID）、期間、使用チャネル、言語などのさまざまな基準に基づいて情報をフィルタリングできます。レコードは複数のカスタムタグでフィルタリングすることもできます。
  • 元のユーザーの発話、コミュニケーションチャネル、抽出されたエンティティ、適用されたカスタムタグ、各エンジンから返されたスコアを使用した詳細なNLP分析、ランキングとリゾルバーのスコアなどの完全なメタ情報は、後で分析するために保存されます。
  • ユーザーの発話のポイントまでチャットのトランスクリプトを見に行ける機能。これにより、ユーザープロファイルとそのユーザーの会話セッションの詳細を表示するオプションも提供されます。
  • 発話をトレーニングするオプションがあり、一度トレーニングされると発話にマークが付けられます。
  • 後でマークまたは追跡したい重要なレコードはピン留めできます。これらはピン止めタブに表示されます。

  

• 未検出インテント: プラットフォームがボットインテント/ FAQにマッピングできなかったすべてのユーザー発話が含まれます。これらは、発生回数に基づいて開発者がトレーニングするための類似性に基づいてグループ化されます。
  • ユーザー（KoreユーザーIDまたはチャネル固有の一意のID）、期間、使用チャネル、言語などのさまざまな基準に基づいて情報をフィルタリングできます。レコードは複数のカスタムタグでフィルタリングすることもできます。
  • 元のユーザーの発話、コミュニケーションチャネル、抽出されたシステムエンティティ、適用されたカスタムタグ、各エンジンから返されたスコアを使用した詳細なNLP分析、ランキングとリゾルバーのスコアなどの完全なメタ情報は、後で分析するために保存されます。
  • ユーザーの発話のポイントまでチャットのトランスクリプトを見に行ける機能。これにより、ユーザープロファイルとそのユーザーの会話セッションの詳細を表示するオプションも提供されます。
  • 発話をトレーニングするオプションがあり、一度トレーニングされると発話にマークが付けられます。訓練されたまたは訓練されていない発話に基づいてフィルタリングすることもできます。
  • 後でマークまたは追跡したい重要なレコードはピン留めできます。これらはピン止めタブに表示されます。
• 失敗したタスク：正常にインテントを識別されたもののタスクを完了できなかったすべてのユーザー発話が、このセクションの下に一覧表示されます。タスクと失敗の種類に基づいてグループ化し、ボットの問題を分析して解決できます。
  • サポートされているプラ​​ットフォーム失敗の種類は次のとおりです。
    • ユーザーが一時停止したタスク
    • 代替タスクが初期化されました
    • チャットインターフェースが更新されました
    • ヒューマンエージェントへ転送
    • 承認試行の失敗―最大試行回数に達しました
    • 不正なエンティティによる失敗―最大試行回数に達しました
    • スクリプトの失敗
    • サービスの失敗
  • タスク名、ユーザー（KoreユーザーIDまたはチャネル固有の一意のID）、期間、言語などのさまざまな基準に基づいて情報をフィルタリングできます。
  • 元のユーザーの発話、コミュニケーションチャネル、抽出されたシステムエンティティ、適用されたカスタムタグ、各エンジンから返されたスコアを使用した詳細なNLP分析、ランキングとリゾルバーのスコアなどの完全なメタ情報は、後で分析するために保存されます。
  • ユーザーの発話のポイントまでチャットのトランスクリプトを見に行ける機能。これにより、ユーザープロファイルとそのユーザーの会話セッションの詳細を表示するオプションも提供されます。
  • 後でマークまたは追跡したい重要なレコードはピン留めできます。これらはピン止めタブに表示されます。
• 実行：開発者は、単一のウィンドウからボットタスク全体のすべてのスクリプトとAPIサービスを監視できます。プラットフォームは、次のメタ情報を保存します。
  • ノード名、タイプ、およびタスク名
  • 実行の総数
  • 成功％
  • レスポンスが200のコールの総数と、レスポンスが200以外のコールの総数。実際のレスポンスコードは、サービス行をクリックすると開く詳細ページから見ることができます。
  • レスポンスの平均時間
  • スクリプトまたはサービスが連続して失敗した場合の適切なアラート

   

• ピン留め：このタブでは、自分で重要としてマークした、または識別済み/未識別のインテントおよび失敗したタスクからピン留めしたすべてのレコードを見ることができます。

メトリクスページを開くには、トップメニューから分析＞NLPメトリクスを選択します。ボットのパフォーマンスを簡単に確認できるようにするため、エンドユーザーの発話は類似性に基づいてグループ化されます。

フィルター基準

次の基準を使用して、メトリクスページの情報をフィルタリングできます。入力したフィルター基準を保存し、デフォルトフィルターとして保存を使用してデフォルトフィルターとして設定できます。

識別されたインテントと識別されていないインテント

“検出されたインテント”と“検出されなかったインテント”の両方の主要な詳細、フィルター基準、および高度な詳細は類似していますが、わずかな違いがあります。これらのタブから発話についてボットを直接トレーニングすることもできます。

主要な詳細

ボットのトレーニング

「検出されたインテント」タブと「検出されなかったインテント」タブの両方からインテントをトレーニングできます。これを行うには、これらのタブのいずれかの行にカーソルを合わせ、トレーニングアイコンをクリックします。ボットをトレーニングできる「テストとトレーニング」ページが開きます。詳細については、ボットのテストとトレーニングをご覧ください。

失敗したタスク

「失敗したタスク」タブには、識別されたが何らかの理由で実行されなかったタスクに関連する次の詳細が表示されます。

ピン留め

ピン留めした「識別済みおよび未識別のインテント」タブまたは「失敗したタスク」タブのレコードは、ここの「ピン留め」タブに表示されます。タスク/インテントに関連する次の詳細が表示されます。

詳細表示

「検出されたインテント」「検出されなかったインテント」「失敗したタスク」および「ピン留め」タブにリストされているすべてのユーザーの発話について、ユーザーセッションに関連する詳細を次のサブタブで開くことができます。

• 詳細：これは会話のNLP分析を含むJSONファイルとともに、セッションの基本的な詳細を示しています。
• NLP分析：インテントスコアリングと選択を含むNLP分析の視覚的表現を提供します。詳細については、ボットのテストとトレーニングをご覧ください。
• チャット履歴：レコードがログに記録される正確なメッセージまたは会話にリダイレクトされ、ユーザーセッションのチャット履歴全体が表示されます。

チャット履歴

チャット履歴は次の機能を含むことで、ユーザー情報の可視性を提供します。

• ユーザープロファイル：ユーザーとその使用メトリクスの全方位のビューを提供します。
• ユーザー会話セッション: 選択した発話セクションを展開して、指定した期間のユーザーのすべてのセッションを一覧表示します。
• 選択した発話へ移動：選択した発話はオレンジ色で強調表示されます。

提供されるユーザー情報の詳細は次のとおりです。

実行

「実行」タブには、ボットのバックエンドパフォーマンスに関連する次の情報が表示されます。

高度なパフォーマンスの詳細

サービス、スクリプト、またはWebHookの名前をクリックすると、サービスの高度な詳細ダイアログが開き、実行の各インスタンスとともに実行の成功と失敗の個別のタブが一覧表示されます。さまざまな実行の平均レスポンス時間を分析することで、サービスまたはスクリプトの実行における異常についてのインサイトが得られます。任意の行をクリックして、サービスまたはスクリプトの実行に関連付けられたJSONレスポンスを開きます。

デバッグログ

koreDebugger.log("<debug statement>")ステートメントを使用してスクリプトノードに入力したカスタムデバッグステートメントはすべてこのタブに表示されます（デバッグステートメントは文字列フォーマットである必要があります）。   ログはすべてのチャネルにわたるユーザーの会話を含みます。特にユーザーのインタラクション中に失敗が発生した場合、ボット分析にそれらを使用できます。詳細は次のとおりです。

• ボットの定義時に定義した実際のステートメント。
• ロギングの日時
• チャネル
• ユーザーID（およびチャネル固有のID）
• インタラクションの言語
• 可能な場合はタスク名
• 開発者フラグ―インタラクションが開発者またはエンドユーザーのどちらによって実行されたかを示します。

セッションに関連付けられているチャット履歴の詳細を見ることもできます。さらに詳細を見るには、以下のステップに従います。

1. ログレコードをクリックします。
2. 対応するウィンドウで、詳細タブとチャット履歴タブを見つけることができます。
3. 「詳細」タブで、タスク名、チャネル、言語、およびフローを確認できます。
4. チャット履歴タブをクリックします。ログが記録されているチャットのトランスクリプトを見つけることができます。

   • デバッグログがボットメッセージから生成された場合、チャットトランスクリプト内のその特定のメッセージに移動します。

   • デバッグログがボットメッセージの一部でない場合は、デバッグステートメントの前に追加された最新のメッセージに移動します。

ユニバーサルボットの場合、ユニバーサルボットとリンクされたボットからのデバッグステートメントがログに含まれます。デバッグログはプラットフォームがBotKitに到達できなかった場合や、BotKitがプラットフォームから送信されたメッセージを確認しなかった場合などのBotKitに関連するエラーメッセージも含みます。メッセージには、<endpoint>、<error code>、<response time>.などの詳細が含まれています。ストレージの制限―プラットフォームは、ボットごとに保持されるログステートメントの数に制限を課します。制限は、ボリュームと期間の組み合わせです。

• ボットごとに最新の700ステートメントのみが保存されます。
• 7日より古いステートメントは削除されます。

データのエクスポート

ページの右上隅にある「エクスポート」アイコンをクリックすると、ボット分析ページにあるデータをCSVファイルにエクスポートできます。 アイコンをクリックするとエクスポートプロセスが開始され、ステータストラッカードックを使ってエクスポートの進行状況を追跡できます。エクスポートが完了するとドックにエクスポートステータスが表示され、成功した場合はファイルをダウンロードするためのリンクが提供されます。ダウンロードには選択したタブに表示される情報とともに、選択したフィルターに基づく詳細な分析が含まれます。これらのレコードはメタタグ情報も含みます。