NLPメトリクス

Kore.aiは分析セクションの一部として、すべての情報を記録および表示します。開発者はタスクの識別と実行における、ボットのパフォーマンスに関する詳細なインサイトを得ることができます。インテントと一致したユーザーと一致しなかったユーザーの発話に対し、必要な情報を表示できます。

分析＞NLPメトリクスセクションには、次のセクションが含まれています。

検出されたインテント：KGインテントによってトリガーされたダイアログタスクを含む、トレーニングされたインテントに正常にマッピングされたすべてのユーザー発話を含みます。発話は類似性に基づいてグループ化されます
- ユーザーの発話、インテント、ユーザー（KoreユーザーIDまたはチャネル固有の一意のID）、期間、使用チャネル、言語などのさまざまな基準に基づいて情報をフィルタリングできます。レコードは複数のカスタムタグでフィルタリングすることもできます。
- 元のユーザーの発話、コミュニケーションチャネル、抽出されたエンティティ、適用されたカスタムタグ、各エンジンから返されたスコアを使用した詳細なNLP分析、ランキングとリゾルバーのスコアなどの完全なメタ情報は、後で分析するために保存されます。
- ユーザーの発話のポイントまでチャットのトランスクリプトを見に行ける機能。これにより、ユーザープロファイルとそのユーザーの会話セッションの詳細を表示するオプションも提供されます。
- 発話をトレーニングするオプションがあり、一度トレーニングされると発話にマークが付けられます。
- 後でマークまたは追跡したい重要なレコードはピン留めできます。これらはピン止めタブに表示されます。
未検出インテント: プラットフォームがボットインテント/ FAQにマッピングできなかったすべてのユーザー発話が含まれます。これらは、発生回数に基づいて開発者がトレーニングするための類似性に基づいてグループ化されます。
- ユーザー（KoreユーザーIDまたはチャネル固有の一意のID）、期間、使用チャネル、言語などのさまざまな基準に基づいて情報をフィルタリングできます。レコードは複数のカスタムタグでフィルタリングすることもできます。
- 元のユーザーの発話、コミュニケーションチャネル、抽出されたシステムエンティティ、適用されたカスタムタグ、各エンジンから返されたスコアを使用した詳細なNLP分析、ランキングとリゾルバーのスコアなどの完全なメタ情報は、後で分析するために保存されます。
- ユーザーの発話のポイントまでチャットのトランスクリプトを見に行ける機能。これにより、ユーザープロファイルとそのユーザーの会話セッションの詳細を表示するオプションも提供されます。
- 発話をトレーニングするオプションがあり、一度トレーニングされると発話にマークが付けられます。訓練されたまたは訓練されていない発話に基づいてフィルタリングすることもできます。
- 後でマークまたは追跡したい重要なレコードはピン留めできます。これらはピン止めタブに表示されます。
失敗したタスク：正常にインテントを識別されたもののタスクを完了できなかったすべてのユーザー発話が、このセクションの下に一覧表示されます。タスクと失敗の種類に基づいてグループ化し、ボットの問題を分析して解決できます。
- サポートされているプラットフォーム失敗の種類は次のとおりです。
  - ユーザーが一時停止したタスク
  - 代替タスクが初期化されました
  - チャットインターフェースが更新されました
  - ヒューマンエージェントへ転送
  - 承認試行の失敗―最大試行回数に達しました
  - 不正なエンティティによる失敗―最大試行回数に達しました
  - スクリプトの失敗
  - サービスの失敗
- タスク名、ユーザー（KoreユーザーIDまたはチャネル固有の一意のID）、期間、言語などのさまざまな基準に基づいて情報をフィルタリングできます。
- 元のユーザーの発話、コミュニケーションチャネル、抽出されたシステムエンティティ、適用されたカスタムタグ、各エンジンから返されたスコアを使用した詳細なNLP分析、ランキングとリゾルバーのスコアなどの完全なメタ情報は、後で分析するために保存されます。
- ユーザーの発話のポイントまでチャットのトランスクリプトを見に行ける機能。これにより、ユーザープロファイルとそのユーザーの会話セッションの詳細を表示するオプションも提供されます。
- 後でマークまたは追跡したい重要なレコードはピン留めできます。これらはピン止めタブに表示されます。
実行：開発者は、単一のウィンドウからボットタスク全体のすべてのスクリプトとAPIサービスを監視できます。プラットフォームは、次のメタ情報を保存します。
- ノード名、タイプ、およびタスク名
- 実行の総数
- 成功％
- レスポンスが200のコールの総数と、レスポンスが200以外のコールの総数。実際のレスポンスコードは、サービス行をクリックすると開く詳細ページから見ることができます。
- レスポンスの平均時間
- スクリプトまたはサービスが連続して失敗した場合の適切なアラート
ピン留め：このタブでは、自分で重要としてマークした、または識別済み/未識別のインテントおよび失敗したタスクからピン留めしたすべてのレコードを見ることができます。

メトリクスページを開くには、トップメニューから分析＞NLPメトリクスを選択します。ボットのパフォーマンスを簡単に確認できるようにするため、エンドユーザーの発話は類似性に基づいてグループ化されます。

フィルター基準

次の基準を使用して、メトリクスページの情報をフィルタリングできます。入力したフィルター基準を保存し、デフォルトフィルターとして保存を使用してデフォルトフィルターとして設定できます。

フィルター基準は、タブごとに少し異なります。メトリクスページのタブを切り替えると、該当するフィルターが適用されます。

基準	説明
ユーザーID	会話に関連するエンドユーザーのユーザーID。次に基づいてフィルタリングを選択できますユーザーが登録するときにプラットフォームによって生成されるu-idであるKoreユーザーID、またはチャネルユーザーID―これはチャネルから受信したユーザーの電子メールアドレスになります。開発者とのインタラクションはチャネルユーザーIDで利用可能になります。「エンタープライズボット」の場合、電子メールアドレス（kore登録済み電子メールアドレス）はチャネルIDで利用可能になりますユーザーIDの最初の3つのアルファベットを入力するとドロップダウンに候補が表示され、そこからユーザーIDを選択できます。選択したユーザーIDを含めるか除外するかを選択できます。メモ：チャネル固有のIDは、選択した期間中にボットと対話したユーザーに対してのみ表示されます。
日付期間	このページには、デフォルトで過去7日間の会話が表示されます。会話を過去24時間の会話のみにフィルタリングするには、「24時間」をクリックします。過去7日間のセッションに戻る場合は、「過去7日間」をクリックします。日付と時刻を指定してカスタム期間を追加することもできます（ver7.3で追加された「時刻」）
言語	多言語ボットの場合は特定の言語を選択して、それらの言語で発生した会話をフィルタリングできます。デフォルトでは、このページに有効なすべての言語で発生した会話が表示されます。“「パフォーマンス」タブには適用されません”。
チャネル	特定のチャネルを選択して、それらのチャネルで発生した会話をフィルタリングします。デフォルトでは、このページに有効なすべてのチャネルで発生した会話が表示されます。
タスク/インテント	特定のタスクまたはインテントを選択して、それらのタスクまたはインテントに関連する会話をフィルタリングします。デフォルトでは、このページにすべてのタスクまたはインテントに関連する会話が表示されます。“「インテントが見つかりません」タブには適用されません”。
発話タイプ	ボットへのトレーニング済み発話のみを含む会話をフィルタリングするには、「トレーニング済み」オプションを選択します。訓練されていない発話を含む会話を見るには、「トレーニングされていない」をクリックします。デフォルトでは、このページに両方の会話が表示されます。“「検出されたインテント」タブにのみ適用されます”。
あいまい	「あいまいな表示」オプションを選択して、複数のタスクまたはインテントを識別する会話をフィルタリングし、表示されたオプションからにユーザーが選択できるようにします。“「インテントが見つかりません」タブにのみ適用されます”。
開発者とのインタラクション	結果に開発者とのインタラクションを含めたい場合は、「開発者インタラクションを含める」を選択します。デフォルトでは、開発者とのインタラクションは含まれていません。開発者には、ボットの所有者と共同開発者の両方が含まれます。
カスタムタグ	特定のカスタムタグを選択して、メタ情報、セッションデータ、およびフィルター基準に基づいてレコードをフィルタリングします。これらのタグは、次の3つのレベルで追加できます。ユーザーレベル：これらのタグはユーザー情報に追加できますメッセージレベル：これらのタグは現在のノードのメッセージに追加できます。現在のノードがメッセージに関連付けられていない場合は、タグはメッセージが関連付けられている直前のノードに追加されます。セッションレベル：これらのタグはユーザーの現在のセッションで追加できます基準は指定された値を含むまたは含まないのいずれかに設定できます。“「デバッグログタブ」では使用できません”タグはスクリプトノード、メッセージ、エンティティ、確認プロンプト、エラープロンプト、ナレッジグラフレスポンス、BotKit SDKなど、アプリケーションの任意の場所に記述されたスクリプトのキーと値のペアとして定義できます。次のスクリプトを使用して、メタタグを追加できます。ユーザーレベルのタグを追加するには： `tags.addUserLevelTag("tagname","tagvalue")` セッションレベルのタグを追加するには： `tags.addSessionLevelTag("tagname","tagvalue")` メッセージレベルのタグを追加するには： `tags.addMessageLevelTag("tagname","tagvalue")`

識別されたインテントと識別されていないインテント

“検出されたインテント”と“検出されなかったインテント”の両方の主要な詳細、フィルター基準、および高度な詳細は類似していますが、わずかな違いがあります。これらのタブから発話についてボットを直接トレーニングすることもできます。

主要な詳細

フィールド	説明
発話	ユーザーが入力した実際の発話。タブの詳細は、デフォルトで発話ごとにグループ化されています。発話によるグループ化をオフにするには、発話ヘッダーをクリックし、発話によるグループ化オプションをオフにします。
インテント (「検出されたインテント」Iタブにのみ適用されます)。	ユーザーの発話に対して特定されたインテント。識別されたインテントとユーザーの発話を比較して、それらが適切に一致するかどうかを判断できます。そうでない場合は、ここからボットをトレーニングできます。インテントによるグループ化をオンにするには、インテントヘッダーをクリックし、タスク別グループ化オプションをオンにします。
示唆	リストされた発話に対して識別される関連するすべての示唆。
UserID	会話に関連するエンドユーザーのUserID。KoreユーザーIDまたはチャネル固有の一意のIDのいずれかに基づいてメトリクスを表示するように選択できます。メモ：チャネル固有のIDは、選択した期間中にボットと対話したユーザーに対してのみ表示されます。
言語	会話が行われた言語。
日付と時刻	チャットの日付と時間：

ボットのトレーニング

「検出されたインテント」タブと「検出されなかったインテント」タブの両方からインテントをトレーニングできます。これを行うには、これらのタブのいずれかの行にカーソルを合わせ、トレーニングアイコンをクリックします。ボットをトレーニングできる「テストとトレーニング」ページが開きます。詳細については、ボットのテストとトレーニングをご覧ください。

失敗したタスク

「失敗したタスク」タブには、識別されたが何らかの理由で実行されなかったタスクに関連する次の詳細が表示されます。

フィールド	説明
発話	ユーザーが入力した実際の発話。タブの詳細は、デフォルトで発話ごとにグループ化されています。発話によるグループ化をオフにするには、発話ヘッダーをクリックし、発話によるグループ化オプションをオフにします。
タスク名	ユーザーの発話に対して特定されたタスク。タスク名によるグループ化をオンにするには、タスク名ヘッダーをクリックし、タスク別グループ化オプションをオンにします。
失敗したポイント	失敗が発生してタスクがキャンセルまたはユーザーがドロップしたタスク実行世界内のノードまたはポイント。エントリをクリックして、そのセッションの完全な会話をマーカーで表示し、インテント検出の発話と失敗/ドロップアウトポイントを識別します。タスクの種類に応じて、[失敗ポイント]をクリックすると詳細が表示されます。
問題のタイプ	失敗の理由として、次のオプションの1つを示します。ユーザーが一時停止したタスク代替タスクが初期化されましたチャットインターフェースが更新されましたヒューマンエージェントへの転送承認試行の失敗―最大試行回数に達しました不正なエンティティによる失敗―最大試行回数に達しましたスクリプトの失敗サービスの失敗非アクティブまたは外部イベント（ver8.0以降）―会話セッションが終了した結果、非アクティブまたは外部イベントのために進行中のタスクが閉じられます。
ユーザーID	会話に関連するエンドユーザーのユーザーID。KoreユーザーIDまたはチャネル固有の一意のIDのいずれかに基づいてメトリクスを表示するように選択できます。メモ：チャネル固有のIDは、選択した期間中にボットと対話したユーザーに対してのみ表示されます。
言語	会話が行われた言語。
日付と時刻	チャットの日付と時間：

ピン留め

ピン留めした「識別済みおよび未識別のインテント」タブまたは「失敗したタスク」タブのレコードは、ここの「ピン留め」タブに表示されます。タスク/インテントに関連する次の詳細が表示されます。

フィールド	説明
発話	ユーザーが入力した実際の発話。タブの詳細は、デフォルトで発話ごとにグループ化されています。発話によるグループ化をオフにするには、発話ヘッダーをクリックし、発話によるグループ化オプションをオフにします。
インテント	識別/失敗したインテント/タスク。
問題のタイプ	上記のセクションで説明したように、タスク失敗レコードの場合に失敗の理由を示します。
ユーザーID	会話に関連するエンドユーザーのユーザーID。KoreユーザーIDまたはチャネル固有の一意のIDのいずれかに基づいてメトリクスを表示するように選択できます。メモ：チャネル固有のIDは、選択した期間中にボットと対話したユーザーに対してのみ表示されます。
言語	会話が行われた言語。
日付と時刻	チャットの日付と時間：

詳細表示

「検出されたインテント」「検出されなかったインテント」「失敗したタスク」および「ピン留め」タブにリストされているすべてのユーザーの発話について、ユーザーセッションに関連する詳細を次のサブタブで開くことができます。

詳細：これは会話のNLP分析を含むJSONファイルとともに、セッションの基本的な詳細を示しています。
NLP分析：インテントスコアリングと選択を含むNLP分析の視覚的表現を提供します。詳細については、ボットのテストとトレーニングをご覧ください。
チャット履歴：レコードがログに記録される正確なメッセージまたは会話にリダイレクトされ、ユーザーセッションのチャット履歴全体が表示されます。

チャット履歴

チャット履歴は次の機能を含むことで、ユーザー情報の可視性を提供します。

ユーザープロファイル：ユーザーとその使用メトリクスの全方位のビューを提供します。
ユーザー会話セッション: 選択した発話セクションを展開して、指定した期間のユーザーのすべてのセッションを一覧表示します。
選択した発話へ移動：選択した発話はオレンジ色で強調表示されます。

提供されるユーザー情報の詳細は次のとおりです。

機能性	属性	説明
ユーザープロファイル	KoreユーザーID	プラットフォームによって割り当てられたユーザーID
	チャネルデータ	チャネルから受信したデータ、つまりユーザーコンテキストで利用可能な情報。
	ユーザーmetaタグ	最新のものに対して、ユーザーとキー値のペアに関連付けられたメタタグの総数。
	直近のインタラクション	ユーザーがボットと最後に対話したとき
	合計会話セッション	最初からユーザーによって登録されたインタラクティブおよびノンインタラクティブセッションの総数
	過去30日間の合計会話セッション	過去30日間にユーザーによって登録されたインタラクティブおよびノンインタラクティブセッションの総数
	*過去30日間にユーザーによるインタラクションがない場合、次のいくつかの属性は表示されません
	過去30日間のインテント検出率	（識別されたインテントの合計／（識別されたインテントの合計＋未識別の発話））*過去30日間の発話の場合は100
	リクエストされたインテント	識別されたインテントの合計＋識別されていない発話
	識別されたインテント	識別されたインテントの合計
	過去30日間のゴール完了率	（成功タスク／（合計成功タスク＋合計失敗タスク））*過去30日間のタスクの場合は100
	開始されたタスク	成功タスクの合計＋失敗タスクの合計
	完了したタスク	タスクは正常に完了しました
	最近の会話フロー	過去30日間にユーザーが最も実行した会話フロートップ10。最も多いフローは、フローが実行されたインスタンスの数によって決まります。
ユーザー会話セッション	セッション属性
	セッション開始	セッション開始日と時間。
	セッション終了	セッション終了日と時間。
	チャネル	セッションが開始されたチャネル。
	エージェント転送タグ	ユーザーがエージェントに転送されたセッション。たとえユーザーがボットに戻った場合でも、セッションを検討する必要があります。
	ドロップオフタグ	ユーザーがドロップオフしたセッション
	合計成功タスク	セッションで正常に完了したタスクの数。
	合計失敗タスク	セッションで失敗したタスクの数。
	識別されたインテント	セッションで正常に認識されたインテントの数。
	インテントは認識されません	セッション内の未認識のインテントの数と未認識のインテントのリスト。
	会話パス	セッションでユーザーが開始した一連のタスク。
	セッションのmetaタグ	表示された最新のカスタムメタタグの詳細とともに使用されたセッションメタタグの数。
	会話のトランスクリプト
	メッセージのメタタグ	チャットのトランスクリプトには、メタタグが関連付けられたメッセージのメッセージタグが注釈として付きます。
	エージェントへ転送	転送前の最後のメッセージでのエージェント転送のポイントを示します。
	ドロップオフ	ドロップオフ前の最後のメッセージでのドロップオフのポイントを示します。

実行

「実行」タブには、ボットのバックエンドパフォーマンスに関連する次の情報が表示されます。

フィールド	説明
ノード名	ユーザーの発話にレスポンスして実行されたタスク内のサービス、スクリプト、またはWebHookの名前。これらのスクリプトまたはサービスが属するコンポーネントによるグループ化をオンにするには、ノード名ヘッダーをクリックし、コンポーネントによるグループ化オプションをオンにします。
タイプ	スクリプト、サービス、WebHookのいずれであるかを示します。メモ：WebHookの詳細はバージョン7.0から含まれています。
タスク	ユーザーの発話に対して特定されたタスク。タスク名によるグループ化をオンにするには、タスク名ヘッダーをクリックし、タスク別グループ化オプションをオンにします。
合計実行回数	ユーザーの発話に対してスクリプトまたはサービスが実行された期間内における合計実行回数。
成功率	正常に実行されたサービスまたはスクリプトの実行率。
2XXレスポンス	2xxレスポンスを返したサービスまたはスクリプトの実行率。
非―2XXレスポンス	非―2xxレスポンスを返したサービスまたはスクリプトの実行率。
レスポンスの平均時間	合計実行回数におけるスクリプトまたはサービスの平均レスポンス時間。

高度なパフォーマンスの詳細

サービス、スクリプト、またはWebHookの名前をクリックすると、サービスの高度な詳細ダイアログが開き、実行の各インスタンスとともに実行の成功と失敗の個別のタブが一覧表示されます。さまざまな実行の平均レスポンス時間を分析することで、サービスまたはスクリプトの実行における異常についてのインサイトが得られます。任意の行をクリックして、サービスまたはスクリプトの実行に関連付けられたJSONレスポンスを開きます。

デバッグログ

koreDebugger.log("<debug statement>")ステートメントを使用してスクリプトノードに入力したカスタムデバッグステートメントはすべてこのタブに表示されます（デバッグステートメントは文字列フォーマットである必要があります）。ログはすべてのチャネルにわたるユーザーの会話を含みます。特にユーザーのインタラクション中に失敗が発生した場合、ボット分析にそれらを使用できます。詳細は次のとおりです。

ボットの定義時に定義した実際のステートメント。
ロギングの日時
チャネル
ユーザーID（およびチャネル固有のID）
インタラクションの言語
可能な場合はタスク名
開発者フラグ―インタラクションが開発者またはエンドユーザーのどちらによって実行されたかを示します。

セッションに関連付けられているチャット履歴の詳細を見ることもできます。さらに詳細を見るには、以下のステップに従います。

ログレコードをクリックします。
対応するウィンドウで、詳細タブとチャット履歴タブを見つけることができます。
「詳細」タブで、タスク名、チャネル、言語、およびフローを確認できます。
チャット履歴タブをクリックします。ログが記録されているチャットのトランスクリプトを見つけることができます。
- デバッグログがボットメッセージから生成された場合、チャットトランスクリプト内のその特定のメッセージに移動します。
- デバッグログがボットメッセージの一部でない場合は、デバッグステートメントの前に追加された最新のメッセージに移動します。

ユニバーサルボットの場合、ユニバーサルボットとリンクされたボットからのデバッグステートメントがログに含まれます。デバッグログはプラットフォームがBotKitに到達できなかった場合や、BotKitがプラットフォームから送信されたメッセージを確認しなかった場合などのBotKitに関連するエラーメッセージも含みます。メッセージには、<endpoint>、<error code>、<response time>.などの詳細が含まれています。ストレージの制限―プラットフォームは、ボットごとに保持されるログステートメントの数に制限を課します。制限は、ボリュームと期間の組み合わせです。

ボットごとに最新の700ステートメントのみが保存されます。
7日より古いステートメントは削除されます。

データのエクスポート

ページの右上隅にある「エクスポート」アイコンをクリックすると、ボット分析ページにあるデータをCSVファイルにエクスポートできます。アイコンをクリックするとエクスポートプロセスが開始され、ステータストラッカードックを使ってエクスポートの進行状況を追跡できます。エクスポートが完了するとドックにエクスポートステータスが表示され、成功した場合はファイルをダウンロードするためのリンクが提供されます。ダウンロードには選択したタブに表示される情報とともに、選択したフィルターに基づく詳細な分析が含まれます。これらのレコードはメタタグ情報も含みます。

会話フロー

On this Page