GETTING STARTED
Kore.ai XO Platform
Virtual Assistants Overview
Natural Language Processing (NLP)
Concepts and Terminology
Quick Start Guide
Accessing the Platform
Navigating the Kore.ai XO Platform
Building a Virtual Assistant
Help & Learning Resources
Release Notes
Current Version
Recent Updates
Previous Versions
CONCEPTS
Design
Storyboard
Overview
FAQs
Conversation Designer
Overview
Dialog Tasks
Mock Scenes
Dialog Tasks
Overview
Navigate Dialog Tasks
Build Dialog Tasks
Node Types
Overview
Intent Node
Dialog Node
Dynamic Intent Node
GenAI Node
GenAI Prompt
Entity Node
Form Node
Confirmation Node
Message Nodes
Logic Node
Bot Action Node
Service Node
Webhook Node
Script Node
Process Node
Agent Transfer
Node Connections
Node Connections Setup
Sub-Intent Scoping
Entity Types
Entity Rules
User Prompts or Messages
Voice Call Properties
Knowledge AI
Introduction
Knowledge Graph
Introduction
Terminology
Build a Knowledge Graph
Manage FAQs
Knowledge Extraction
Import or Export Knowledge Graph
Prepare Data for Import
Importing Knowledge Graph
Exporting Knowledge Graph
Auto-Generate Knowledge Graph
Knowledge Graph Analysis
Answer from Documents
Alert Tasks
Small Talk
Digital Skills
Overview
Digital Forms
Digital Views
Introduction
Widgets
Panels
Session and Context Variables
Context Object
Intent Discovery
Train
NLP Optimization
ML Engine
Overview
Model Validation
FM Engine
KG Engine
Traits Engine
Ranking and Resolver
Training Validations
NLP Configurations
NLP Guidelines
LLM and Generative AI
Introduction
LLM Integration
Kore.ai XO GPT Module
Prompts & Requests Library
Co-Pilot Features
Dynamic Conversations Features
Intelligence
Introduction
Event Handlers
Contextual Memory
Contextual Intents
Interruption Management
Multi-intent Detection
Amending Entities
Default Conversations
Conversation Driven Dialog Builder
Sentinment Management
Tone Analysis
Default Standard Responses
Ignore Words & Field Memory
Test & Debug
Overview
Talk to Bot
Utterance Testing
Batch Testing
Conversation Testing
Conversation Testing Overview
Create a Test Suite
Test Editor
Test Case Assertion
Test Case Execution Summary
Glossary
Health and Monitoring
NLP Health
Flow Health
Integrations
Actions
Actions Overview
Asana
Configure
Templates
Azure OpenAI
Configure
Templates
BambooHR
Configure
Templates
Bitly
Configure
Templates
Confluence
Configure
Templates
DHL
Configure
Templates
Freshdesk
Configure
Templates
Freshservice
Configure
Templates
Google Maps
Configure
Templates
Here
Configure
Templates
HubSpot
Configure
Templates
JIRA
Configure
Templates
Microsoft Graph
Configure
Templates
Open AI
Configure
Templates
Salesforce
Configure
Templates
ServiceNow
Configure
Templates
Stripe
Configure
Templates
Shopify
Configure
Templates
Twilio
Configure
Templates
Zendesk
Configure
Templates
Agents
Agent Transfer Overview
Custom (BotKit)
Drift
Genesys
Intercom
NiceInContact
NiceInContact(User Hub)
Salesforce
ServiceNow
Configure Tokyo and Lower versions
Configure Utah and Higher versions
Unblu
External NLU Adapters
Overview
Dialogflow Engine
Test and Debug
Deploy
Channels
Publishing
Versioning
Analyze
Introduction
Dashboard Filters
Overview Dashboard
Conversations Dashboard
Users Dashboard
Performance Dashboard
Custom Dashboards
Introduction
Custom Meta Tags
Create Custom Dashboard
Create Custom Dashboard Filters
LLM and Generative AI Logs
NLP Insights
Task Execution Logs
Conversations History
Conversation Flows
Conversation Insights
Feedback Analytics
Usage Metrics
Containment Metrics
Universal Bots
Introduction
Universal Bot Definition
Universal Bot Creation
Training a Universal Bot
Universal Bot Customizations
Enabling Languages
Store
Manage Assistant
Team Collaboration
Plan & Usage
Overview
Usage Plans
Templates
Support Plans
Invoices
Authorization
Conversation Sessions
Multilingual Virtual Assistants
Get Started
Supported Components & Features
Manage Languages
Manage Translation Services
Multiingual Virtual Assistant Behavior
Feedback Survey
Masking PII Details
Variables
Collections
IVR Settings
General Settings
Assistant Management
Manage Namespace
Data
Overview
Data Table
Table Views
App Definitions
Data as Service
HOW TOs
Build a Travel Planning Assistant
Travel Assistant Overview
Create a Travel Virtual Assistant
Design Conversation Skills
Create an ‘Update Booking’ Task
Create a Change Flight Task
Build a Knowledge Graph
Schedule a Smart Alert
Design Digital Skills
Configure Digital Forms
Configure Digital Views
Train the Assistant
Use Traits
Use Patterns
Manage Context Switching
Deploy the Assistant
Use Bot Functions
Use Content Variables
Use Global Variables
Use Web SDK
Build a Banking Assistant
Design Conversation Skills
Create a Sample Banking Assistant
Create a Transfer Funds Task
Create a Update Balance Task
Create a Knowledge Graph
Set Up a Smart Alert
Design Digital Skills
Configure Digital Forms
Configure Digital Views
Add Data to Data Tables
Update Data in Data Tables
Add Data from Digital Forms
Train the Assistant
Composite Entities
Use Traits
Use Patterns for Intents & Entities
Manage Context Switching
Deploy the Assistant
Configure an Agent Transfer
Use Assistant Functions
Use Content Variables
Use Global Variables
Intent Scoping using Group Node
Analyze the Assistant
Create a Custom Dashboard
Use Custom Meta Tags in Filters
Migrate External Bots
Google Dialogflow Bot
APIs & SDKs
API Reference
API Introduction
Rate Limits
API List
koreUtil Libraries
SDK Reference
SDK Introduction
Web SDK
How the Web SDK Works
SDK Security
SDK Registration
Web Socket Connect and RTM
Tutorials
Widget SDK Tutorial
Web SDK Tutorial
BotKit SDK
BotKit SDK Deployment Guide
Installing the BotKit SDK
Using the BotKit SDK
SDK Events
SDK Functions
Tutorials
BotKit - Blue Prism
BotKit - Flight Search Sample VA
BotKit - Agent Transfer
  1. Docs
  2. Virtual Assistants
  3. Analyzing Your Bot
  4. NLP 지표

NLP 지표

Kore.ai는 모든 정보를 분석 섹션의 일부로 기록하고 표시합니다. 개발자들은 작업 식별 및 작업 실행 시 봇의 성능에 관한 통찰력을 얻을 수 있습니다. 이를 통해 의도와 일치한 사용자 발화와 그렇지 않은 발화에서 필수 정보를 볼 수 있습니다.

분석 > NLP 지표 섹션에는 다음과 같은 섹션이 포함되어 있습니다.

  • 의도가 발견됨: KG 의도에 의해 트리거 된 대화 작업을 포함하여, 학습된 의도에 성공적으로 매핑된 모든 사용자 발화가 포함됩니다. 발화는 유사성을 기준으로 그룹화됩니다
    • 사용자 발화, 의도, 사용자(Kore 사용자 ID 또는 채널별 고유 ID), 날짜-기간, 사용 채널, 언어 등 다양한 기준에 따라 정보를 필터링할 수 있습니다. 여러 사용자 정의 태그에서 레코드를 필터링할 수도 있습니다.
    • 최초 사용자 발화와 커뮤니케이션 채널, 추출된 엔티티(있는 경우), 적용된 사용자 정의형 태그, 각 엔진에서 반환된 점수를 포함한 상세한 NLP 분석, 순위 및 해결 점수 등의 모든 메타 정보가 향후 분석을 위해 저장됩니다.
    • 사용자 발화 지점에서 대화 스크립트를 볼 수 있는 기능입니다. 또한 사용자 프로필 및 해당 사용자의 대화 세션에 대한 세부 정보를 볼 수 있는 옵션도 제공합니다.
    • 발화를 학습할 수 있는 옵션이 있으며, 학습한 후에는 해당 발화가 표시됩니다.
    • 나중에 표시 및/또는 추적하려는 중요한 레코드를 고정할 수 있습니다. 고정됨 탭에 표시됩니다.

  • 의도가 발견되지 않음: 플랫폼이 봇 의도/FAQ에 매핑할 수 없었던 모든 사용자 발화가 포함됩니다. 개발자가 발생 횟수를 기준으로 학습시킬 수 있도록 유사성을 기준으로 그룹화됩니다.
    • 사용자(Kore 사용자 ID 또는 채널별 고유 ID), 날짜-기간, 사용 채널, 언어 등 다양한 기준에 따라 정보를 필터링할 수 있습니다. 여러 사용자 정의 태그에서 레코드를 필터링할 수도 있습니다.
    • 최초 사용자 발화와 커뮤니케이션 채널, 추출된 시스템 엔터티(있는 경우), 적용된 사용자 정의 태그, 각 엔진에서 반환된 점수를 포함한 상세한 NLP 분석, 순위 및 해결 점수 등의 모든 메타 정보가 향후 분석을 위해 저장됩니다.
    • 사용자 발화 지점에서 대화 스크립트를 볼 수 있는 기능입니다. 또한 사용자 프로필 및 해당 사용자의 대화 세션에 대한 세부 정보를 볼 수 있는 옵션도 제공합니다.
    • 발화를 학습할 수 있는 옵션이 있으며, 학습한 후에는 해당 발화가 표시됩니다. 또한 학습함/학습하지 않음 발화를 기준으로 필터링할 수 있습니다.
    • 나중에 표시 및/또는 추적하려는 중요한 레코드를 고정할 수 있습니다. 고정됨 탭에 표시됩니다.
  • 실패한 작업: 의도로 성공적으로 식별되었지만 작업을 완료할 수 없는 모든 사용자 발화가 이 섹션에 나열됩니다. 작업 및 실패 유형에 따라 그룹화하여 봇 문제를 분석하고 해결할 수 있습니다.
    • 지원되는 플랫폼 실패 유형은 다음과 같습니다.
      • 사용자가 작업을 중단함
      • 대체 작업을 시작함
      • 대화 인터페이스 새로 고침
      • 인간 상담사 전환
      • 권한 부여 시도 실패 – 최대 시도 횟수에 도달함
      • 잘못된 엔티티 실패 – 최대 시도 횟수에 도달함
      • 스크립트 오류
      • 서비스 실패
    • 작업 이름, 사용자(Kore 사용자 ID 또는 채널별 고유 ID), 날짜-기간, 언어 등 다양한 기준에 따라 정보를 필터링할 수 있습니다.
    • 최초 사용자 발화와 커뮤니케이션 채널, 추출된 시스템 엔터티(있는 경우), 적용된 사용자 정의 태그, 각 엔진에서 반환된 점수를 포함한 상세한 NLP 분석, 순위 및 해결 점수 등의 모든 메타 정보가 향후 분석을 위해 저장됩니다.
    • 사용자 발화 지점에서 대화 스크립트를 볼 수 있는 기능입니다. 또한 사용자 프로필 및 해당 사용자의 대화 세션에 대한 세부 정보를 볼 수 있는 옵션도 제공합니다.
    • 나중에 표시 및/또는 추적하려는 중요한 레코드를 고정할 수 있습니다. 고정됨 탭에 표시됩니다.
  • 성능: 개발자는 봇 작업의 모든 스크립트와 API 서비스를 하나의 창에서 모니터링할 수 있습니다. 플랫폼은 다음과 같은 메타 정보를 저장합니다.
    • 노드 이름, 유형 및 작업 이름
    • 총 실행 횟수
    • 성공 %
    • 응답 수가 200개인 총 호출 수와 응답 수가 200개가 아닌 총 호출 수입니다. 실제 응답 코드는 서비스 행을 클릭하면 열리는 상세 정보 페이지에서 볼 수 있습니다.
    • 평균 응답 시간
    • 스크립트 또는 서비스가 연속적으로 실패하는 경우 적절한 알림

     

  • 고정됨: 이 탭의 식별된/미식별된 의도와 실패 작업에서 중요 또는 고정된 모든 레코드를 볼 수 있습니다.

지표 페이지를 열려면 상단 메뉴에서 분석 > NLP 지표를 선택합니다. 최종 사용자 발화는 유사성을 기준으로 그룹화되어 봇의 성능을 보다 쉽게 검토할 수 있습니다.

필터 기준

다음 기준을 사용하여 지표 페이지에서 정보를 필터링할 수 있습니다. 입력한 필터 기준을 저장하고 기본 필터로 저장을 사용하여 기본 필터로 설정할 수 있습니다.

필터 조건은 탭에 따라 약간 다릅니다. 지표 페이지에서 탭 사이를 전환할 때 적용 가능한 필터가 적용됩니다.
기준 설명
사용자 ID 대화와 관련된 최종 사용자의 사용자 ID입니다. 다음을 기준으로 필터링하도록 선택할 수 있습니다

  • 사용자가 등록할 때 플랫폼에서 생성한 사용자 ID인 Kore 사용자 ID, 또는
  • 채널 사용자 ID – 채널에서 받은 사용자의 이메일 주소입니다. 개발자 상호 작용은 ‘엔터프라이즈 봇’의 채널 사용자 ID에서 사용할 수 있으며, 채널 ID에서 이메일 주소(Kore 등록 이메일 주소)를 사용할 수 있습니다

사용자 ID의 처음 세 알파벳을 입력하면 나타나는 드롭다운에서 사용자 ID를 선택할 수 있습니다 이때 선택한 사용자 ID를 포함하거나 제외할 수 있습니다. 참고 사항: 채널별 ID는 선택한 기간 동안 봇과 상호 작용한 사용자에게만 표시됩니다.

날짜 기간 이 페이지에는 기본적으로 지난 7일간의 대화가 표시됩니다. 지난 24시간 동안의 대화만 필터링하려면 24시간을 클릭합니다. 지난 7일 세션으로 다시 전환하려면 지난 7일을 클릭합니다. 시작 및 종료 날짜와 시간을 지정하여 사용자 정의 기간을 추가할 수도 있습니다(버전 7.3에 시간 추가됨)
언어 다국어 봇인 경우 특정 언어를 선택하여 해당 언어로 발생한 대화를 필터링할 수 있습니다. 이 페이지에는 기본적으로 활성화된 모든 언어가 발생한 대화가 표시됩니다. 성능 탭에는 적용되지 않습니다.
채널 특정 채널을 선택하여 해당 채널에서 발생한 대화를 필터링합니다. 이 페이지에는 기본적으로 활성화된 모든 채널에서 발생한 대화가 표시됩니다.
작업/의도 특정 작업 또는 의도와 관련된 대화를 필터링하려면 특정 작업 또는 의도와 관련된 작업을 선택합니다. 이 페이지에는 기본적으로 모든 작업 또는 의도와 관련된 대화가 표시됩니다. 의도가 발견되지 않음 탭에는 적용되지 않습니다.
발화 유형 학습한 발화만 포함한 대화를 봇에 필터링하려면 학습함 옵션을 선택합니다. 학습하지 않은 발화와 관련된 대화를 보려면 학습하지 않음을 클릭합니다. 이 페이지에는 기본적으로 둘 모두와 관련된 대화가 표시됩니다. 의도가 발견됨 탭만 적용됩니다.
모호함 여러 작업 또는 의도를 식별하고 사용자에게 제공된 옵션 중에서 선택하도록 요청하는 대화를 필터링하려면 모호함 표시 옵션을 선택합니다. 의도가 발견되지 않음 탭에서만 사용할 수 있습니다.
개발자 상호 작용 결과에 개발자 상호 작용을 포함하려면 개발자 상호 작용 포함을 선택합니다. 기본적으로 개발자 상호 작용은 포함되지 않습니다. 개발자들은 봇 소유자와 공유된 개발자를 모두 포함합니다.
사용자 정의 태그 메타 정보, 세션 데이터 및 필터 기준에 따라 레코드를 필터링하려면 특정 사용자 정의 태그를 선택합니다. 이러한 태그를 세 가지 수준에서 추가할 수 있습니다.

  • 사용자 수준: 이러한 태그를 사용자 정보에 추가할 수 있습니다.
  • 메시지 수준: 이러한 태그를 현재 노드의 메시지에 추가할 수 있습니다. 현재 노드가 메시지와 연결되지 않은 경우 태그는 노드가 연결된 메시지가 있는 바로 이전 노드에 연결됩니다.
  • 세션 수준: 이러한 태그는 사용자의 현재 세션에서 추가할 수 있습니다.

기준을 포함 및 지정된 값을 포함하지 않음으로 설정할 수 있습니다. 디버그 로그 탭에서 사용할 수 없습니다. 애플리케이션의 모든 위치에서 작성된 스크립트 노드, 메시지, 엔티티, 확인 프롬프트, 오류 프롬프트, 지식 그래프, 응답, BotKit SDK 등과 같은 스크립트에서 태그를 키-값 쌍으로 정의할 수 있습니다. 메타 태그 추가를 위해 다음 스크립트를 사용할 수 있습니다.

  • 사용자 수준 태그 추가 방법: tags.addUserLevelTag("tagname","tagvalue")
  • 세션 수준 태그 추가 방법: tags.addSessionLevelTag("tagname","tagvalue")
  • 메시지 수준 태그 추가 방법: tags.addMessageLevelTag("tagname","tagvalue")

식별된 의도 및 미식별된 의도

의도가 발견됨의도가 발견되지 않음에 대한 기본 세부 정보, 필터 기준 및 고급 세부 정보는 유사하지만 약간의 차이가 있습니다. 이러한 탭에서 직접 봇에 대해 모든 발화를 학습할 수 있습니다.

기본 세부 정보

필드 설명
발화 사용자가 입력한 실제 발화입니다. 탭의 세부 정보는 기본적으로 발화별로 그룹화되어 있습니다. 발화별 그룹화를 끄려면 발화 헤더를 클릭하고 발화별 그룹화 옵션을 끕니다.
의도 (의도가 발견됨 탭만 적용됩니다) 사용자 발화에 대해 실별된 의도입니다. 식별된 의도와 사용자 발화를 살펴보고 올바르게 일치하는지 확인할 수 있습니다. 그렇지 않은 경우 여기에서 봇을 학습시킬 수 있습니다. 발화별 그룹화를 켜려면 발화 헤더를 클릭하고 발화별 그룹화 옵션을 켭니다.
특성 나열된 발화에 대해 식별된 모든 관련된 특성.
사용자 ID 대화와 관련된 최종 사용자의 사용자 ID입니다. Kore 사용자 ID 또는 채널별 고유 ID를 기준으로 지표를표시하도록 선택할 수 있습니다 참고 사항: 채널별 ID는 선택한 기간 동안 봇과 상호 작용한 사용자에게만 표시됩니다.
언어 대화가 발생한 언어입니다.
날짜 & 시간 대화의 날짜 및 시간입니다.

봇 학습시키기

의도가 발견됨 및 의도가 발견되지 않음 탭에서 의도를 학습할 수 있습니다. 이렇게 하려면 해당 탭의 행 위에 마우스를 가져가서 학습 아이콘을 클릭합니다. 봇을 학습시킬 수 있는 테스트 및 학습 페이지가 열립니다. 자세한 내용은 봇 테스트 및 학습시키기를 참조하세요.

실패한 작업

실패한 작업 탭에는 식별되었지만 어떤 이유로 실행하지 못한 작업과 관련된 다음과 같은 세부 정보가 표시됩니다.

필드 설명
발화 사용자가 입력한 실제 발화입니다. 탭의 세부 정보는 기본적으로 발화별로 그룹화되어 있습니다. 발화별 그룹화를 끄려면 발화 헤더를 클릭하고 발화별 그룹화 옵션을 끕니다.
작업 이름 사용자 발화에 대해 식별된 작업입니다. 발화별 그룹화를 켜려면 작업 이름 헤더를 클릭하고 작업별 그룹화 옵션을 켭니다.
실패 지점 실패가 발생하여 작업이 취소되거나 사용자가 삭제된 작업 실행 여정의 노드 또는 포인트입니다. 항목을 클릭하면 마커를 통해 의도 감지 발화와 실패/중단 지점을 확인할 수 있는 세션에 대한 전체 대화를 볼 수 있습니다. 작업 유형에 따라 실패 지점을 클릭하면 자세한 정보가 표시됩니다.
문제 유형 다음 옵션 중 하나를 실패 원인으로 표시합니다.

  • 사용자가 작업을 중단함
  • 대체 작업을 시작함
  • 대화 인터페이스 새로 고침
  • 인간 상담사 전환
  • 권한 부여 시도 실패 – 최대 시도 횟수에 도달함
  • 잘못된 엔티티 실패 – 최대 시도 횟수에 도달함
  • 스크립트 오류
  • 서비스 실패
  • 비활성 또는 외부 이벤트(버전 8.0 이상) – 대화 세션에서 비활성 또는 외부 이벤트로 인해 진행 중인 작업이 닫힙니다.
사용자 ID 대화와 관련된 최종 사용자의 사용자 ID입니다. Kore 사용자 ID 또는 채널별 고유 ID를 기준으로 지표를 표시하도록 선택할 수 있습니다 참고 사항: 채널별 ID는 선택한 기간 동안 봇과 상호 작용한 사용자에게만 표시됩니다.
언어 대화가 발생한 언어입니다.
날짜 & 시간 대화의 날짜 및 시간입니다.

고정됨

고정한 식별된 의도 및 미식별된 의도 또는 실패 작업 탭의 모든 레코드는 고정됨 탭에 표시됩니다. 작업/의도와 관련된 다음 세부 정보가 표시됩니다.

필드 설명
발화 사용자가 입력한 실제 발화입니다. 탭의 세부 정보는 기본적으로 발화별로 그룹화되어 있습니다. 발화별 그룹화를 끄려면 발화 헤더를 클릭하고 발화별 그룹화 옵션을 끕니다.
의도 식별/실패한 의도/작업입니다.
문제 유형 위의 섹션에서 언급한 바와 같이 작업 실패 레코드의 경우 실패 원인을 보여 줍니다.
사용자 ID 대화와 관련된 최종 사용자의 사용자 ID입니다. Kore 사용자 ID 또는 채널별 고유 ID를 기준으로 지표를 표시하도록 선택할 수 있습니다 참고 사항: 채널별 ID는 선택한 기간 동안 봇과 상호 작용한 사용자에게만 표시됩니다.
언어 대화가 발생한 언어입니다.
날짜 & 시간 대화의 날짜 및 시간입니다.

고급 보기

의도가 발견됨, 의도가 발견되지 않음, 실패 작업 및 고정됨 탭에 나열된 모든 사용자 발화를 다음 하위 탭을 사용하여 사용자 세션과 관련된 고급 세부 정보를 열 수 있습니다.

  • 세부 정보: 대화의 NLP 분석을 포함한 JSON 파일과 함께 세션의 기본 세부 정보를 보여 줍니다.
  • NLP 분석: 의도 점수 및 선택을 포함하여 NLP 분석의 시각적 표현을 제공합니다. 자세한 내용은 봇 테스트 및 학습시키기를 참조하세요.
  • 채팅 기록: 레코드가 기록된 정확한 메시지 또는 대화로 안내하고 사용자 세션의 전체 채팅 기록을 표시합니다.

채팅 기록

채팅 기록은 다음 기능을 포함하여 사용자 정보에 대한 가시성을 제공합니다.

  • 사용자 프로필: 사용자의 사용량 지표와 함께 사용자에 대한 360도 보기를 제공합니다.
  • 사용자 대화 세션: 지정된 기간 동안 사용자의 모든 세션을 나열하며 선택한 발화 섹션이 확장됩니다.
  • 선택된 발화로 이동: 선택된 발화가 주황색으로 강조 표시됩니다.

다음은 제공되는 사용자 정보의 세부 정보입니다.

기능 속성 설명
사용자 프로필 Kore 사용자 ID 플랫폼에서 할당한 사용자 ID
채널 데이터 채널에서 수신한 데이터, 즉 사용자 컨텍스트에서 사용할 수 있는 정보입니다.
사용자 메타 태그 가장 최근의 메타 태그의 사용자 및 키-값 쌍과 연결된 총 메타 태그 수입니다.
최신 상호 작용 사용자가 봇과 마지막으로 상호 작용한 시간
총 대화 세션 시작 때부터 사용자가 등록한 대화형 및 비대화형 세션의 총수
지난 30일간 총 대화 세션 지난 30일 동안 사용자가 등록한 대화형 및 비대화형 세션의 총수
* 최근 30일 동안 사용자가 상호 작용하지 않으면 다음 몇 가지 속성이 표시되지 않습니다
지난 30일 동안의 의도 감지율 (총 식별된 의도 수 / (총 식별된 의도 수 + 미식별된 발화 수)) * 지난 30일 동안의 발화 수 100
의도 요청됨 총 식별된 의도 수 + 미식별된 발화 수
식별된 의도 총 식별된 의도 수
지난 30일 동안의 목표 완료율 (작업에 성공 작업 / (총 성공 작업 + 총 실패 작업)) * 최근 30일 동안의 작업 100
작업 시작됨 총 성공 작업 수 + 총 실패 작업 수
작업 완료됨 작업이 성공적으로 완료됨
최근 대화형 흐름 지난 30일 동안 사용자가 실행한 인기 있는 10가지 대화 흐름. 인기 있는 흐름은 흐름이 실행된 인스턴스 수에 따라 달라집니다.
사용자 대화 세션 세션 속성
세션 시작 세션 시작 날짜 및 시간입니다.
세션 종료 세션 종료 날짜 및 시간입니다.
채널 세션이 시작된 채널입니다.
상담사 전환 태그 사용자가 상담원에게 전달된 세션입니다. 사용자가 봇에 반환된 경우에도 세션을 고려해야 합니다.
드랍오프 태그 사용자가 중단한 세션입니다.
총 성공 작업 세션에서 성공적으로 완료된 작업 수입니다.
총 실패 작업 세션에서 실패한 작업 수입니다.
식별된 의도 세션에서 성공적으로 식별한 의도 수입니다.
식별되지 않은 의도 세션의 식별되지 않은 의도 수와 식별되지 않은 의도 목록입니다.
대화 경로 세션에서 사용자가 시작한 일련의 작업입니다.
세션 메타 태그 가장 최근에 표시된 사용자 정의 메타 태그의 세부 정보와 함께 사용된 세션 메타 태그의 수입니다.
대화 내용
메시지 메타 태그 대화 내용은 연관된 메타 태그가 있는 메시지의 메시지 태그가 주석으로 추가됩니다.
상담사 전환 상담사를 전환하기 전 마지막 메시지의 전송 지점을 나타냅니다.
드랍오프 중단하기 전 마지막 메시지의 드랍오프 지점을 나타냅니다.

성능

성능 탭에는 봇의 백엔드 성능과 관련된 다음 정보가 표시됩니다.

필드 설명
노드 이름 사용자 발화에 대한 응답으로 실행된 작업 내의 서비스, 스크립트 또는 Webhook의 이름입니다. 이 스크립트 또는 서비스가 속한 구성 요소별 그룹화를 켜려면 노드 이름 헤더를 클릭하고 구성 요소별 그룹화 옵션을 켭니다.
유형 스크립트, 서비스, WebHook 중 하나로 표시합니다. 참고 사항: Webhook 세부 정보는 버전 7.0부터 제공됩니다.
태스크 사용자 발화에 대해 식별된 작업입니다. 발화별 그룹화를 켜려면 작업 이름 헤더를 클릭하고 작업별 그룹화 옵션을 켭니다.
총 실행 횟수 해당 기간 동안 사용자 발화에 대해 스크립트 또는 서비스가 실행된 총 실행 횟수입니다.
성공률 성공적으로 실행된 서비스 또는 스크립트 실행 횟수의 실행 비율입니다.
2XX 응답 2xx 응답을 반환한 서비스 또는 스크립트 실행 횟수의 비율입니다.
비 2XX 응답 비2xx 응답을 반환한 서비스 또는 스크립트 실행 횟수의 비율입니다.
평균 응답 시간 총 실행 횟수에서 스크립트 또는 서비스의 평균 응답 시간입니다.

고급 성능 세부 정보

서비스, 스크립트 또는 WebHook 이름을 클릭하면 성공 및 실패한 실행에 대한 별도의 탭과 함께 실행의 각 인스턴스를 나열하는 서비스의 고급 세부 정보 대화 상자가 열립니다. 각 실행의 평균 응답 시간을 분석하면 서비스 또는 스크립트 실행의 모든 이상에 대한 통찰력을 얻을 수 있습니다. 아무 행이나 클릭하여 서비스 또는 스크립트 실행과 연결된 JSON 응답을 엽니다.

디버그 로그

koreDebugger.log("<debug statement>") 문장을 사용하여 스크립트 노드에 입력한 모든 사용자 정의 디버그 문장이 이 탭에 표시됩니다(디버그 문장은 문자열 형식이어야 함). 로그에는 모든 채널의 사용자 대화가 포함됩니다. 특히 사용자 상호 작용 중 실패가 발생할 경우 봇 분석에 사용할 수 있습니다. 세부 정보는 다음과 같습니다.

  • 봇을 정의할 때 정의한 실제 문장입니다.
  • 로그 날짜 및 시간입니다
  • 채널
  • 사용자 ID(채널별 ID와 함께)
  • 상호 작용 언어
  • 작업 이름(있는 경우)
  • 개발자 플래그 – 개발자 또는 최종 사용자가 상호 작용을 수행했음을 나타냅니다.

세션과 연관된 채팅 기록의 세부 정보를 볼 수 있습니다. 자세한 내용을 보려면 다음 단계를 따르세요.

  1. 로그 기록을 클릭합니다.
  2. 해당 창에서 세부 정보채팅 기록 탭을 찾을 수 있습니다.
  3. 세부 정보 탭에서 작업 이름, 채널, 언어흐름을 찾을 수 있습니다.
  4. 채팅 기록 탭을 클릭합니다. 로그가 기록된 채팅 내용을 찾을 수 있습니다.
    • 디버그 로그가 봇 메시지에서 생성된 경우 채팅 내용의 특정 메시지로 이동합니다.

    • 디버그 로그가 봇 메시지의 일부가 아닌 경우 디버그 문장 앞에 추가된 최신 메시지로 이동합니다.

범용 봇의 경우 범용 봇과 연결된 봇의 디버그 문장이 로그에 포함됩니다. 디버그 로그에는 플랫폼이 BotKit에 도달할 수 없거나 BotKit가 플랫폼에서 보낸 메시지를 승인하지 못한 경우와 같은 BotKit 관련 오류 메시지도 포함됩니다. 메시지에는 <endpoint>, <error code>, 및 <response time>와 같은 세부 정보가 포함됩니다. 스토리지 제한 플랫폼은 봇당 보유하는 로그 문장 수를 제한합니다. 제한은 볼륨 및 기간의 조합입니다.

  • 봇당 최신 700개의 문장만 저장됩니다.
  • 7일이 지난 문장은 제거됩니다.

분석 내보내기

페이지의 오른쪽 상단 모서리에 있는 내보내기 아이콘을 클릭하여 봇 분석 페이지에 있는 데이터를 CSV 파일로 내보낼 수 있습니다. 아이콘을 클릭하면 내보내기 프로세스가 시작되고 상태 추적기 도크를 사용하여 내보내기 진행 상황을 추적할 수 있습니다. 내보내기가 완료되면 도크는 내보내기 상태를 표시하고, 성공적으로 완료되면 파일을 다운로드할 수 있는 링크를 제공합니다. 다운로드에는 선택한 탭에 있는 정보와 선택한 필터에 기반한 자세한 분석이 포함됩니다. 이러한 레코드에는 메타 태그 정보도 포함됩니다.

NLP 지표

Kore.ai는 모든 정보를 분석 섹션의 일부로 기록하고 표시합니다. 개발자들은 작업 식별 및 작업 실행 시 봇의 성능에 관한 통찰력을 얻을 수 있습니다. 이를 통해 의도와 일치한 사용자 발화와 그렇지 않은 발화에서 필수 정보를 볼 수 있습니다.

분석 > NLP 지표 섹션에는 다음과 같은 섹션이 포함되어 있습니다.

  • 의도가 발견됨: KG 의도에 의해 트리거 된 대화 작업을 포함하여, 학습된 의도에 성공적으로 매핑된 모든 사용자 발화가 포함됩니다. 발화는 유사성을 기준으로 그룹화됩니다
    • 사용자 발화, 의도, 사용자(Kore 사용자 ID 또는 채널별 고유 ID), 날짜-기간, 사용 채널, 언어 등 다양한 기준에 따라 정보를 필터링할 수 있습니다. 여러 사용자 정의 태그에서 레코드를 필터링할 수도 있습니다.
    • 최초 사용자 발화와 커뮤니케이션 채널, 추출된 엔티티(있는 경우), 적용된 사용자 정의형 태그, 각 엔진에서 반환된 점수를 포함한 상세한 NLP 분석, 순위 및 해결 점수 등의 모든 메타 정보가 향후 분석을 위해 저장됩니다.
    • 사용자 발화 지점에서 대화 스크립트를 볼 수 있는 기능입니다. 또한 사용자 프로필 및 해당 사용자의 대화 세션에 대한 세부 정보를 볼 수 있는 옵션도 제공합니다.
    • 발화를 학습할 수 있는 옵션이 있으며, 학습한 후에는 해당 발화가 표시됩니다.
    • 나중에 표시 및/또는 추적하려는 중요한 레코드를 고정할 수 있습니다. 고정됨 탭에 표시됩니다.

  • 의도가 발견되지 않음: 플랫폼이 봇 의도/FAQ에 매핑할 수 없었던 모든 사용자 발화가 포함됩니다. 개발자가 발생 횟수를 기준으로 학습시킬 수 있도록 유사성을 기준으로 그룹화됩니다.
    • 사용자(Kore 사용자 ID 또는 채널별 고유 ID), 날짜-기간, 사용 채널, 언어 등 다양한 기준에 따라 정보를 필터링할 수 있습니다. 여러 사용자 정의 태그에서 레코드를 필터링할 수도 있습니다.
    • 최초 사용자 발화와 커뮤니케이션 채널, 추출된 시스템 엔터티(있는 경우), 적용된 사용자 정의 태그, 각 엔진에서 반환된 점수를 포함한 상세한 NLP 분석, 순위 및 해결 점수 등의 모든 메타 정보가 향후 분석을 위해 저장됩니다.
    • 사용자 발화 지점에서 대화 스크립트를 볼 수 있는 기능입니다. 또한 사용자 프로필 및 해당 사용자의 대화 세션에 대한 세부 정보를 볼 수 있는 옵션도 제공합니다.
    • 발화를 학습할 수 있는 옵션이 있으며, 학습한 후에는 해당 발화가 표시됩니다. 또한 학습함/학습하지 않음 발화를 기준으로 필터링할 수 있습니다.
    • 나중에 표시 및/또는 추적하려는 중요한 레코드를 고정할 수 있습니다. 고정됨 탭에 표시됩니다.
  • 실패한 작업: 의도로 성공적으로 식별되었지만 작업을 완료할 수 없는 모든 사용자 발화가 이 섹션에 나열됩니다. 작업 및 실패 유형에 따라 그룹화하여 봇 문제를 분석하고 해결할 수 있습니다.
    • 지원되는 플랫폼 실패 유형은 다음과 같습니다.
      • 사용자가 작업을 중단함
      • 대체 작업을 시작함
      • 대화 인터페이스 새로 고침
      • 인간 상담사 전환
      • 권한 부여 시도 실패 – 최대 시도 횟수에 도달함
      • 잘못된 엔티티 실패 – 최대 시도 횟수에 도달함
      • 스크립트 오류
      • 서비스 실패
    • 작업 이름, 사용자(Kore 사용자 ID 또는 채널별 고유 ID), 날짜-기간, 언어 등 다양한 기준에 따라 정보를 필터링할 수 있습니다.
    • 최초 사용자 발화와 커뮤니케이션 채널, 추출된 시스템 엔터티(있는 경우), 적용된 사용자 정의 태그, 각 엔진에서 반환된 점수를 포함한 상세한 NLP 분석, 순위 및 해결 점수 등의 모든 메타 정보가 향후 분석을 위해 저장됩니다.
    • 사용자 발화 지점에서 대화 스크립트를 볼 수 있는 기능입니다. 또한 사용자 프로필 및 해당 사용자의 대화 세션에 대한 세부 정보를 볼 수 있는 옵션도 제공합니다.
    • 나중에 표시 및/또는 추적하려는 중요한 레코드를 고정할 수 있습니다. 고정됨 탭에 표시됩니다.
  • 성능: 개발자는 봇 작업의 모든 스크립트와 API 서비스를 하나의 창에서 모니터링할 수 있습니다. 플랫폼은 다음과 같은 메타 정보를 저장합니다.
    • 노드 이름, 유형 및 작업 이름
    • 총 실행 횟수
    • 성공 %
    • 응답 수가 200개인 총 호출 수와 응답 수가 200개가 아닌 총 호출 수입니다. 실제 응답 코드는 서비스 행을 클릭하면 열리는 상세 정보 페이지에서 볼 수 있습니다.
    • 평균 응답 시간
    • 스크립트 또는 서비스가 연속적으로 실패하는 경우 적절한 알림

     

  • 고정됨: 이 탭의 식별된/미식별된 의도와 실패 작업에서 중요 또는 고정된 모든 레코드를 볼 수 있습니다.

지표 페이지를 열려면 상단 메뉴에서 분석 > NLP 지표를 선택합니다. 최종 사용자 발화는 유사성을 기준으로 그룹화되어 봇의 성능을 보다 쉽게 검토할 수 있습니다.

필터 기준

다음 기준을 사용하여 지표 페이지에서 정보를 필터링할 수 있습니다. 입력한 필터 기준을 저장하고 기본 필터로 저장을 사용하여 기본 필터로 설정할 수 있습니다.

필터 조건은 탭에 따라 약간 다릅니다. 지표 페이지에서 탭 사이를 전환할 때 적용 가능한 필터가 적용됩니다.
기준 설명
사용자 ID 대화와 관련된 최종 사용자의 사용자 ID입니다. 다음을 기준으로 필터링하도록 선택할 수 있습니다

  • 사용자가 등록할 때 플랫폼에서 생성한 사용자 ID인 Kore 사용자 ID, 또는
  • 채널 사용자 ID – 채널에서 받은 사용자의 이메일 주소입니다. 개발자 상호 작용은 ‘엔터프라이즈 봇’의 채널 사용자 ID에서 사용할 수 있으며, 채널 ID에서 이메일 주소(Kore 등록 이메일 주소)를 사용할 수 있습니다

사용자 ID의 처음 세 알파벳을 입력하면 나타나는 드롭다운에서 사용자 ID를 선택할 수 있습니다 이때 선택한 사용자 ID를 포함하거나 제외할 수 있습니다. 참고 사항: 채널별 ID는 선택한 기간 동안 봇과 상호 작용한 사용자에게만 표시됩니다.

날짜 기간 이 페이지에는 기본적으로 지난 7일간의 대화가 표시됩니다. 지난 24시간 동안의 대화만 필터링하려면 24시간을 클릭합니다. 지난 7일 세션으로 다시 전환하려면 지난 7일을 클릭합니다. 시작 및 종료 날짜와 시간을 지정하여 사용자 정의 기간을 추가할 수도 있습니다(버전 7.3에 시간 추가됨)
언어 다국어 봇인 경우 특정 언어를 선택하여 해당 언어로 발생한 대화를 필터링할 수 있습니다. 이 페이지에는 기본적으로 활성화된 모든 언어가 발생한 대화가 표시됩니다. 성능 탭에는 적용되지 않습니다.
채널 특정 채널을 선택하여 해당 채널에서 발생한 대화를 필터링합니다. 이 페이지에는 기본적으로 활성화된 모든 채널에서 발생한 대화가 표시됩니다.
작업/의도 특정 작업 또는 의도와 관련된 대화를 필터링하려면 특정 작업 또는 의도와 관련된 작업을 선택합니다. 이 페이지에는 기본적으로 모든 작업 또는 의도와 관련된 대화가 표시됩니다. 의도가 발견되지 않음 탭에는 적용되지 않습니다.
발화 유형 학습한 발화만 포함한 대화를 봇에 필터링하려면 학습함 옵션을 선택합니다. 학습하지 않은 발화와 관련된 대화를 보려면 학습하지 않음을 클릭합니다. 이 페이지에는 기본적으로 둘 모두와 관련된 대화가 표시됩니다. 의도가 발견됨 탭만 적용됩니다.
모호함 여러 작업 또는 의도를 식별하고 사용자에게 제공된 옵션 중에서 선택하도록 요청하는 대화를 필터링하려면 모호함 표시 옵션을 선택합니다. 의도가 발견되지 않음 탭에서만 사용할 수 있습니다.
개발자 상호 작용 결과에 개발자 상호 작용을 포함하려면 개발자 상호 작용 포함을 선택합니다. 기본적으로 개발자 상호 작용은 포함되지 않습니다. 개발자들은 봇 소유자와 공유된 개발자를 모두 포함합니다.
사용자 정의 태그 메타 정보, 세션 데이터 및 필터 기준에 따라 레코드를 필터링하려면 특정 사용자 정의 태그를 선택합니다. 이러한 태그를 세 가지 수준에서 추가할 수 있습니다.

  • 사용자 수준: 이러한 태그를 사용자 정보에 추가할 수 있습니다.
  • 메시지 수준: 이러한 태그를 현재 노드의 메시지에 추가할 수 있습니다. 현재 노드가 메시지와 연결되지 않은 경우 태그는 노드가 연결된 메시지가 있는 바로 이전 노드에 연결됩니다.
  • 세션 수준: 이러한 태그는 사용자의 현재 세션에서 추가할 수 있습니다.

기준을 포함 및 지정된 값을 포함하지 않음으로 설정할 수 있습니다. 디버그 로그 탭에서 사용할 수 없습니다. 애플리케이션의 모든 위치에서 작성된 스크립트 노드, 메시지, 엔티티, 확인 프롬프트, 오류 프롬프트, 지식 그래프, 응답, BotKit SDK 등과 같은 스크립트에서 태그를 키-값 쌍으로 정의할 수 있습니다. 메타 태그 추가를 위해 다음 스크립트를 사용할 수 있습니다.

  • 사용자 수준 태그 추가 방법: tags.addUserLevelTag("tagname","tagvalue")
  • 세션 수준 태그 추가 방법: tags.addSessionLevelTag("tagname","tagvalue")
  • 메시지 수준 태그 추가 방법: tags.addMessageLevelTag("tagname","tagvalue")

식별된 의도 및 미식별된 의도

의도가 발견됨의도가 발견되지 않음에 대한 기본 세부 정보, 필터 기준 및 고급 세부 정보는 유사하지만 약간의 차이가 있습니다. 이러한 탭에서 직접 봇에 대해 모든 발화를 학습할 수 있습니다.

기본 세부 정보

필드 설명
발화 사용자가 입력한 실제 발화입니다. 탭의 세부 정보는 기본적으로 발화별로 그룹화되어 있습니다. 발화별 그룹화를 끄려면 발화 헤더를 클릭하고 발화별 그룹화 옵션을 끕니다.
의도 (의도가 발견됨 탭만 적용됩니다) 사용자 발화에 대해 실별된 의도입니다. 식별된 의도와 사용자 발화를 살펴보고 올바르게 일치하는지 확인할 수 있습니다. 그렇지 않은 경우 여기에서 봇을 학습시킬 수 있습니다. 발화별 그룹화를 켜려면 발화 헤더를 클릭하고 발화별 그룹화 옵션을 켭니다.
특성 나열된 발화에 대해 식별된 모든 관련된 특성.
사용자 ID 대화와 관련된 최종 사용자의 사용자 ID입니다. Kore 사용자 ID 또는 채널별 고유 ID를 기준으로 지표를표시하도록 선택할 수 있습니다 참고 사항: 채널별 ID는 선택한 기간 동안 봇과 상호 작용한 사용자에게만 표시됩니다.
언어 대화가 발생한 언어입니다.
날짜 & 시간 대화의 날짜 및 시간입니다.

봇 학습시키기

의도가 발견됨 및 의도가 발견되지 않음 탭에서 의도를 학습할 수 있습니다. 이렇게 하려면 해당 탭의 행 위에 마우스를 가져가서 학습 아이콘을 클릭합니다. 봇을 학습시킬 수 있는 테스트 및 학습 페이지가 열립니다. 자세한 내용은 봇 테스트 및 학습시키기를 참조하세요.

실패한 작업

실패한 작업 탭에는 식별되었지만 어떤 이유로 실행하지 못한 작업과 관련된 다음과 같은 세부 정보가 표시됩니다.

필드 설명
발화 사용자가 입력한 실제 발화입니다. 탭의 세부 정보는 기본적으로 발화별로 그룹화되어 있습니다. 발화별 그룹화를 끄려면 발화 헤더를 클릭하고 발화별 그룹화 옵션을 끕니다.
작업 이름 사용자 발화에 대해 식별된 작업입니다. 발화별 그룹화를 켜려면 작업 이름 헤더를 클릭하고 작업별 그룹화 옵션을 켭니다.
실패 지점 실패가 발생하여 작업이 취소되거나 사용자가 삭제된 작업 실행 여정의 노드 또는 포인트입니다. 항목을 클릭하면 마커를 통해 의도 감지 발화와 실패/중단 지점을 확인할 수 있는 세션에 대한 전체 대화를 볼 수 있습니다. 작업 유형에 따라 실패 지점을 클릭하면 자세한 정보가 표시됩니다.
문제 유형 다음 옵션 중 하나를 실패 원인으로 표시합니다.

  • 사용자가 작업을 중단함
  • 대체 작업을 시작함
  • 대화 인터페이스 새로 고침
  • 인간 상담사 전환
  • 권한 부여 시도 실패 – 최대 시도 횟수에 도달함
  • 잘못된 엔티티 실패 – 최대 시도 횟수에 도달함
  • 스크립트 오류
  • 서비스 실패
  • 비활성 또는 외부 이벤트(버전 8.0 이상) – 대화 세션에서 비활성 또는 외부 이벤트로 인해 진행 중인 작업이 닫힙니다.
사용자 ID 대화와 관련된 최종 사용자의 사용자 ID입니다. Kore 사용자 ID 또는 채널별 고유 ID를 기준으로 지표를 표시하도록 선택할 수 있습니다 참고 사항: 채널별 ID는 선택한 기간 동안 봇과 상호 작용한 사용자에게만 표시됩니다.
언어 대화가 발생한 언어입니다.
날짜 & 시간 대화의 날짜 및 시간입니다.

고정됨

고정한 식별된 의도 및 미식별된 의도 또는 실패 작업 탭의 모든 레코드는 고정됨 탭에 표시됩니다. 작업/의도와 관련된 다음 세부 정보가 표시됩니다.

필드 설명
발화 사용자가 입력한 실제 발화입니다. 탭의 세부 정보는 기본적으로 발화별로 그룹화되어 있습니다. 발화별 그룹화를 끄려면 발화 헤더를 클릭하고 발화별 그룹화 옵션을 끕니다.
의도 식별/실패한 의도/작업입니다.
문제 유형 위의 섹션에서 언급한 바와 같이 작업 실패 레코드의 경우 실패 원인을 보여 줍니다.
사용자 ID 대화와 관련된 최종 사용자의 사용자 ID입니다. Kore 사용자 ID 또는 채널별 고유 ID를 기준으로 지표를 표시하도록 선택할 수 있습니다 참고 사항: 채널별 ID는 선택한 기간 동안 봇과 상호 작용한 사용자에게만 표시됩니다.
언어 대화가 발생한 언어입니다.
날짜 & 시간 대화의 날짜 및 시간입니다.

고급 보기

의도가 발견됨, 의도가 발견되지 않음, 실패 작업 및 고정됨 탭에 나열된 모든 사용자 발화를 다음 하위 탭을 사용하여 사용자 세션과 관련된 고급 세부 정보를 열 수 있습니다.

  • 세부 정보: 대화의 NLP 분석을 포함한 JSON 파일과 함께 세션의 기본 세부 정보를 보여 줍니다.
  • NLP 분석: 의도 점수 및 선택을 포함하여 NLP 분석의 시각적 표현을 제공합니다. 자세한 내용은 봇 테스트 및 학습시키기를 참조하세요.
  • 채팅 기록: 레코드가 기록된 정확한 메시지 또는 대화로 안내하고 사용자 세션의 전체 채팅 기록을 표시합니다.

채팅 기록

채팅 기록은 다음 기능을 포함하여 사용자 정보에 대한 가시성을 제공합니다.

  • 사용자 프로필: 사용자의 사용량 지표와 함께 사용자에 대한 360도 보기를 제공합니다.
  • 사용자 대화 세션: 지정된 기간 동안 사용자의 모든 세션을 나열하며 선택한 발화 섹션이 확장됩니다.
  • 선택된 발화로 이동: 선택된 발화가 주황색으로 강조 표시됩니다.

다음은 제공되는 사용자 정보의 세부 정보입니다.

기능 속성 설명
사용자 프로필 Kore 사용자 ID 플랫폼에서 할당한 사용자 ID
채널 데이터 채널에서 수신한 데이터, 즉 사용자 컨텍스트에서 사용할 수 있는 정보입니다.
사용자 메타 태그 가장 최근의 메타 태그의 사용자 및 키-값 쌍과 연결된 총 메타 태그 수입니다.
최신 상호 작용 사용자가 봇과 마지막으로 상호 작용한 시간
총 대화 세션 시작 때부터 사용자가 등록한 대화형 및 비대화형 세션의 총수
지난 30일간 총 대화 세션 지난 30일 동안 사용자가 등록한 대화형 및 비대화형 세션의 총수
* 최근 30일 동안 사용자가 상호 작용하지 않으면 다음 몇 가지 속성이 표시되지 않습니다
지난 30일 동안의 의도 감지율 (총 식별된 의도 수 / (총 식별된 의도 수 + 미식별된 발화 수)) * 지난 30일 동안의 발화 수 100
의도 요청됨 총 식별된 의도 수 + 미식별된 발화 수
식별된 의도 총 식별된 의도 수
지난 30일 동안의 목표 완료율 (작업에 성공 작업 / (총 성공 작업 + 총 실패 작업)) * 최근 30일 동안의 작업 100
작업 시작됨 총 성공 작업 수 + 총 실패 작업 수
작업 완료됨 작업이 성공적으로 완료됨
최근 대화형 흐름 지난 30일 동안 사용자가 실행한 인기 있는 10가지 대화 흐름. 인기 있는 흐름은 흐름이 실행된 인스턴스 수에 따라 달라집니다.
사용자 대화 세션 세션 속성
세션 시작 세션 시작 날짜 및 시간입니다.
세션 종료 세션 종료 날짜 및 시간입니다.
채널 세션이 시작된 채널입니다.
상담사 전환 태그 사용자가 상담원에게 전달된 세션입니다. 사용자가 봇에 반환된 경우에도 세션을 고려해야 합니다.
드랍오프 태그 사용자가 중단한 세션입니다.
총 성공 작업 세션에서 성공적으로 완료된 작업 수입니다.
총 실패 작업 세션에서 실패한 작업 수입니다.
식별된 의도 세션에서 성공적으로 식별한 의도 수입니다.
식별되지 않은 의도 세션의 식별되지 않은 의도 수와 식별되지 않은 의도 목록입니다.
대화 경로 세션에서 사용자가 시작한 일련의 작업입니다.
세션 메타 태그 가장 최근에 표시된 사용자 정의 메타 태그의 세부 정보와 함께 사용된 세션 메타 태그의 수입니다.
대화 내용
메시지 메타 태그 대화 내용은 연관된 메타 태그가 있는 메시지의 메시지 태그가 주석으로 추가됩니다.
상담사 전환 상담사를 전환하기 전 마지막 메시지의 전송 지점을 나타냅니다.
드랍오프 중단하기 전 마지막 메시지의 드랍오프 지점을 나타냅니다.

성능

성능 탭에는 봇의 백엔드 성능과 관련된 다음 정보가 표시됩니다.

필드 설명
노드 이름 사용자 발화에 대한 응답으로 실행된 작업 내의 서비스, 스크립트 또는 Webhook의 이름입니다. 이 스크립트 또는 서비스가 속한 구성 요소별 그룹화를 켜려면 노드 이름 헤더를 클릭하고 구성 요소별 그룹화 옵션을 켭니다.
유형 스크립트, 서비스, WebHook 중 하나로 표시합니다. 참고 사항: Webhook 세부 정보는 버전 7.0부터 제공됩니다.
태스크 사용자 발화에 대해 식별된 작업입니다. 발화별 그룹화를 켜려면 작업 이름 헤더를 클릭하고 작업별 그룹화 옵션을 켭니다.
총 실행 횟수 해당 기간 동안 사용자 발화에 대해 스크립트 또는 서비스가 실행된 총 실행 횟수입니다.
성공률 성공적으로 실행된 서비스 또는 스크립트 실행 횟수의 실행 비율입니다.
2XX 응답 2xx 응답을 반환한 서비스 또는 스크립트 실행 횟수의 비율입니다.
비 2XX 응답 비2xx 응답을 반환한 서비스 또는 스크립트 실행 횟수의 비율입니다.
평균 응답 시간 총 실행 횟수에서 스크립트 또는 서비스의 평균 응답 시간입니다.

고급 성능 세부 정보

서비스, 스크립트 또는 WebHook 이름을 클릭하면 성공 및 실패한 실행에 대한 별도의 탭과 함께 실행의 각 인스턴스를 나열하는 서비스의 고급 세부 정보 대화 상자가 열립니다. 각 실행의 평균 응답 시간을 분석하면 서비스 또는 스크립트 실행의 모든 이상에 대한 통찰력을 얻을 수 있습니다. 아무 행이나 클릭하여 서비스 또는 스크립트 실행과 연결된 JSON 응답을 엽니다.

디버그 로그

koreDebugger.log("<debug statement>") 문장을 사용하여 스크립트 노드에 입력한 모든 사용자 정의 디버그 문장이 이 탭에 표시됩니다(디버그 문장은 문자열 형식이어야 함). 로그에는 모든 채널의 사용자 대화가 포함됩니다. 특히 사용자 상호 작용 중 실패가 발생할 경우 봇 분석에 사용할 수 있습니다. 세부 정보는 다음과 같습니다.

  • 봇을 정의할 때 정의한 실제 문장입니다.
  • 로그 날짜 및 시간입니다
  • 채널
  • 사용자 ID(채널별 ID와 함께)
  • 상호 작용 언어
  • 작업 이름(있는 경우)
  • 개발자 플래그 – 개발자 또는 최종 사용자가 상호 작용을 수행했음을 나타냅니다.

세션과 연관된 채팅 기록의 세부 정보를 볼 수 있습니다. 자세한 내용을 보려면 다음 단계를 따르세요.

  1. 로그 기록을 클릭합니다.
  2. 해당 창에서 세부 정보채팅 기록 탭을 찾을 수 있습니다.
  3. 세부 정보 탭에서 작업 이름, 채널, 언어흐름을 찾을 수 있습니다.
  4. 채팅 기록 탭을 클릭합니다. 로그가 기록된 채팅 내용을 찾을 수 있습니다.
    • 디버그 로그가 봇 메시지에서 생성된 경우 채팅 내용의 특정 메시지로 이동합니다.

    • 디버그 로그가 봇 메시지의 일부가 아닌 경우 디버그 문장 앞에 추가된 최신 메시지로 이동합니다.

범용 봇의 경우 범용 봇과 연결된 봇의 디버그 문장이 로그에 포함됩니다. 디버그 로그에는 플랫폼이 BotKit에 도달할 수 없거나 BotKit가 플랫폼에서 보낸 메시지를 승인하지 못한 경우와 같은 BotKit 관련 오류 메시지도 포함됩니다. 메시지에는 <endpoint>, <error code>, 및 <response time>와 같은 세부 정보가 포함됩니다. 스토리지 제한 플랫폼은 봇당 보유하는 로그 문장 수를 제한합니다. 제한은 볼륨 및 기간의 조합입니다.

  • 봇당 최신 700개의 문장만 저장됩니다.
  • 7일이 지난 문장은 제거됩니다.

분석 내보내기

페이지의 오른쪽 상단 모서리에 있는 내보내기 아이콘을 클릭하여 봇 분석 페이지에 있는 데이터를 CSV 파일로 내보낼 수 있습니다. 아이콘을 클릭하면 내보내기 프로세스가 시작되고 상태 추적기 도크를 사용하여 내보내기 진행 상황을 추적할 수 있습니다. 내보내기가 완료되면 도크는 내보내기 상태를 표시하고, 성공적으로 완료되면 파일을 다운로드할 수 있는 링크를 제공합니다. 다운로드에는 선택한 탭에 있는 정보와 선택한 필터에 기반한 자세한 분석이 포함됩니다. 이러한 레코드에는 메타 태그 정보도 포함됩니다.

메뉴