Kore.ai는 모든 정보를 분석 섹션의 일부로 기록하고 표시합니다. 개발자들은 작업 식별 및 작업 실행 시 봇의 성능에 관한 통찰력을 얻을 수 있습니다. 이를 통해 의도와 일치한 사용자 발화와 그렇지 않은 발화에서 필수 정보를 볼 수 있습니다.
분석 > NLP 지표 섹션에는 다음과 같은 섹션이 포함되어 있습니다.
- 의도가 발견됨: KG 의도에 의해 트리거 된 대화 작업을 포함하여, 학습된 의도에 성공적으로 매핑된 모든 사용자 발화가 포함됩니다. 발화는 유사성을 기준으로 그룹화됩니다
- 사용자 발화, 의도, 사용자(Kore 사용자 ID 또는 채널별 고유 ID), 날짜-기간, 사용 채널, 언어 등 다양한 기준에 따라 정보를 필터링할 수 있습니다. 여러 사용자 정의 태그에서 레코드를 필터링할 수도 있습니다.
- 최초 사용자 발화와 커뮤니케이션 채널, 추출된 엔티티(있는 경우), 적용된 사용자 정의형 태그, 각 엔진에서 반환된 점수를 포함한 상세한 NLP 분석, 순위 및 해결 점수 등의 모든 메타 정보가 향후 분석을 위해 저장됩니다.
- 사용자 발화 지점에서 대화 스크립트를 볼 수 있는 기능입니다. 또한 사용자 프로필 및 해당 사용자의 대화 세션에 대한 세부 정보를 볼 수 있는 옵션도 제공합니다.
- 발화를 학습할 수 있는 옵션이 있으며, 학습한 후에는 해당 발화가 표시됩니다.
- 나중에 표시 및/또는 추적하려는 중요한 레코드를 고정할 수 있습니다. 고정됨 탭에 표시됩니다.
- 의도가 발견되지 않음: 플랫폼이 봇 의도/FAQ에 매핑할 수 없었던 모든 사용자 발화가 포함됩니다. 개발자가 발생 횟수를 기준으로 학습시킬 수 있도록 유사성을 기준으로 그룹화됩니다.
- 사용자(Kore 사용자 ID 또는 채널별 고유 ID), 날짜-기간, 사용 채널, 언어 등 다양한 기준에 따라 정보를 필터링할 수 있습니다. 여러 사용자 정의 태그에서 레코드를 필터링할 수도 있습니다.
- 최초 사용자 발화와 커뮤니케이션 채널, 추출된 시스템 엔터티(있는 경우), 적용된 사용자 정의 태그, 각 엔진에서 반환된 점수를 포함한 상세한 NLP 분석, 순위 및 해결 점수 등의 모든 메타 정보가 향후 분석을 위해 저장됩니다.
- 사용자 발화 지점에서 대화 스크립트를 볼 수 있는 기능입니다. 또한 사용자 프로필 및 해당 사용자의 대화 세션에 대한 세부 정보를 볼 수 있는 옵션도 제공합니다.
- 발화를 학습할 수 있는 옵션이 있으며, 학습한 후에는 해당 발화가 표시됩니다. 또한 학습함/학습하지 않음 발화를 기준으로 필터링할 수 있습니다.
- 나중에 표시 및/또는 추적하려는 중요한 레코드를 고정할 수 있습니다. 고정됨 탭에 표시됩니다.
- 실패한 작업: 의도로 성공적으로 식별되었지만 작업을 완료할 수 없는 모든 사용자 발화가 이 섹션에 나열됩니다. 작업 및 실패 유형에 따라 그룹화하여 봇 문제를 분석하고 해결할 수 있습니다.
- 지원되는 플랫폼 실패 유형은 다음과 같습니다.
- 사용자가 작업을 중단함
- 대체 작업을 시작함
- 대화 인터페이스 새로 고침
- 인간 상담사 전환
- 권한 부여 시도 실패 – 최대 시도 횟수에 도달함
- 잘못된 엔티티 실패 – 최대 시도 횟수에 도달함
- 스크립트 오류
- 서비스 실패
- 작업 이름, 사용자(Kore 사용자 ID 또는 채널별 고유 ID), 날짜-기간, 언어 등 다양한 기준에 따라 정보를 필터링할 수 있습니다.
- 최초 사용자 발화와 커뮤니케이션 채널, 추출된 시스템 엔터티(있는 경우), 적용된 사용자 정의 태그, 각 엔진에서 반환된 점수를 포함한 상세한 NLP 분석, 순위 및 해결 점수 등의 모든 메타 정보가 향후 분석을 위해 저장됩니다.
- 사용자 발화 지점에서 대화 스크립트를 볼 수 있는 기능입니다. 또한 사용자 프로필 및 해당 사용자의 대화 세션에 대한 세부 정보를 볼 수 있는 옵션도 제공합니다.
- 나중에 표시 및/또는 추적하려는 중요한 레코드를 고정할 수 있습니다. 고정됨 탭에 표시됩니다.
- 지원되는 플랫폼 실패 유형은 다음과 같습니다.
- 성능: 개발자는 봇 작업의 모든 스크립트와 API 서비스를 하나의 창에서 모니터링할 수 있습니다. 플랫폼은 다음과 같은 메타 정보를 저장합니다.
- 노드 이름, 유형 및 작업 이름
- 총 실행 횟수
- 성공 %
- 응답 수가 200개인 총 호출 수와 응답 수가 200개가 아닌 총 호출 수입니다. 실제 응답 코드는 서비스 행을 클릭하면 열리는 상세 정보 페이지에서 볼 수 있습니다.
- 평균 응답 시간
- 스크립트 또는 서비스가 연속적으로 실패하는 경우 적절한 알림
- 고정됨: 이 탭의 식별된/미식별된 의도와 실패 작업에서 중요 또는 고정된 모든 레코드를 볼 수 있습니다.
지표 페이지를 열려면 상단 메뉴에서 분석 > NLP 지표를 선택합니다. 최종 사용자 발화는 유사성을 기준으로 그룹화되어 봇의 성능을 보다 쉽게 검토할 수 있습니다.
필터 기준
다음 기준을 사용하여 지표 페이지에서 정보를 필터링할 수 있습니다. 입력한 필터 기준을 저장하고 기본 필터로 저장을 사용하여 기본 필터로 설정할 수 있습니다. 
| 기준 | 설명 |
|---|---|
| 사용자 ID | 대화와 관련된 최종 사용자의 사용자 ID입니다. 다음을 기준으로 필터링하도록 선택할 수 있습니다
사용자 ID의 처음 세 알파벳을 입력하면 나타나는 드롭다운에서 사용자 ID를 선택할 수 있습니다 이때 선택한 사용자 ID를 포함하거나 제외할 수 있습니다. 참고 사항: 채널별 ID는 선택한 기간 동안 봇과 상호 작용한 사용자에게만 표시됩니다. |
| 날짜 기간 | 이 페이지에는 기본적으로 지난 7일간의 대화가 표시됩니다. 지난 24시간 동안의 대화만 필터링하려면 24시간을 클릭합니다. 지난 7일 세션으로 다시 전환하려면 지난 7일을 클릭합니다. 시작 및 종료 날짜와 시간을 지정하여 사용자 정의 기간을 추가할 수도 있습니다(버전 7.3에 시간 추가됨) |
| 언어 | 다국어 봇인 경우 특정 언어를 선택하여 해당 언어로 발생한 대화를 필터링할 수 있습니다. 이 페이지에는 기본적으로 활성화된 모든 언어가 발생한 대화가 표시됩니다. 성능 탭에는 적용되지 않습니다. |
| 채널 | 특정 채널을 선택하여 해당 채널에서 발생한 대화를 필터링합니다. 이 페이지에는 기본적으로 활성화된 모든 채널에서 발생한 대화가 표시됩니다. |
| 작업/의도 | 특정 작업 또는 의도와 관련된 대화를 필터링하려면 특정 작업 또는 의도와 관련된 작업을 선택합니다. 이 페이지에는 기본적으로 모든 작업 또는 의도와 관련된 대화가 표시됩니다. 의도가 발견되지 않음 탭에는 적용되지 않습니다. |
| 발화 유형 | 학습한 발화만 포함한 대화를 봇에 필터링하려면 학습함 옵션을 선택합니다. 학습하지 않은 발화와 관련된 대화를 보려면 학습하지 않음을 클릭합니다. 이 페이지에는 기본적으로 둘 모두와 관련된 대화가 표시됩니다. 의도가 발견됨 탭만 적용됩니다. |
| 모호함 | 여러 작업 또는 의도를 식별하고 사용자에게 제공된 옵션 중에서 선택하도록 요청하는 대화를 필터링하려면 모호함 표시 옵션을 선택합니다. 의도가 발견되지 않음 탭에서만 사용할 수 있습니다. |
| 개발자 상호 작용 | 결과에 개발자 상호 작용을 포함하려면 개발자 상호 작용 포함을 선택합니다. 기본적으로 개발자 상호 작용은 포함되지 않습니다. 개발자들은 봇 소유자와 공유된 개발자를 모두 포함합니다. |
| 사용자 정의 태그 | 메타 정보, 세션 데이터 및 필터 기준에 따라 레코드를 필터링하려면 특정 사용자 정의 태그를 선택합니다. 이러한 태그를 세 가지 수준에서 추가할 수 있습니다.
기준을 포함 및 지정된 값을 포함하지 않음으로 설정할 수 있습니다. 디버그 로그 탭에서 사용할 수 없습니다. 애플리케이션의 모든 위치에서 작성된 스크립트 노드, 메시지, 엔티티, 확인 프롬프트, 오류 프롬프트, 지식 그래프, 응답, BotKit SDK 등과 같은 스크립트에서 태그를 키-값 쌍으로 정의할 수 있습니다. 메타 태그 추가를 위해 다음 스크립트를 사용할 수 있습니다.
|
식별된 의도 및 미식별된 의도
의도가 발견됨 및 의도가 발견되지 않음에 대한 기본 세부 정보, 필터 기준 및 고급 세부 정보는 유사하지만 약간의 차이가 있습니다. 이러한 탭에서 직접 봇에 대해 모든 발화를 학습할 수 있습니다.
기본 세부 정보
| 필드 | 설명 |
|---|---|
| 발화 | 사용자가 입력한 실제 발화입니다. 탭의 세부 정보는 기본적으로 발화별로 그룹화되어 있습니다. 발화별 그룹화를 끄려면 발화 헤더를 클릭하고 발화별 그룹화 옵션을 끕니다. |
| 의도 (의도가 발견됨 탭만 적용됩니다) | 사용자 발화에 대해 실별된 의도입니다. 식별된 의도와 사용자 발화를 살펴보고 올바르게 일치하는지 확인할 수 있습니다. 그렇지 않은 경우 여기에서 봇을 학습시킬 수 있습니다. 발화별 그룹화를 켜려면 발화 헤더를 클릭하고 발화별 그룹화 옵션을 켭니다. |
| 특성 | 나열된 발화에 대해 식별된 모든 관련된 특성. |
| 사용자 ID | 대화와 관련된 최종 사용자의 사용자 ID입니다. Kore 사용자 ID 또는 채널별 고유 ID를 기준으로 지표를표시하도록 선택할 수 있습니다 참고 사항: 채널별 ID는 선택한 기간 동안 봇과 상호 작용한 사용자에게만 표시됩니다. |
| 언어 | 대화가 발생한 언어입니다. |
| 날짜 & 시간 | 대화의 날짜 및 시간입니다. |
봇 학습시키기
의도가 발견됨 및 의도가 발견되지 않음 탭에서 의도를 학습할 수 있습니다. 이렇게 하려면 해당 탭의 행 위에 마우스를 가져가서 학습 아이콘을 클릭합니다. 봇을 학습시킬 수 있는 테스트 및 학습 페이지가 열립니다. 자세한 내용은 봇 테스트 및 학습시키기를 참조하세요.
실패한 작업
실패한 작업 탭에는 식별되었지만 어떤 이유로 실행하지 못한 작업과 관련된 다음과 같은 세부 정보가 표시됩니다.
| 필드 | 설명 |
|---|---|
| 발화 | 사용자가 입력한 실제 발화입니다. 탭의 세부 정보는 기본적으로 발화별로 그룹화되어 있습니다. 발화별 그룹화를 끄려면 발화 헤더를 클릭하고 발화별 그룹화 옵션을 끕니다. |
| 작업 이름 | 사용자 발화에 대해 식별된 작업입니다. 발화별 그룹화를 켜려면 작업 이름 헤더를 클릭하고 작업별 그룹화 옵션을 켭니다. |
| 실패 지점 | 실패가 발생하여 작업이 취소되거나 사용자가 삭제된 작업 실행 여정의 노드 또는 포인트입니다. 항목을 클릭하면 마커를 통해 의도 감지 발화와 실패/중단 지점을 확인할 수 있는 세션에 대한 전체 대화를 볼 수 있습니다. 작업 유형에 따라 실패 지점을 클릭하면 자세한 정보가 표시됩니다. |
| 문제 유형 | 다음 옵션 중 하나를 실패 원인으로 표시합니다.
|
| 사용자 ID | 대화와 관련된 최종 사용자의 사용자 ID입니다. Kore 사용자 ID 또는 채널별 고유 ID를 기준으로 지표를 표시하도록 선택할 수 있습니다 참고 사항: 채널별 ID는 선택한 기간 동안 봇과 상호 작용한 사용자에게만 표시됩니다. |
| 언어 | 대화가 발생한 언어입니다. |
| 날짜 & 시간 | 대화의 날짜 및 시간입니다. |
고정됨
고정한 식별된 의도 및 미식별된 의도 또는 실패 작업 탭의 모든 레코드는 고정됨 탭에 표시됩니다. 작업/의도와 관련된 다음 세부 정보가 표시됩니다.
| 필드 | 설명 |
|---|---|
| 발화 | 사용자가 입력한 실제 발화입니다. 탭의 세부 정보는 기본적으로 발화별로 그룹화되어 있습니다. 발화별 그룹화를 끄려면 발화 헤더를 클릭하고 발화별 그룹화 옵션을 끕니다. |
| 의도 | 식별/실패한 의도/작업입니다. |
| 문제 유형 | 위의 섹션에서 언급한 바와 같이 작업 실패 레코드의 경우 실패 원인을 보여 줍니다. |
| 사용자 ID | 대화와 관련된 최종 사용자의 사용자 ID입니다. Kore 사용자 ID 또는 채널별 고유 ID를 기준으로 지표를 표시하도록 선택할 수 있습니다 참고 사항: 채널별 ID는 선택한 기간 동안 봇과 상호 작용한 사용자에게만 표시됩니다. |
| 언어 | 대화가 발생한 언어입니다. |
| 날짜 & 시간 | 대화의 날짜 및 시간입니다. |
고급 보기
의도가 발견됨, 의도가 발견되지 않음, 실패 작업 및 고정됨 탭에 나열된 모든 사용자 발화를 다음 하위 탭을 사용하여 사용자 세션과 관련된 고급 세부 정보를 열 수 있습니다.
- 세부 정보: 대화의 NLP 분석을 포함한 JSON 파일과 함께 세션의 기본 세부 정보를 보여 줍니다.
- NLP 분석: 의도 점수 및 선택을 포함하여 NLP 분석의 시각적 표현을 제공합니다. 자세한 내용은 봇 테스트 및 학습시키기를 참조하세요.
- 채팅 기록: 레코드가 기록된 정확한 메시지 또는 대화로 안내하고 사용자 세션의 전체 채팅 기록을 표시합니다.
채팅 기록
채팅 기록은 다음 기능을 포함하여 사용자 정보에 대한 가시성을 제공합니다.
- 사용자 프로필: 사용자의 사용량 지표와 함께 사용자에 대한 360도 보기를 제공합니다.
- 사용자 대화 세션: 지정된 기간 동안 사용자의 모든 세션을 나열하며 선택한 발화 섹션이 확장됩니다.
- 선택된 발화로 이동: 선택된 발화가 주황색으로 강조 표시됩니다.
다음은 제공되는 사용자 정보의 세부 정보입니다.
| 기능 | 속성 | 설명 |
|---|---|---|
| 사용자 프로필 | Kore 사용자 ID | 플랫폼에서 할당한 사용자 ID |
| 채널 데이터 | 채널에서 수신한 데이터, 즉 사용자 컨텍스트에서 사용할 수 있는 정보입니다. | |
| 사용자 메타 태그 | 가장 최근의 메타 태그의 사용자 및 키-값 쌍과 연결된 총 메타 태그 수입니다. | |
| 최신 상호 작용 | 사용자가 봇과 마지막으로 상호 작용한 시간 | |
| 총 대화 세션 | 시작 때부터 사용자가 등록한 대화형 및 비대화형 세션의 총수 | |
| 지난 30일간 총 대화 세션 | 지난 30일 동안 사용자가 등록한 대화형 및 비대화형 세션의 총수 | |
| * 최근 30일 동안 사용자가 상호 작용하지 않으면 다음 몇 가지 속성이 표시되지 않습니다 | ||
| 지난 30일 동안의 의도 감지율 | (총 식별된 의도 수 / (총 식별된 의도 수 + 미식별된 발화 수)) * 지난 30일 동안의 발화 수 100 | |
| 의도 요청됨 | 총 식별된 의도 수 + 미식별된 발화 수 | |
| 식별된 의도 | 총 식별된 의도 수 | |
| 지난 30일 동안의 목표 완료율 | (작업에 성공 작업 / (총 성공 작업 + 총 실패 작업)) * 최근 30일 동안의 작업 100 | |
| 작업 시작됨 | 총 성공 작업 수 + 총 실패 작업 수 | |
| 작업 완료됨 | 작업이 성공적으로 완료됨 | |
| 최근 대화형 흐름 | 지난 30일 동안 사용자가 실행한 인기 있는 10가지 대화 흐름. 인기 있는 흐름은 흐름이 실행된 인스턴스 수에 따라 달라집니다. | |
| 사용자 대화 세션 | 세션 속성 | |
| 세션 시작 | 세션 시작 날짜 및 시간입니다. | |
| 세션 종료 | 세션 종료 날짜 및 시간입니다. | |
| 채널 | 세션이 시작된 채널입니다. | |
| 상담사 전환 태그 | 사용자가 상담원에게 전달된 세션입니다. 사용자가 봇에 반환된 경우에도 세션을 고려해야 합니다. | |
| 드랍오프 태그 | 사용자가 중단한 세션입니다. | |
| 총 성공 작업 | 세션에서 성공적으로 완료된 작업 수입니다. | |
| 총 실패 작업 | 세션에서 실패한 작업 수입니다. | |
| 식별된 의도 | 세션에서 성공적으로 식별한 의도 수입니다. | |
| 식별되지 않은 의도 | 세션의 식별되지 않은 의도 수와 식별되지 않은 의도 목록입니다. | |
| 대화 경로 | 세션에서 사용자가 시작한 일련의 작업입니다. | |
| 세션 메타 태그 | 가장 최근에 표시된 사용자 정의 메타 태그의 세부 정보와 함께 사용된 세션 메타 태그의 수입니다. | |
| 대화 내용 | ||
| 메시지 메타 태그 | 대화 내용은 연관된 메타 태그가 있는 메시지의 메시지 태그가 주석으로 추가됩니다. | |
| 상담사 전환 | 상담사를 전환하기 전 마지막 메시지의 전송 지점을 나타냅니다. | |
| 드랍오프 | 중단하기 전 마지막 메시지의 드랍오프 지점을 나타냅니다. | |
성능
성능 탭에는 봇의 백엔드 성능과 관련된 다음 정보가 표시됩니다.
| 필드 | 설명 |
|---|---|
| 노드 이름 | 사용자 발화에 대한 응답으로 실행된 작업 내의 서비스, 스크립트 또는 Webhook의 이름입니다. 이 스크립트 또는 서비스가 속한 구성 요소별 그룹화를 켜려면 노드 이름 헤더를 클릭하고 구성 요소별 그룹화 옵션을 켭니다. |
| 유형 | 스크립트, 서비스, WebHook 중 하나로 표시합니다. 참고 사항: Webhook 세부 정보는 버전 7.0부터 제공됩니다. |
| 태스크 | 사용자 발화에 대해 식별된 작업입니다. 발화별 그룹화를 켜려면 작업 이름 헤더를 클릭하고 작업별 그룹화 옵션을 켭니다. |
| 총 실행 횟수 | 해당 기간 동안 사용자 발화에 대해 스크립트 또는 서비스가 실행된 총 실행 횟수입니다. |
| 성공률 | 성공적으로 실행된 서비스 또는 스크립트 실행 횟수의 실행 비율입니다. |
| 2XX 응답 | 2xx 응답을 반환한 서비스 또는 스크립트 실행 횟수의 비율입니다. |
| 비 2XX 응답 | 비2xx 응답을 반환한 서비스 또는 스크립트 실행 횟수의 비율입니다. |
| 평균 응답 시간 | 총 실행 횟수에서 스크립트 또는 서비스의 평균 응답 시간입니다. |
고급 성능 세부 정보
서비스, 스크립트 또는 WebHook 이름을 클릭하면 성공 및 실패한 실행에 대한 별도의 탭과 함께 실행의 각 인스턴스를 나열하는 서비스의 고급 세부 정보 대화 상자가 열립니다. 각 실행의 평균 응답 시간을 분석하면 서비스 또는 스크립트 실행의 모든 이상에 대한 통찰력을 얻을 수 있습니다. 아무 행이나 클릭하여 서비스 또는 스크립트 실행과 연결된 JSON 응답을 엽니다.
디버그 로그
koreDebugger.log("<debug statement>") 문장을 사용하여 스크립트 노드에 입력한 모든 사용자 정의 디버그 문장이 이 탭에 표시됩니다(디버그 문장은 문자열 형식이어야 함). 로그에는 모든 채널의 사용자 대화가 포함됩니다. 특히 사용자 상호 작용 중 실패가 발생할 경우 봇 분석에 사용할 수 있습니다. 세부 정보는 다음과 같습니다.
- 봇을 정의할 때 정의한 실제 문장입니다.
- 로그 날짜 및 시간입니다
- 채널
- 사용자 ID(채널별 ID와 함께)
- 상호 작용 언어
- 작업 이름(있는 경우)
- 개발자 플래그 – 개발자 또는 최종 사용자가 상호 작용을 수행했음을 나타냅니다.
세션과 연관된 채팅 기록의 세부 정보를 볼 수 있습니다. 자세한 내용을 보려면 다음 단계를 따르세요.
- 로그 기록을 클릭합니다.
- 해당 창에서 세부 정보 및 채팅 기록 탭을 찾을 수 있습니다.
- 세부 정보 탭에서 작업 이름, 채널, 언어 및 흐름을 찾을 수 있습니다.
- 채팅 기록 탭을 클릭합니다. 로그가 기록된 채팅 내용을 찾을 수 있습니다.
-
디버그 로그가 봇 메시지에서 생성된 경우 채팅 내용의 특정 메시지로 이동합니다.
-
디버그 로그가 봇 메시지의 일부가 아닌 경우 디버그 문장 앞에 추가된 최신 메시지로 이동합니다.
-
범용 봇의 경우 범용 봇과 연결된 봇의 디버그 문장이 로그에 포함됩니다. 디버그 로그에는 플랫폼이 BotKit에 도달할 수 없거나 BotKit가 플랫폼에서 보낸 메시지를 승인하지 못한 경우와 같은 BotKit 관련 오류 메시지도 포함됩니다. 메시지에는 <endpoint>, <error code>, 및 <response time>와 같은 세부 정보가 포함됩니다. 스토리지 제한 플랫폼은 봇당 보유하는 로그 문장 수를 제한합니다. 제한은 볼륨 및 기간의 조합입니다.
- 봇당 최신 700개의 문장만 저장됩니다.
- 7일이 지난 문장은 제거됩니다.
분석 내보내기
페이지의 오른쪽 상단 모서리에 있는 내보내기 아이콘을 클릭하여 봇 분석 페이지에 있는 데이터를 CSV 파일로 내보낼 수 있습니다. 
아이콘을 클릭하면 내보내기 프로세스가 시작되고 상태 추적기 도크를 사용하여 내보내기 진행 상황을 추적할 수 있습니다. 내보내기가 완료되면 도크는 내보내기 상태를 표시하고, 성공적으로 완료되면 파일을 다운로드할 수 있는 링크를 제공합니다. 다운로드에는 선택한 탭에 있는 정보와 선택한 필터에 기반한 자세한 분석이 포함됩니다. 이러한 레코드에는 메타 태그 정보도 포함됩니다.