지식 그래프 학습

봇 학습시키기는 기계 학습 및 Fundamental Meaning Engine으로 제한되지 않습니다. 지식 그래프 엔진도 학습시켜야 합니다. 지식 그래프 엔진은 지식 그래프에서 적절한 질문을 식별하여 사용자의 의도에 응답합니다.

지식 그래프

지식 그래프에서 다음 단계에 따라 해당 지식 그래프를 구축하고 학습시킵니다.

1. 각 FAQ 질문에서 고유한 단어를 그룹화하여 용어를 식별합니다. 이러한 고유한 단어를 기반으로 계층을 구축합니다.
2. 각 노드에 질문이 25개 이하인지 확인합니다.
3. 특성을 용어와 연결하여 식별된 여러 결과에서 FAQ를 필터링할 수 있습니다.
4. 계층의 각 용어/노드에 동의어를 정의합니다. 용어를 호출하는 다양한 방법이 모두 정의되어 있는지 확인합니다.
5. 경로에서 각 용어의 중요성에 따라, 필수 또는 일반으로 표시하세요.
6. 더 나은 적용 범위를 위해 각 FAQ에 대한 대체 질문을 정의합니다.
7. 정확한 응답을 위해 컨텍스트를 관리합니다.
8. 불용어는 원치 않는 발화를 필터링하는 데 사용합니다.

지식 그래프 학습 및 테스트는 효율적인 지식 그래프를 구축하는 데 있어 매우 중요합니다. 학습시키기 전에, 태그 및 동의어, 특성을 사용하여 성능을 향상시킬 수 있습니다.

용어 유형

일치 경로를 선정하는 데 있어 중요도에 따라 지식 그래프의 용어 및 태그를 기본값, 필수 또는 구성자로 지정합니다.

• 기본값: 기본 용어는 검증 경로를 선정할 때 특별히 염두에 두어야 할 사항이 없습니다.
• 필수: 용어를 필수로 표시하면, 사용자의 발화에 필수 용어 또는 그 동의어가 포함된 경우에만 해당 용어와 연결된 모든 경로를 선정할 수 있습니다.
• 구성자: 용어는 질문 구성을 위해서만 지식 그래프의 일부로 표시될 수 있습니다(이 옵션은 태그가 아닌 용어에만 사용할 수 있음).

태그

의도 이름 질문 추가 필드에 질문을 입력하면, 지식 그래프에서 텍스트를 기반으로 그래프에 추가할 수 있는 몇 가지 태그를 제시합니다. 제시된 용어를 경로에 포함시키려면, 커서가 용어 추가 필드에 있을 때 나타나는 드롭 다운 목록에서 태그를 선택합니다. 용어 추가 필드에 태그를 입력하고 Enter 키를 눌러 맞춤형 태그를 추가할 수도 있습니다.

태그를 추가하면 질문이 나타나는 모든 곳에서 태그처럼 질문 아래에 표시됩니다. 태그는 용어와 정확히 같게 작동하지만 혼란을 피하기 위해 지식 그래프에는 나타나지 않습니다. 용어와 마찬가지로 동의어와 특성을 태그에 추가할 수 있습니다.

동의어

지식 그래프의 각 용어에 여러 동의어를 추가하여 다양한 사용자 발화에 대한 경로를 검색할 수 있습니다. 설정 창에서 용어의 동의어를 추가할 수 있습니다. 지식 그래프에서 용어의 동의어를 추가할 때, 로컬(경로 수준) 또는 전역(지식 그래프) 동의어로 추가할 수 있습니다. 로컬 동의어는 해당 특정 경로의 용어에만 적용되는 반면, 전역 동의어는 계층의 다른 경로에 나타나는 경우에도 용어에 적용됩니다. 용어에 동의어를 추가하려면 다음 단계를 따르세요.

1. 봇의 지식 그래프 왼쪽 상단에서 동의어를 추가하려는 노드/용어 위로 마우스를 이동합니다.
2. 톱니바퀴 아이콘을 클릭하여 설정 창을 엽니다.
3. 동의어를 추가하려면 다음을 수행하세요.
   • 로컬 동의어를 추가하려면, 경로 수준 동의어에서 상자에 입력합니다.
   • 전역 동의어를 추가하려면 지식 그래프 동의어에서 수정 또는 새로 추가를 클릭하고 입력합니다.
   • 지식 그래프 페이지의 오른쪽 상단에 있는 추가 옵션 아이콘의 동의어 관리 옵션에서도 이러한 그래프 동의어에 액세스할 수 있습니다.
     
     참고: 동의어 상자에 각 동의어를 입력한 후 Enter 키를 누릅니다. 각 동의어 다음에 Enter 키를 누르지 않고 여러 동의어를 입력하면 공백으로 분리되어 있는 경우에도 모든 동의어가 단일 엔티티로 간주됩니다.
   • KG 용어 식별에 봇 동의어를 사용할 수 있습니다. 임곗값 및 설정 또는 지식 그래프 페이지의 오른쪽 상단에 있는 추가 옵션 아이콘의 동의어 관리 옵션에서도 이를 활성화할 수 있습니다.
     
     활성화되면, KG 용어(또는 태그)와 일치하는 봇 수준 동의어는 동의어 섹션의 봇 동의어 제목에 자동으로 표시되며 KG 엔진이 이를 사용합니다. KG 그래프 수준 동의어와 유사하게, 봇 동의어를 경로 제한 및 질문 일치에 사용하게 됩니다. 노드가 봇 동의어 및 봇 개념과 모두 일치하는 경우 봇 개념이 우선시됩니다.
4. 자식 노드에 대한 동의어를 추가하려면, 설정 창 하단에 나열된 자식 용어 옆에 있는 동의어 상자에 입력합니다.

태그에 동의어를 추가하려면 다음 단계를 따르세요.

1. 지식 그래프의 왼쪽 상단에서, 질문을 추가한 용어/노드를 클릭합니다.
2. 질문 패널의 질문 목록에서, 질문 위로 마우스를 이동합니다.
3. 편집 아이콘을 클릭하고 Q&A 편집 창에서, 태그를 더블 클릭합니다. (기본 태그가 아닌 맞춤형 태그만 편집할 수 있음)
4. 열린 태그 설정 창에서, 각 동의어를 입력하고 Enter 키를 눌러 추가합니다.

특성

일반적인 사용자 발언으로 특성을 만든 다음 지식 그래프의 관련 용어(노드 및 태그)에 추가할 수 있습니다. 특성에 대해 자세히 알아보려면 여기를 클릭하세요. 특성을 생성하려면 다음 단계를 따르세요. 여기서 사용할 수 있는 자연어 섹션에서 특성을 만든 경우, 특성은 봇 빌더에서 공통적인 것이 됩니다.

1. 지식 그래프 창의 오른쪽 상단에서, 추가 옵션 아이콘을 클릭한 다음 특성 관리를 선택합니다.
   
2. 특성 관리 창에서 새 특성을 클릭합니다.
3. 특성 유형 및 특성 이름 필드에 특성과 관련된 이름을 입력합니다. 예를 들어, 문제라고 해봅시다.
4. 발화 필드에, 특성에 포함하려는 모든 발화를 입력합니다. 문제 특성의 예: 작동하지 않습니다, 작동하지 않는, 작동하지 않고 있는 중, 보이지 않습니다.
5. 저장을 클릭합니다.

특성을 생성한 후, 지식 그래프의 여러 노드와 태그에 지정할 수 있습니다. 노드/용어에 특성을 추가하려면 다음 단계를 따르세요.

1. 지식 그래프의 왼쪽 상단에서, 특성을 추가하려는 용어 위로 마우스를 이동합니다.
2. 톱니바퀴 아이콘을 클릭하여 설정 창을 엽니다.
3. 특성 드롭 다운 목록에서 특성 이름을 선택하고 저장을 클릭합니다.

1. 지식 그래프의 왼쪽 상단에서, 질문을 추가한 용어를 클릭합니다.
2. 질문 패널의 질문 목록에서 질문 위로 마우스를 이동합니다.
3. 편집 아이콘을 클릭하고 Q&A 편집 창에서, 용어를 더블 클릭합니다. (기본 용어가 아닌 맞춤형 용어만 편집할 수 있음)
4. 태그 설정 창의 특성 드롭 다운 목록에서, 특성 이름을 선택한 다음 저장을 클릭합니다.

컨텍스트

다음을 설정하여 용어 및 태그에 대한 컨텍스트를 관리할 수 있습니다.

• 의도 전제 조건 – 이 노드 또는 태그에 대한 한정자로 존재해야 하는 컨텍스트
• 컨텍스트 출력 – 이 작업의 실행을 나타내기 위해 채워야 하는 컨텍스트

플랫폼의 v8.0 출시 이후에는 구성자 노드의 컨텍스트도 활성화할 수 있습니다. 컨텍스트 관리 옵션을 활성화하면 위에서 언급한 컨텍스트 전제 조건 및 컨텍스트 출력을 설정할 수 있습니다. 참고: 컨텍스트 관리 옵션을 활성화하면 기본적으로 용어/노드 이름이 생성되지 않습니다. 컨텍스트 관리에 대한 자세한 내용을 보려면 여기를 클릭하세요.

불용어

사용자 발화에 있는 불용어는 불용어를 사용하여 노드(또는 노드 동의어)를 정의하는 경우에도 스코어링을 위해 삭제됩니다. 지식 그래프에는 언어별로 미리 정의된 불용어 집합이 있습니다. 이 목록은 요구 사항에 맞게 사용자 정의할 수 있습니다. 불용어 목록을 편집하려면 다음 단계를 따르세요.

1. 지식 그래프 페이지에서, 추가 옵션 아이콘을 클릭하고 불용어 관리를 선택합니다.
2. 불용어 관리 창에서 불용어를 삭제하거나 추가합니다.

학습 및 테스트

지식 그래프 생성/편집을 완료한 후, 지식 그래프 창의 오른쪽 상단에 있는 학습 버튼을 클릭합니다. 이 작업을 수행하면, 모든 경로, 동의어 및 질문 답변 집합이 그래프 DB 엔진으로 전송됩니다.

단일 노드에 100개 이상의 질문이 있는 경우 학습되지 않습니다. 이 제한은 응답 시간을 개선하여 보다 효율적인 지식 그래프 이용을 위해 v7.3에 도입되었습니다. 이렇게 작동하지 않는 경우 100개 이상의 질문이 있는 경로를 나열하는 다운로드 오류 CSV 파일을 사용할 수 있습니다. 이 파일을 통해 지식 그래프를 수정할 수 있습니다.

지식 그래프 테스트

지식 그래프 생성 및 학습을 완료하면, 봇과 상호 작용해보고 지식 그래프에 연결된 질문을 해보는 것이 좋습니다. 다양한 발화를 통해 봇 응답을 테스트하여 누락된 용어, 질문, 대체 질문, 동의어 및 특성을 식별할 수 있습니다.

FAQ 탐지 단계

다음 FAQ 탐지 단계는 지식 그래프(KG) 엔진이 지식 그래프의 질문을 선정하는 과정에 대한 개요를 보여줍니다.

1. 노드 추출: KG 엔진은 사용자 발화를 처리하여 지식 그래프에 있는 용어(노드)를 추출합니다. 또한, 용어와 관련된 동의어, 특성 및 태그를 고려합니다.
2. 그래프 질의: KG 엔진은 추출 노드로 구성된 모든 경로를 가져옵니다.
3. 경로 후보 선정: 사용자 발화와 50% 이상 일치하는 용어로 구성된 모든 경로는 추가 처리를 위해 선정됩니다. 예를 들어, 엔진은 이와 같은 용어 중 사용자 발화에서 2개 이상이 발생하는 경우 개인 은행 업무 > 공동 계좌 > 추가 > 계좌 소유주와 같은 4개의 노드가 있는 경로를 선정합니다. 참고: 경로 범위 계산은 루트 노드를 고려하지 않습니다.
4. 특성으로 필터링: 지식 그래프에서 특성을 정의하면, 위 단계에서 선정된 경로가 사용자 발화에서 분류 알고리즘의 신뢰도 점수를 기반으로 추가로 필터링됩니다.
5. 랭커로 보내기: 그런 다음 KG 엔진은 선정된 경로를 랭커 프로그램으로 보냅니다.
6. 코사인 유사도 기반 점수 계산: 랭커는 사용자 정의 동의어, 기본형 단어, n-그램, 불용어를 통해 사용자 발화와 선정된 질문 간의 코사인 유사성을 계산합니다. 코사인 유사성 점수가 증가하지 않는 순서대로 경로의 순위를 매깁니다.
7. 일치 규정: 그런 다음 랭커는 다음과 같이 경로를 규정합니다.
   • 점수를 가진 경로(paths with score) >= 임곗값 상한(upper_threshold)인 경로를 답변으로 규정합니다(확실한 일치).
   • 임곗값 하한(lower_threshold) < 점수(score) < 임곗값 상한(upper_threshold)인 경로는 제안으로 표시됩니다(가능한 일치).
   • 점수를 가진 경로(paths with score) < 임곗값 하한(lower_threshold)인 경로는 무시합니다.

임곗값 & 설정

학습 및 성능 향상을 위해 세 가지 NLP 엔진(FM, KG, ML)의 임곗값 및 설정을 지정할 수 있습니다. 자연어 > 학습 > 임곗값 및 설정에서 이 같은 설정 사항에 액세스할 수 있습니다. 참고: 봇이 다국어인 경우 다른 언어에 다른 임곗값을 설정할 수 있습니다. 설정하지 않으면, 모든 언어에 기본 설정이 적용됩니다. 이 기능은 v7.0부터 사용할 수 있습니다. 지식 그래프 엔진 설정에 대해서는 다음 섹션에 자세하게 설명되어 있습니다.

임곗값 및 설정으로 이동합니다.

1. 지식 그래프 설정을 위해 봇을 엽니다.
2. 왼쪽 창 위로 마우스를 가져간 다음 자연어 > 학습을 클릭합니다.
3. 임곗값 및 설정 탭을 클릭합니다.
4. 다음은 이 페이지의 지식 그래프 섹션에 대한 자세한 설명입니다.

자동 교정은 사용자 입력에 있는 단어들을 봇의 지식 그래프 도메인 사전에서 가장 근접하게 일치하는 단어로 교정합니다. 지식 그래프 도메인 사전은 지식 그래프의 질문, 대체 질문, 노드 및 동의어에서 추출한 단어로 구성됩니다. 봇 동의어를 통해 봇 플랫폼은 지식 그래프에서도 봇 동의어를 사용할 수 있습니다. KG 엔진의 의도 탐지로 봇 동의어를 포함시키려면 학습이 필요합니다. 이 설정을 활성화하고 학습을 시작하려면 계속을 클릭하세요. 품사를 사용하여 표제어 추출을 하면 발화에 있는 단어와 관련된 품사를 통해 표제어 추출을 할 수 있습니다. (자세한 내용은 아래 참조) 추가 스코어링을 위해 경로에 존재하는 사용자 발화 용어의 최소 백분율을 정의하는 데 경로 범위를 사용할 수 있습니다. 기본 설정은 50%입니다. 즉, 사용자 발화에 있는 용어의 절반 이상이 노드 이름 및 용어와 일치해야 합니다. 지식 그래프 의도의 최소 수준 및 확실한 수준을 통해 지식 그래프 의도의 신뢰 수준을 설정할 수 있습니다. 다음 세 가지 범위 중 하나에서 그래프의 신뢰 수준 백분율을 보고 조정할 수 있습니다.

• 확실한 범위 – 이 범위(녹색 영역)의 일치 항목이 선택되고 기타 가능한 일치 항목은 삭제되며 기본값은 93-100%로 설정됩니다.
• 가능한 범위 – 이 범위(회색 영역)의 일치 항목은 기본값으로 80-93%로 설정되어 재채점 및 순위를 매길 때 고려됩니다.
• 낮은 신뢰 범위 – 일치하는 다른 의도가 없으면, 최종 사용자의 의도 확인을 위해 낮은 신뢰도 일치(주황색 영역)로 표시되며 기본값은 60-80%로 설정됩니다.
• 의도와 일치하지 않음 – 밝은 회색 영역 지식 그래프 의도와 일치하기에는 너무 낮은 지식 그래프 의도 NLP 인터프리터 신뢰 수준을 나타내며 기본값은 60%로 설정됩니다.

KG 제안 수: 명확한 KG 의도 일치가 없을 때 나타날 최대 KG/FAQ 제안 수(최대 5개)를 정의하세요. 기본값은 3으로 설정됩니다. 제안된 일치에 근접함: 똑같이 중요한 것으로 취급하기 위해 최고-스코어링과 바로 다음에 제안된 질문 사이에 허용되는 최대 차이(최대 50%까지)를 정의하세요. 기본값은 5%로 설정됩니다. 가능한 범위에 있는 일치에 이를 적용합니다. 응답 크기가 채널별 제한을 초과한 경우 긴 응답 관리. 응답을 자르거나 더 읽어보기 링크와 함께 전체 응답을 표시하도록 선택할 수 있습니다. 더 읽어보기 링크는 메시지 끝에 포함되어 있습니다. 이 링크를 선택하면, 전체 응답이 브라우저에서 답변으로 열립니다. 웹 브라우저에서 긴 응답을 여는 URL은 기본적으로 플랫폼에 의해 설정됩니다. 그러나 맞춤형 URL을 제공할 수도 있습니다. 주어진 FAQ의 답변에서 검색(자세한 내용은 아래 참조) 컨텍스트에서 사용할 수 있는 컨텍스트 태그로 지식 그래프에서 컨텍스트 경로를 선정하세요. 이 옵션을 활성화하면 컨텍스트의 용어나 태그를 통해 경로를 선정합니다. 이러한 태그는 이전에 일치된 경로 또는 의도 또는 맞춤형 태그에서 가져올 수 있습니다. 또한 플랫폼은 일부 고급 설정을 제공합니다. 자세한 내용은 여기를 참조하세요.

답변에서 검색

이 기능을 사용하면 질문하고 만 일치시키는 대신 답변 섹션에 사용자 입력을 검색하여 FAQ를 식별할 수 있습니다. 폴백 메커니즘에서만 그렇습니다. 즉, 질문에서 FAQ가 식별되지 않은 경우에만 답변 섹션의 검색을 수행합니다. 참고: 이 기능은 일부 언어에서는 지원되지 않습니다. 자세한 내용은 여기를 참조하세요. 답변에서 검색 플래그가 활성화되면, 지식 그래프 엔진은 의도를 식별하기 위해 답변의 텍스트도 고려합니다. 이 옵션이 활성화되면 최종 사용자에게 그 답변이 가능한 답변임을 알릴지 여부를 결정할 수 있습니다. 선택하면 효과에 대한 표준 메시지가 표시되며, 이는 응답 관리 링크를 통해 사용자 정의할 수 있습니다. 더 알아보기. 응답을 표현할 수 있는 세 가지 방법이 있습니다.

1. 완전한 응답 표시: 전체 응답을 사용자에게 응답으로 전송합니다.
2. 관련 단락만 표시합니다: 질문이 식별된 관련 단락만 응답으로 전송합니다.
3. 더 읽어보기 링크가 있는 관련 단락만 표시합니다. 질문이 식별된 관련 단락만 응답으로 전송합니다. 추가적인 더 읽어보기 링크는 메시지 끝에 포함되어 있습니다. 이 링크를 선택하면 전체 응답이 브라우저에서 답변으로 열립니다. 웹 브라우저에서 긴 응답을 여는 URL은 기본적으로 플랫폼에 의해 설정됩니다. 그러나 맞춤형 URL을 제공할 수도 있습니다(자세한 내용은 아래 참조).

맞춤형 URL 설정 웹 브라우저에서 긴 응답을 여는 URL은 기본적으로 플랫폼에 의해 설정됩니다. FAQ 답변을 표현하는 맞춤형 URL을 제공할 수 있는 옵션이 있습니다. 플랫폼은 관련 메시지 템플릿(템플릿 ID) 및 기타 필요한 정보의 세부 사항과 함께 제공된 URL을 호출합니다. 다음 API는 FAQ의 전체 정보를 제공합니다.

URL:
https://{{host-name}}/api/1.1/public/users/{{userId}}/faqs/resolvedResponse/{{respId}}

메소드: get

헤더: {auth : JWT}

샘플 응답:
{
"response": "You can contact our Branch officials wherein you have submitted your documents.If the documents are in order, the account will be opened within 2 working days.",
"primaryQuestion": "How to check the status of my account opening?"
}

표제어 추출

언어학의 표제어 추출은 단어의 기본형 또는 사전 형식으로 식별된 단일 항목으로 분석할 수 있도록 단어의 변형을 함께 그룹화하는 과정입니다. 표제어 추출 과정에서 사용자 발화의 품사 정보를 통해 보다 정확한 FAQ 식별이 되도록 향상시킬 수 있습니다. 다음은 품사를 사용하거나 사용하지 않고 KG 엔진으로 인식하는 문구의 몇 가지 예입니다.