Skip to content
Issues
- 사내 업무에 LLM을 도입하는 사례가 증가하면서 내부 문서 내용에 대한 단순/반복 Q&A 자동화 구축이 주를 이루고 있음
- 한편 보험 보상, 노무, 회계, 법률 등 전문지식이 필요한 영역의 경우, 내용의 정확성과 전문성이 중요하므로 LLM이 생성한 답변을 그대로 활용할 수 없으며, 생성 답변 초안에 대해 전문가의 확인과 판단이 필요함
- 사내 전문가 인력 유지에 많은 비용이 요구되므로, 고객사에서는 LLM(Large Language Model)을 활용해 소수의 전문가 인력으로도 짧은 시간 내 대규모 문의에 대응할 수 있는 전문가용 Q&A 업무 지원 시스템을 구축하고자 함
Approach
- 기존에 축적된 Q&A 기록 및 사례집 등을 기초로 데이터 정제 및 인덱싱, 프롬프트 고도화 등 LLM 모델링 수행함
- 사용 시나리오 및 데이터 파이프라인 설계 수행함
- 향후 서비스 확장 등 고려해 OpenAI(GPT) 연동이 용이한 MS Azure Cloud 기반으로 구현함
Results
- 내부 전문가와 Sales/CS부서 등 고객 응대 담당자 간의 Q&A 사례를 기반으로, LLM이 생성한 답변 초안을 전문가가 검토 후 신속하게 답변 제공이 가능한 업무 지원 시스템 구축함
- 전문가의 검토를 마친 생성 답변과 질문 Set를 Q&A DB에 추가할 수 있도록 구성하여, 시간이 지남에 따라 답변 생성 성공률과 정확도가 지속적으로 증가함
- 질의에 따른 답변 정확도 향상 및 시간 단축, 내부 전문가 업무 피로도 감소 등의 효과가 나타남
Demo Examples
