AI가 사내 규정 대신 일반적인 설명만 하거나 이전 정책으로 답한다면, 모델과 함께 참고 자료가 전달되는 과정도 점검해야 합니다. 답변 품질에는 모델의 능력, 검색 결과, 자료의 최신성, 질문의 범위와 평가 방법이 함께 영향을 줍니다. 어디서 어긋났는지 나누면 무작정 도구를 바꾸는 것보다 보완할 지점을 찾기 쉽습니다.

AI가 무엇을 참고했는지 확인하세요

‘출장비를 어떻게 처리하나요?’라는 질문에 답하려면 회사 규정과 적용 대상, 시행일이 필요합니다. 모델이 일반 지식을 알고 있어도 우리 회사의 최신 정책을 자동으로 아는 것은 아닙니다. 원문이 연결돼 있는지, 사용자가 읽을 수 있는 자료인지, 질문에 맞는 문서를 찾았는지부터 확인하세요.

자료가 정확히 전달됐는데도 예외 조건을 빠뜨리면 모델의 해석이나 지침을 점검할 차례입니다. 자료 연결만 고치면 모든 오류가 해결된다거나 모델 성능은 중요하지 않다고 단정할 수는 없습니다.

RAG는 검색한 자료를 생성 과정에서 참고하는 방식입니다

RAG는 Retrieval-Augmented Generation, 검색 증강 생성을 뜻합니다. Lewis 등의 원논문은 학습된 모델과 외부에서 검색하는 지식을 결합해 답변을 생성하는 방법을 다룹니다. 원논문의 예시는 위키피디아를 사용하므로 RAG가 항상 사내 자료만을 뜻하는 것은 아닙니다.

업무에서는 관련 규정 문서를 검색해 답변에 참고하도록 구성할 수 있습니다. 질문할 때 자료를 찾아 문맥으로 전달하는 것과 모델의 가중치를 추가 학습하는 것은 다른 과정입니다. 검색 자료가 낡거나 질문과 다르면 RAG를 써도 틀린 답이 나올 수 있고, 출처가 표시돼도 실제로 주장을 뒷받침하는지 읽어봐야 합니다.

증상별로 모델·검색·원문을 나눠 점검하세요

한 번에 여러 조건을 바꾸면 무엇이 좋아졌는지 알기 어렵습니다. 같은 질문과 자료를 두고 한 조건씩 바꾼 결과를 비교해보세요. ‘맞는 출처 / 적용 범위 / 사실 오류 / 추가 확인’을 기록하면 문서 수정과 모델 변경 중 무엇이 필요한지 판단할 수 있습니다.

지식 문서는 적용 범위와 관리 책임을 남겨야 합니다

문서에는 제목, 적용 대상, 시행일, 승인된 원문, 담당자와 예외 처리 경로를 남깁니다. 같은 내용을 여러 곳에 복사하기보다 기준 문서를 정하고 관련 자료에서 링크로 안내하세요. 대외비나 인사 자료는 편리한 검색을 위해 무조건 한곳에 모으지 않고 열람 대상에 맞춰 구분합니다.

가상의 점검 예를 보겠습니다. 직원이 ‘영수증을 잃어버렸는데 정산할 수 있나요?’라고 물었다면, 답변이 문서에 없는 예외를 만들지 않는지 확인합니다. 원문에 담당 부서 확인만 명시돼 있다면 그 경로를 안내하는 것이 적절합니다. 이 예는 실제 제품 검색 결과나 회사 규정이 아닙니다.

써팀 위키와 InSSa AI에서 자료 탐색을 시작할 수 있습니다

AI Work OS 써팀(SirTEAM) 공식 가이드는 위키의 InSSa AI로 관련 문서를 찾고 핵심을 정리하는 방법을 소개합니다. 참고 문서를 연결하는 AI 에이전트 설정도 별도 가이드에서 확인할 수 있습니다. 문서 관리와 검색을 함께 설계할 때 참고할 수 있는 기능입니다.

위키에서 찾은 내용을 고객 회신에 쓴다면, 담당자가 최신 정책과 공개 가능한 범위를 확인한 뒤 메일 초안에 반영합니다. 앱별 기능과 이동·검토 단계를 확인해야 하며, 모든 앱의 자료가 자동 연결되거나 검색부터 발송까지 한 번에 실행된다는 뜻은 아닙니다.