AI가 내린 심사 결과, 어떻게 신뢰할 수 있을까? ARGOS Omni 6개월의 변화 ①
앞서 ARGOS의 eKYC 솔루션 ID check가 그동안 어떻게 변화해왔는지 주요 서비스 업데이트 소식을 전해드렸는데요.
이번에는 ARGOS의 AI Agent Omni 이야기입니다.
지난 4월 알파 버전을 선보인 이후 Omni 역시 실제 업무 환경에서 활용되며 꾸준히 기능을 고도화해왔습니다. 서류를 분석하고 심사 결과를 제시하는 것에서 나아가, 그 결과가 왜 나왔는지 확인하고 필요한 부분을 직접 조정하며 실제 운영에 활용할 수 있도록 다양한 기능이 추가되었습니다.
그렇다면 지난 6개월 동안 Omni에는 어떤 변화가 있었을까요?
이번 글에서는 Omni가 실제 KYB 업무에서 더 신뢰할 수 있는 AI Agent로 발전하기까지, 그동안 달라진 주요 기능과 업데이트를 하나씩 소개해드리겠습니다.
AI가 서류를 읽고 심사 결과까지 제시한다면, 기업의 KYB 업무는 얼마나 달라질 수 있을까요?
ARGOS Omni는 기업이 제출한 서류와 정보를 바탕으로 사람이 수행하던 반복적인 심사 업무를 자동화하는 AI Agent입니다.
지난 4월 알파 버전을 선보인 이후 약 6개월 동안 실제 고객 환경에서 Omni를 운영하며 중요하게 확인한 것은 단순히 “AI가 심사를 수행할 수 있는가”가 아니었습니다.
그 다음 질문이 더 중요했습니다.
“이 결과를 실무자가 신뢰하고 실제 업무에 활용할 수 있는가?”
KYB와 같이 중요한 판단이 필요한 업무에서는 결과만 제시하는 것으로 충분하지 않습니다. 어떤 정보를 바탕으로 판단했는지 확인할 수 있어야 하고, 예상과 다른 결과가 나왔다면 어디에서 문제가 발생했는지도 추적할 수 있어야 합니다.
그렇지 않으면 AI가 심사를 수행하더라도 담당자가 처음부터 모든 내용을 다시 확인해야 합니다. 결국 자동화를 도입하고도 기존의 수작업이 그대로 남게 됩니다.
그래서 지난 6개월간 ARGOS Omni는 단순히 더 많은 업무를 자동화하는 것뿐만 아니라, 에이전트가 수행한 판단을 사람이 확인하고 검증할 수 있는 환경을 만드는 데 집중했습니다.
이번 글에서는 그중에서도 분석 결과를 기록하고, 판단의 이유를 확인하고, 검토가 필요한 분석을 구분할 수 있도록 달라진 기능을 살펴보겠습니다.
심사 결과를 하나의 PDF 리포트로 관리할 수 있습니다
Omni에서 분석이 완료되면 결과 화면의 Download PDF 버튼을 통해 분석 결과를 리포트 형태로 내려받을 수 있습니다.
리포트에는 분석 ID와 완료 일시, 프로파일 ID를 비롯해 분석 점수, 결과 요약, 주요 결정 변수 등이 함께 정리됩니다. 한국어와 영어를 모두 지원합니다.
화면에서 확인하는 것을 넘어, 기록으로 남길 수 있도록
심사 결과를 화면에서만 확인할 수 있다면 일상적인 업무에서는 큰 문제가 없어 보일 수 있습니다.
하지만 내부 감사나 규제기관 대응처럼 과거의 판단 근거를 다시 제출해야 하는 순간에는 이야기가 달라집니다.
예를 들어 내부 감사팀에서 지난 분기 거절 건 중 일부의 판단 근거를 요청하거나, 특정 법인의 심사 기록을 다시 확인해야 할 수 있습니다.
이때 담당자가 화면을 하나씩 캡처하고 별도의 문서를 만들어야 한다면 심사 자동화와 별개로 또 다른 수작업이 발생합니다.
Omni의 PDF 리포트는 심사 당시 어떤 정보를 바탕으로 어떤 결과가 나왔는지를 하나의 기록으로 남길 수 있도록 설계되었습니다.
분석 ID와 완료 일시도 함께 기록되기 때문에 언제 수행된 분석인지 확인할 수 있으며, 이후 화면이나 UI가 변경되더라도 당시 결과를 그대로 보관할 수 있습니다.
API를 이용해 심사 완료 시점에 리포트를 자동으로 내려받아 사내 시스템이나 아카이브에 저장하는 구성도 가능합니다.
필요할 때마다 자료를 새롭게 만드는 방식에서 벗어나, 심사 과정에서부터 감사와 기록을 고려한 운영 체계를 만들 수 있습니다.
또한 리포트 생성 과정은 전용 서버로 분리했습니다. 리포트 준비가 완료된 시점을 분석 완료로 처리해, 분석 결과를 확인한 뒤 다시 리포트 생성을 기다려야 하는 과정도 줄였습니다.
결과뿐 아니라 ‘왜 이런 결과가 나왔는지’ 확인할 수 있습니다
심사 자동화에서 결과만큼 중요한 것이 있습니다.
바로 “왜 이런 결과가 나왔는가”입니다.
Omni의 Report 탭에서는 분석 결과와 함께 각 필드의 판정 사유를 확인할 수 있습니다.
특히 하나의 단계에서 여러 정보를 추출하거나 검증했다면 단계 전체에 하나의 이유를 보여주는 것이 아니라 각 필드별로 서로 다른 판정 근거를 확인할 수 있습니다.
값이 정상적으로 추출되지 않은 경우에도 단순히 빈칸으로 표시하지 않습니다.
상위 항목이 존재하지 않았는지, 값 자체가 비어 있었는지, 추출됐지만 최종 결과에 포함되지 않았는지, 외부 엔진 호출 과정에서 문제가 발생했는지 등을 구분해 보여줍니다.
표시되는 사유 | 의미 |
|---|---|
상위 항목 부재 | 상위 객체가 산출되지 않아 하위 항목도 생성되지 않은 경우 |
값이 비어 있음 | 필드는 존재하지만 값이 비어 있는 경우 |
최종 출력에 미포함 | 값은 추출됐지만 최종 결과에 포함되지 않은 경우 |
엔진 호출 실패 | 해당 단계에서 사용된 외부 엔진 호출이 실패한 경우 |
빈 값 하나도 원인에 따라 대응 방법이 달라집니다
예를 들어 분석 결과에서 대표자명이 비어 있다고 가정해 보겠습니다.
기존에는 담당자가 제출된 서류에 문제가 있는지, 추출 과정에서 오류가 발생했는지, 정책 설정에 문제가 있는지 하나씩 확인해야 했습니다.
경우에 따라서는 고객에게 서류를 다시 요청했지만, 실제 원인은 서류가 아니라 시스템이나 출력 설정에 있을 수도 있습니다.
하지만 원인을 바로 확인할 수 있다면 대응 방법도 달라집니다.
엔진 호출 실패라면 고객에게 서류를 다시 요청할 필요가 없습니다. 최종 출력에 미포함이라면 데이터 추출 자체보다 출력 구조를 먼저 살펴보면 됩니다.
즉, “왜 안 됐을까?”를 추측하는 과정에서 “어디를 확인해야 하는가?”를 바로 판단하는 과정으로 바뀝니다.
심사 담당자가 결과를 다시 처음부터 검토하는 시간을 줄이는 것뿐 아니라, 문제가 발생했을 때 고객에게 불필요한 추가 서류를 요청하거나 여러 단계를 반복해서 확인하는 과정도 줄일 수 있습니다.
해당 기능 도입 이전에 완료된 분석에는 판정 사유가 표시되지 않으며, 과거 분석에 대해서는 판정 사유가 소급 생성되지 않습니다.
Analysis Score로 검토가 필요한 분석을 빠르게 구분합니다
모든 분석 결과를 동일한 수준으로 다시 확인해야 한다면 자동화의 효과는 제한적일 수밖에 없습니다.
특히 하루에도 수백 건의 심사가 발생하는 환경에서는 어떤 분석을 사람이 먼저 확인해야 하는지 판단하는 것도 중요합니다.
이를 위해 7월부터 분석 결과 화면 상단에서 Analysis Score를 확인할 수 있습니다.
Analysis Score는 해당 분석이 설정된 워크플로우에 따라 얼마나 완결성 있게 수행됐는지를 0~100점으로 보여주는 지표입니다.
평가는 크게 세 가지 항목으로 구성됩니다.
평가 항목 | 가중치 | 의미 |
|---|---|---|
Step Execution | 40% | 정의된 단계 가운데 실제 실행된 비율 |
Step Quality | 20% | 실행 단계의 통과 상태와 엔진 호출 여부 |
Output Completeness | 40% | 최종 출력 필드 가운데 값이 채워진 비율 |
결과는 HIGH(80~100), MEDIUM(65~79), LOW(0~64) 세 단계로 구분됩니다.
예를 들어 HIGH로 정상적으로 완료된 분석은 빠르게 확인하고, LOW로 분류된 분석은 담당자가 조금 더 자세히 살펴보는 방식으로 운영할 수 있습니다.
모든 건을 같은 밀도로 검토하는 대신 사람의 확인이 필요한 영역을 먼저 찾고, 그곳에 검토 리소스를 집중할 수 있는 기준을 제공하는 것입니다.
다만 Analysis Score 자체가 승인 또는 거절 여부를 판단하는 점수는 아닙니다.
모든 검증 단계를 통과했더라도 최종 출력 스키마에 값이 충분히 채워지지 않았다면 점수가 낮게 나올 수 있습니다. 따라서 실제 승인 판단에서는 Analysis Score만 보는 것이 아니라 각 검증 결과와 함께 확인해야 합니다.
AI가 내린 결과를, 사람이 검증할 수 있도록
지난 6개월 동안 Omni가 집중한 변화 중 하나는 AI의 판단을 블랙박스로 남겨두지 않는 것이었습니다.
분석 결과를 PDF 리포트로 남기고, 각 필드의 결과가 왜 그렇게 나왔는지 확인하고, Analysis Score를 통해 추가 검토가 필요한 분석을 구분할 수 있도록 했습니다.
결국 KYB 자동화에서 중요한 것은 AI가 결과를 얼마나 많이 만들어내는지만은 아닙니다.
그 결과를 실무자가 이해하고, 필요할 때 근거를 확인하고, 신뢰할 수 있어야 실제 업무에 적용할 수 있습니다.
그렇다면 결과를 확인하는 것에서 한 단계 더 나아가, 실무자가 AI Agent의 업무 방식 자체를 직접 조정하고 운영하려면 무엇이 필요할까요?
다음 편에서는 워크플로우를 단계별로 수정하는 기능부터 한국 법인 검증 엔진, 크레딧 사용량과 Audit 기록까지, Omni를 실제 업무 환경에 맞게 운영하고 통제할 수 있도록 달라진 기능을 소개하겠습니다.
