Post by Woo Kyung Chang

넥스트 트랜스포메이션 #48 — 700명을 대체한 AI는 왜 1년만에 실패를 선언했을까? (Klarna- 1편) 2024년 2월, Klarna가 발표를 했습니다. "AI 어시스턴트 하나가 직원 700명 몫을 해낸다." 응답 시간은 11분에서 2분으로 줄었고, 첫 달에만 230만 건을 자동 처리했습니다. 연간 절감액 $6,000만. OpenAI는 이걸 공식 성공 사례로 발표를 하기도 했습니다. 그런데 1년 뒤, CEO가 직접 고백했습니다. "비용만 보고 달렸더니 품질이 무너졌습니다." Klarna의 자동화는 사실 정교했습니다. 흔한 챗봇이 아니었죠. 고객이 로그인하는 순간 AI가 이미 압니다. 지난달 구매한 제품이 환불 중이고, 오늘이 결제 마감일이라는 것도요. 고객 데이터가 막힘없이 AI로 흘러든 결과입니다. 안에서도 직원용 AI 'Kiki'가 하루 2,000건의 질문을 처리했고, Salesforce를 포함한 1,200개 소프트웨어를 과감히 버렸습니다. 데이터를 흐르게 하려고 오히려 도구를 줄인 겁니다. 겉으로 보면 완벽한 AX 전환이었습니다. 그런데 어디서 무너졌을까요. 판단의 영역이었습니다. Klarna는 "어디까지 AI에게 맡길지"를 정하지 않았습니다. 단순 환불 조회든, 판매자 분쟁이든, 사기 의심 거래든, 화가 난 고객이든 전부 AI에게 맡겼습니다. 그 결과 약 5%의 상담에서 AI가 틀린 답을 내놨습니다. 5%, 230만 건이면 11만 5천 건입니다. 복잡한 분쟁에서 AI가 엉뚱한 답을 자신 있게 내놓고, 불안에 떠는 고객에게 기계적인 답변만 반복했습니다. 더 무서운 건 아무도 몰랐다는 겁니다. 회사가 본 숫자는 응답 시간과 절감액뿐이었고, 둘 다 좋았으니까요. 정작 중요한 "같은 문제로 다시 연락하는 고객 비율"은 보지 않았습니다. CEO가 문제를 안 건 내부 보고가 아니라 고객들의 SNS 불만 글이었습니다. 게다가 사람이 AI의 실수를 바로잡아도 그 수정이 AI에게 되먹여지지 않아, 같은 실수가 계속 반복됐습니다. 있어야 할 건 다 있었는데 핵심이 빠진 겁니다. AI라는 펌프, OpenAI라는 좋은 물, 데이터 배관까지 완벽했습니다. 그런데 밸브가 없었습니다. 어떤 물을 흘려보내고 어떤 물을 막을지, 그 장치가 없었던 거죠. Klarna가 실수한 건 기술이 부족해서가 아닙니다. 사람이 개입할 지점을 미리 설계하지 않고, 문제가 터진 뒤 땜질하려 했기 때문입니다. AI 도입이 실패하는 이유가 여기 있습니다. 기술이 모자라서가 아니라, 판단을 설계하지 않아서입니다. 자동화 자체 보다는 무엇을 맡기고 무엇을 사람이 쥘지, 그 선을 긋는 일이 더 어렵습니다. 다음 편에서는 Klarna가 이 위기를 어떻게 극복했는지, 리더가 꼭 알아야 할 HITL 4원칙을 풀어보겠습니다. #NextTransformation #Klarna #AX #HITL #데이터플로우 #의사결정환경 #AI에이전트 #AXClinic