Post by Michael Eco

SaaS 환경에서의 AI: 모든 LLM은 한 번에 처리할 수 있는 컨텍스트 창(context window)에 한계가 있습니다. SaaS 플랫폼이 초장문 이메일 스레드, 기업용 데이터베이스, 수천 페이지에 달하는 계약서 같은 방대한 데이터를 무턱대고 AI에 밀어 넣으면, 결국 토큰 한계치에 부딪히게 됩니다. 잘 모르시는 분들을 위해 설명하자면, 여기서 토큰(token)은 컴퓨팅 연산 능력의 단위를 뜻합니다. 백엔드 계약 조건이나 플랫폼 아키텍처가 엄격한 토큰 상한선에 도달하면, 플랫폼은 대개 두 가지 방식으로 이를 처리합니다. 데이터의 뒷부분을 조용히 잘라내거나(사용자는 AI가 1,000페이지짜리 계약서를 다 읽었다고 생각하겠지만, 실제로는 앞의 120페이지 유형만 읽은 상태일 수 있죠), 세션이 길어지면서 토큰이 계속 소모될 때 상한선을 넘지 않으려고 플랫폼의 엔지니어링 파이프라인이 초기에 입력된 지침들을 임의로 삭제하기 시작합니다. 그렇게 되면 AI는 핵심 시스템 프롬프트를 잊어버리고, 문맥(context)을 잃거나, 심지어 10분 전에 이미 물어봤던 질문을 다시 던지게 됩니다. 말 그대로 AI가 ‘치매’ 상태에 빠지는 것입니다. 하지만 우리가 미워하려야 미워할 수 없는 일부 직장 동료들처럼(*찡긋 *찡긋), AI는 여전히 엄청나게 유창하고 당당하게 답변을 내놓습니다. 그리고 우리는 결국 그 결함 있는 정보를 들고 이사회(boardroom)라는 전쟁터로 향하게 되죠. 저는 제가 만드는 SaaS 플랫폼을 잘 알고 있습니다. 여러분이 만들고 있거나 현재 사용 중인 플랫폼은 과연 AI를 위해 어떻게 아키텍처가 설계(architected for AI)되었는지 제대로 알고 계시나요?