Post by SANHA LEE

JARFIS를 만들며 AI에게 속은 다섯 번 지난 글 끝에 "다음엔 JARFIS를 실제로 어떻게 쓰고 있는지 공유하겠다"고 적었습니다. 그 전에 먼저 남기고 싶은 이야기가 있어서 Article로 정리했어요. JARFIS의 기능들은 대부분 "이런 게 있으면 좋겠다"에서 시작되지 않았습니다. "AI에게 한 번 속은 순간"에서 방어하기 위해 도입된 게 많았거든요. 오늘 공유하는 다섯 가지는 다음과 같습니다. 1. "하겠다", "완료했다"고 해놓고, 나몰라라한다. Phase 2가 state에 "UX 디자이너 필요"라고 선언했는데, Phase 3이 통째로 스킵됐고 Gate는 "폴더에 파일 있나?"만 확인하고 통과시켜버렸습니다. 2. 넌 ㅇㅇ을 잘하는 전문가야 - "시니어" 페르소나를 붙였더니, 오히려 리팩토링을 못 한다. Senior persona를 붙이자 단일 프롬프트 대비 20점 → 16점. 요구하지도 않은 범용 설계에 투자하는, 면접 문제 풀듯 접근이었어요. 3. 더 많은 컨텍스트를 주면 더 똑똑해지겠지? React+Vite만 준 Focused가 Vite 설정을 더 깊게 다뤘습니다. 대규모 스킬 로드는 42% 느리고 optimizeDeps를 완전히 놓쳤어요. 4. 내가 쓴 답안을, 내가 채점했다 - 자기편애 LLM이 PRD 쓰고 LLM이 채점하니까 점수만 올라가고 내용은 제자리. 반면 TDD ratchet(pytest가 외부에서 채점)은 잘 작동했어요. 5. 추가하려니, 전부를 건드려야 했다 게임 개발을 넣으려는데 웹 워크플로우를 계속 건드려야 하는 상황. 기능이 부족한 게 아니라 구조가 틀려서 생긴 문제였습니다. 다섯 가지를 써 뒀지만 실제로는 더 많은 상황을 겪었고, 앞으로도 더 많이 겪게 될 것 같아요. 제가 겪은게 어떤 것들인지 리서치 해본 내용(Cemri, Kim, Liu & Shi, Huang, Panickssery 등)과 그래서 JARFIS에 어떻게 녹여냈는지는 Article에 담았습니다. 그리고 이 방어 장치들을 쌓다가 결국 JARFIS가 눈에 띄게 멍청해져서, 지금 다시 뒤엎고 있는 이야기도 추가로 작성할 예정입니다. #HarnessEngineering #AIOrchestration #OpenSource