저희는 AI로 게임을 만든 것이 아니라, AI 제안에 대한 사람의 수용을 측정하는 실험환경을 게임의 형태로 설계하고 검증했습니다.
실제 문제
AI 에이전트가 제안하고 사람이 승인하는 루프는 이제 코드 리뷰, 업무 자동화, 에이전트 운영 등 어디에나 생기고 있습니다. 그런데 정작 사람이 언제 AI의 제안을 믿고 언제 거부하는지를 반복 가능한 조건에서 측정할 방법이 없습니다. 이것이 저희가 정의한 실제 문제입니다.
만든 것
REMAKE DAY는 실패→설명→AI 제안→사람의 승인→규칙 수정→재실행 루프를 가진 추리 게임이며, 동시에 이 루프 안의 모든 판단을 이벤트 단위로 기록하는 재현 가능한 Human–AI Interaction 실험환경입니다.
게임은 포장이 아니라 실험기구 자체입니다. 사람들이 자발적으로, 반복해서, 몰입한 상태로 AI와의 판단 루프에 들어오게 하는 가장 빠른 방법이 게임이었습니다.
실제로 수행한 검증
이 환경으로 두 층의 검증을 실측으로 수행했습니다.
① 시스템 검증: 16GB GPU 예산 안에서 로컬 모델 후보를 5단계 게이트(스키마 통과율·폴백률·지연 p95·동시 상주·루프 완주)로 실측해 Core/NPC 모델 채택을 결정했습니다. → Exp 1
② 행동 관찰: 실제 테스터들의 플레이 세션 6판을 이벤트 단위 로그로 보존·분리해 AI 제안 수용 vs 직접 작성 선택을 관찰하고 있습니다 (예비 집계: AI 계열 70% · 직접 작성 30%, N이 작은 탐색적 수치). → Exp 2
원칙은 하나입니다: 측정하지 않은 것은 주장하지 않는다.
게임은 AI를 가장 빠르게 검증하는 환경이다
새 모델이 나올 때마다 “우리 서비스에 충분한가?”를 판단하는 비용은 계속 커집니다.
저희는 게임이라는 반복 루프를 검증 벤치로 사용해 모델 교체 결정(Core gemma4:12b
채택, NPC kanana → gemma4:12b 교체)을 하루 단위 실측으로 내렸습니다.
게임은 AI를 가장 빠르게, 그리고 사람을 포함해서 검증하는 환경입니다.