탐색적(exploratory) 관찰 기록이다. DB 전수 판별로 확정·유력 사람 세션 6판을 분리했다 (문서 대조 5판 + 정황 유력 1판, 신원 미상 사람 시그니처 5판은 별도 보류). 통계적 유의성을 주장하지 않는다. AI 선택과 직접 작성은 참가자의 자발적 선택이므로 selection bias가 존재한다. 인과가 아니라 연관성만 서술한다. 현재 세션 데이터 이관·정리 작업이 진행 중이며 집계 수치는 정리가 끝난 항목부터 채운다.
연구 질문 (관찰 대상)
반복적인 실패–수정 과정에서 인간은 AI가 제안한 개입을 언제 수용하고 언제 직접 수정하며, 그 선택은 이후 문제 이해와 어떤 관계인가?
측정값:
- AI 제안 선택 비율 vs 직접 작성 비율
- 회차별(초반/후반) 선택 변화
- 다음 회차 이해도 변화 (Δ Understanding)
- 부작용 인지율 · 질문의 질 · 최종 이해도
세션 분리 — DB 전수 판별 (2026-09-15)
pigfarm DB를 읽기 전용으로 전수 조회했다 (attempt 248판). 판별 축은 세 가지다.
① 문서 대조(테스터 기록·핸드오프의 판 ID), ② 셀프플레이 로그(.selfplay_attempts.log)
제외, ③ 행동 시그니처다. 행동 시그니처는 이벤트 간격 변동계수(CV)로 보는데,
사람은 생각하는 동안 간격이 불규칙하고(CV ≥ 1.5) 자동 실행은 균일하다(CV ≈ 1.0).
| 분류 | 판수 | 근거 |
|---|---|---|
| 사람 · 문서 대조 확정 | 5 | 테스터1 b56dca9d(9/09) · 테스터3 f7f2e402(9/10) · 9/14 실플레이 da38de28(피드백 6건 접수) · 9/15 0468b70c·806122f3 |
| 사람 · 정황 유력 | 1 | 테스터2 e84af6ab: 준비 문서의 식별 규칙(“9/09 17:17 이후 새 attempt”)에 부합, 접속 확인 2분 뒤(17:30) 생성. 3루프 · 자유서술 677자 |
| 사람 시그니처 · 신원 미상 | 5 | bdf80b97·7718dbd0·c36e842b(9/09 밤~10 새벽) · bba17899(9/10) · 80ff8d0d(9/14), CV 1.6~3.9 |
| 자동 추정 | 9 | 셀프플레이 로그 2판 + 9/06 균일 페이싱 클러스터 7판 (CV 0.9~1.1, 동일 프로파일 5루프 일괄 실행) |
| 초기 개발기 · 미분류 | 나머지 활동 판 | 9/05~07 개발 중 플레이, 사람/자동 판별 보류 |
| 빈 판 | 178 | /play 로드 즉시 세션 생성 구조가 적립. 루프 0 · 이벤트 ≤ 1 |
테스터2 준비 문서는 “표본 미수집”으로 끝나 있었지만, 문서에 적힌 식별 규칙을 DB에 적용하자 해당 판이 나왔다. 사전에 고정해 둔 식별 규칙이 사후 판별을 가능하게 만든 사례다.
집계 결과 (확정 + 유력 6판, exploratory)
규칙 적용 20건의 출처 분해 (rules.source 기준):
| 측정값 | 값 |
|---|---|
| AI 계열 규칙 선택 | 14/20 (70%): 원숭이손 수락 6 + AI 추천 옵션 선택 8 |
| 직접 작성 규칙 | 6/20 (30%) |
| 원숭이손 제안 수락률 | 6/9 (67%): 9/15 개선 배치 이후 2판은 모두 거절 |
| 신의 질문 사용 | 9/09~14 완주 판은 12회 소진, 9/15 판은 0회 |
| 회차별 점수 궤적 | 5루프 완주 3판 모두 중반 상승 후 5회차 하락 (아래 주의) |
| 부작용 인지율 | NOT RUN (이벤트 정의 확정 후 집계) |
5회차 하락은 행동으로 단정할 수 없다. 테스터3의 4→5회차는 자유서술 md5가 동일한 제출이 67.9 → 53.3으로 채점된 판정 요동 사례로 문서화되어 있다 (temperature 0에서도 provider 비결정성이 남는다). 이 구간은 행동 신호와 기구 노이즈가 섞여 있다.
기구 버전 혼재 주의. 9/15 두 판은 개선 배치 3/3 이후, 나머지는 이전 판이다. 위 집계는 전 기간 합산이므로 경향 주장에 쓰지 않고, 버전별 분리 집계를 후속으로 남긴다.
케이스 기록 (정성 관찰)
N이 작을 때 가장 정직한 형식은 통계가 아니라 케이스 기록이다. 각 세션은 “무엇을 했고 → 무엇이 관찰됐고 → 무엇이 어긋났나”로 남긴다.
Case — Tester 1 (2026-09-09) 발췌
판 b56dca9d 완주, 최종 47.9점. 실험기구 자체의 결함이 행동 관찰에서 드러난 사례:
- 직접 작성 규칙 3건에서 의미 변형이 발생했다. “답한다”를 요청했는데 “질문한다”로 바뀌면서 기존 원숭이손의 질문 금지와 충돌했다.
- 3회차 원숭이손의 설명과 저장된 규칙이 달랐다. 설명은 검진을 통한 건강 확인을 말하지만 저장된 규칙은 검진 금지였다.
이 발견들은 행동 결과이기 전에 instrument validation 이슈로 분류되며 수정 후 세션과 수정 전 세션을 합산하지 않는다.
Case — 실플레이 판 0468b70c (2026-09-15, 개선 배치 3/3 이후)
RQ1 관련 이벤트가 실제로 관찰된 첫 정리 사례. pigfarm DB 읽기 전용 조회 근거.
- 1회차 완주 (09:30~09:37). 낮 발화 26건.
- 원숭이손(AI 개입) 1회 제안 → 거절. 신의 질문 3회는 전부 미사용.
- 밤 제출은 “채연이 아픈거 같아,” 11자 단문 → cause-1만 confirmed(25.0), 나머지 셀 0으로 총점 8.8 · fail. 단서를 탭하지 않고 한 문장만 쓴 최소 제출의 하한 실측이다.
같은 날 판 806122f3은 낮 3비트·발화 26건까지 진행 후 밤 제출 없이 이탈했다. 완주율·이탈 지점도 관찰 대상이다.
N=1 이벤트에서 어떤 경향도 주장하지 않는다. 다만 이 판은 AI 제안 거절과 직접 작성(초단문)이 event-level로 구분 기록됨을 실플레이로 확인한 사례다. C2 기여 주장의 실증이기도 하다.
(Tester 2–4 및 후속 세션 케이스는 데이터 정리 후 추가)
읽는 법
- 이 실험의 결과는 사전등록된 Rationale A/B와 다르다. 여기는 통제 없는 자연 관찰(naturalistic observation)이다.
- “직접 작성이 더 효과적이었다” 같은 인과 표현은 쓰지 않는다. “직접 작성 선택과 이후 이해도 상승 사이에 더 큰 연관성이 관찰되었다”처럼 쓴다.