시험기준 v1.0
제정 2026-09-10 · 시행 2026-09-10
이 문서는 의뢰받은 AI 도구를 시험할 때의 조건을 정합니다. 무엇을 받고, 무엇을 받지 않으며, 의뢰자가 무엇을 내고, 결과로 무엇이 나오는지를 적었습니다.
채점하는 방법은 여기 없습니다. 그건 [판정기준 v1.0](/ko/criteria)에 있습니다. 시험기준은 준비와 절차를, 판정기준은 결과의 판단을 정합니다. 둘이 어긋나면 유리한 쪽을 골라 쓰지 않고 시험을 멈춘 뒤 문서를 고칩니다.
먼저 밝힙니다
AI 아버지는 공인 시험기관이 아닙니다. 여기서 발행하는 「실측 기록서」는 공인 시험성적서도 인증서도 아니고, 자체 공개 기준에 따른 민간 평가 기록입니다. 결과는 기록서에 적힌 대상 조합·표본·환경·시점에 한합니다.
1. 지금 접수할 수 있는 것
1.1 접수 상한은 3급입니다. 2급과 1급은 받지 않습니다.
| 급 | 접수 | 이유 |
|---|---|---|
| 5급 구동 | 받습니다 | 판정이 기계적입니다 — 끝까지 돌았는가 |
| 4급 기록 | 받습니다 | 본문·상태값·종료코드를 대조하면 답이 나옵니다 |
| 3급 검출 | 조건부 | §2.3의 결함에 한합니다 |
| 2급 정밀 | 안 받습니다 | 판정기준 §4.4가 독립 검수자 1인 이상을 요구합니다 |
| 1급 실증 | 안 받습니다 | 판정기준 §4.5가 실제 사고 3건 증빙과 최종 책임자 서명을 요구합니다 |
1.2 2급과 1급을 안 받는 이유는 기술이 아니라 사람이 없어서입니다. AI 아버지는 1인이 운영합니다. 혼자 다시 읽는 것은 독립 검수가 아니고, 다른 AI 모델에 검토를 시키는 것도 검수자를 확보한 것이 아닙니다. 문서에만 적어 놓고 실제로는 혼자 하면 그건 거짓말입니다.
1.3 독립 검수자를 실제로 확보하면 2급을 엽니다. 그 전에는 「2급 시험」이라는 말을 쓰지 않습니다.
1.4 상한을 낮게 두는 대신, 상한 아래에서는 빠짐없이 시험합니다. 3급까지 신청하면 5급·4급도 함께 시험합니다. 하위 급을 건너뛸 수 없기 때문입니다(판정기준 §2.2).
2. 표본은 우리가 만듭니다
2.1 의뢰자가 만든 표본은 등급 판정에 쓰지 않습니다. 잘되는 사례만 고를 수 있고, 고의가 없어도 만든 사람의 사각지대가 그대로 시험 범위가 됩니다.
2.2 의뢰자가 준 자료는 도구를 이해하고 실행을 확인하는 데 씁니다. 그 자료로 돌려본 결과를 기록서에 적을 때는 출처를 밝히고, 우리가 만든 표본으로 잰 것처럼 적지 않습니다.
2.3 그 대신 3급으로 시험할 수 있는 결함이 제한됩니다. 우리가 만든 표본을 우리가 채점하므로, 판정기준 §7.5에 따라 정답이 시험자 밖에서 확정되는 결함만 받습니다.
| 받습니다 | 안 받습니다 |
|---|---|
| 존재하지 않는 대상 (없는 영상 ID·삭제된 문서) | 「이 답변이 적절한가」 |
| 응답하지 않는 주소·끊긴 연결 | 「이 요약이 원문을 잘 담았는가」 |
| 형식·스키마를 위반한 입력 | 「이 판단이 업계 관행에 맞는가」 |
| 권한 없는 요청·범위 밖 인자 | 도메인 전문가라야 답이 갈리는 것 |
오른쪽 칸은 정답에 우리 해석이 들어갑니다. 우리가 표본도 만들고 정답도 정하고 채점까지 하면 시험이 아니라 자문자답입니다.
2.4 표본을 어떤 규칙으로 골랐는지 실행 전에 적고 기록서에 공개합니다. §2.3의 예외는 정답의 치우침을 없앨 뿐, 고르는 데서 생기는 치우침은 없애지 못합니다.
2.5 무효로 판명된 표본을 조용히 빼지 않습니다. 무효 사유·발견 시점·결과에 미친 영향을 적습니다. 성적을 올리려고 표본을 갈아 끼울 수 없게 하려는 것입니다.
3. 시험 대상
3.1 평가하는 것은 도구 전체가 아니라 특정 조합입니다 — 코드·모델·프롬프트·설정·의존성·실행환경(판정기준 §1.1·§9.1).
3.2 대상 유형을 접수 때 확정합니다. 검사·수집·생성·실행 중 하나이고, 유형이 바뀌면 재는 항목이 바뀌므로 다른 시험입니다(판정기준 §4.8).
3.3 한 도구가 여러 유형에 걸치면 이번 시험에서 시킬 작업으로 하나를 고릅니다.
3.4 버전을 고정할 수 없는 서비스형 도구도 받습니다. 다만 기록서에 관측 일시와 식별 가능한 정보만 적고, 현재도 같은 결과가 나온다고 보증하지 않습니다(판정기준 §9.3). 관측 날짜를 버전 고정으로 취급하지 않습니다.
4. 의뢰자가 내는 것
빠지면 시험이 성립하지 않습니다.
| 내야 하는 것 | |
|---|---|
| ① | 실행 수단 — 설치 패키지·컨테이너·실행 파일, 또는 서비스 주소와 시험 계정 |
| ② | 대상 조합 명세 — 버전·빌드 식별자, 모델 식별자, 적용 프롬프트·설정, 연결한 도구, 의존성, 실행 환경 |
| ③ | 실행 지침 — 설치·호출 방법, 정상 동작을 확인하는 법, 초기화하는 법, 필요한 자원 |
| ④ | 시험 범위 신청 — 신청 상한 급과, 이 도구가 할 수 있다고 주장하는 것 |
| ⑤ | 입력·출력 명세 — 받는 형식, 내놓는 형식, 지원 범위와 제외 범위 |
| ⑥ | 제약 신고 — 알려진 한계, 하면 안 되는 작업, 외부 전송, 유료 호출, 사용량 한도 |
| ⑦ | 권한 확인 — 이 도구를 시험에 쓸 권한, 증거를 보관할 권한, 합의한 범위로 결과를 공개할 권한 |
4.1 소스코드 전부나 모델 가중치는 요구하지 않습니다. 대상을 식별하고, 조건을 고정하고, 증거를 남길 수 있으면 충분합니다.
4.2 최종 표본과 정답표는 요구하지 않습니다(§2.1). 형식 확인용 예제는 받습니다.
4.3 해당 유형에 필요 없는 항목은 「해당 없음」과 그 이유를 적습니다. 빈칸으로 두지 않습니다.
5. 시험 절차
5.1 실행 전에 시험계획을 확정합니다(판정기준 §4.0). 항목·표본 구성·반복 횟수·측정에서 빼는 구간을 결과를 보기 전에 정합니다.
5.2 시험은 네 단계로 적고, 남이 같은 절차로 다시 돌려볼 수 있게 씁니다(판정기준 §4.0.1).
1. 준비 — 무엇을 어떤 환경에 놓았나 2. 실행 — 무엇을 몇 번 시켰나, 결과를 어디에 남겼나 3. 대조 — 무엇과 맞춰 보았나 4. 확인 — 무엇을 보고 판정했나
5.3 시험 중에 대상을 바꿀 수 없습니다. 바꾸면 그 시점에서 시험을 끝내고, 바뀐 대상은 새 시험으로 접수합니다.
5.4 반복 횟수는 항목마다 정합니다(판정기준 §4.7). 흔들리는 정도와 한 번 도는 비용으로 정하고, 기록서에 항목별로 그대로 적습니다.
5.5 실패한 회차를 지우지 않습니다(판정기준 §5.9).
6. 시험 불가
6.1 「시험 불가」는 성적이 아니라 접수 상태입니다. 판정기준 §3.1의 다섯 상태에 추가되는 여섯 번째가 아닙니다.
6.2 보완 기회를 드린 뒤에도 다음이 남으면 받지 않습니다.
- 기능·유형·범위를 확정할 수 없어 적용할 시험 항목이 정해지지 않는 경우
- 실행 수단이나 접근 권한을 받지 못해 대상을 돌려볼 수 없는 경우
- 대상 조합을 식별·고정할 수 없거나, 시험 중 임의 변경을 요구하는 경우
- §2.3의 범위로 유효한 결함 표본을 만들 수 없는 경우 (3급 신청에 한함)
- 자료를 시험에 쓸 권한이 없거나, 합법적이고 통제 가능한 환경에서 돌릴 수 없는 경우
- 정답을 미리 알려 달라거나, 유리한 표본만 쓰자거나, 실패 기록을 지우자거나, 합격을 보장해 달라는 요구가 있는 경우
6.3 도구가 시험 중에 구동하지 못한 것은 시험 불가가 아닙니다. 환경이 정상이고 지침대로 돌렸는데 도구가 죽었다면 그것은 관측 결과이고 「등급 없음 · 구동 실패」로 적습니다(판정기준 §2.5).
6.4 성적이 나쁘다고 사후에 반려하지 않습니다. 접수한 시험은 결과와 무관하게 기록으로 남습니다.
7. 결과물
7.1 발행물은 「AI 도구 실측 기록서」 한 종입니다. 통과한 급마다 한 페이지씩 있고, 하지 않은 시험은 줄여 적지 않습니다(판정기준 §3.6).
7.2 기록서에 반드시 들어가는 칸
- 시험 대상·버전·대상 유형
- 시험 항목과 네 단계 절차
- 시험 횟수와 「N 중 k」 결과 — 비율로 뭉개지 않습니다(판정기준 §5.8)
- 인정등급과 시험 중단 지점
- 미실시 항목 — 비어 있으면 그 자체가 신호입니다
- 해당 없음 항목과 그 사유
- 증거 부족 항목 — 시험했으나 판정할 기록이 안 남은 급
- 유효 조건
7.3 없는 칸을 채우지 않습니다. 안 잰 것은 「미실시」로 남습니다.
7.4 등급을 읽는 법 — 등급은 점수가 아니라 사다리에서 도달한 높이입니다. 「이 도구를 쓸 수 있는가」는 그 업무가 요구하는 급과 견주어 판단합니다. 사람이 결과를 다시 보는 업무라면 4급으로 충분하고, 사람이 안 보는 자리에 넣을 거라면 3급도 모자랍니다.
8. 결과를 쓰는 조건
8.1 인용할 때는 자체 기준에 따른 평가임과 기준 이름·버전·기록서 번호를 함께 적습니다.
8.2 쓸 수 없는 표현 — 「인증 획득」·「공인 시험 통과」·「성능 보장」. 우리가 발행한 것은 인증이 아닙니다.
8.3 등급은 시험한 조합의 것입니다. 제품 전체나 이후 버전의 등급으로 옮겨 쓸 수 없습니다(판정기준 §9.1).
8.4 1급의 이름이 「실증」이라고 해서 현장 전체에서 효과가 보장된다는 뜻이 아닙니다. 무엇을 어느 범위까지 실증했는지가 기록서에 함께 적힙니다(판정기준 §4.6).
9. 공개
9.1 공개 여부는 접수 때 정합니다. 정한 뒤에는 결과가 나쁘다는 이유로 바꾸지 않습니다.
9.2 비공개로 시험한 건도 건수는 공개합니다. 대상과 결과는 밝히지 않되 「비공개 시험 N건」을 함께 적습니다. 좋은 성적만 공개되고 나머지가 사라지면, 남은 기록만 보고 전체를 판단하게 됩니다. 실패한 회차를 지우지 않는 것과 같은 이유입니다(판정기준 §5.9).
9.3 발행 전에 의뢰자에게 사실관계를 확인할 기회를 드립니다. 사실이 틀렸으면 고칩니다. 판정이 마음에 안 든다는 것은 사실 오류가 아닙니다.
10. 정정과 재시험
10.1 사실 오류는 고칩니다. 원문·정정 사유·정정일·대체 기록서를 서로 연결해 공개합니다(판정기준 §9.4).
10.2 판정에 대한 이의는 근거를 들어 제기할 수 있습니다. 원래 기준으로도 잘못된 판정이었다면 기준 개정을 기다리지 않고 정정하거나 등급을 철회합니다.
10.3 대상이 바뀌면 새 시험입니다. 기존 등급을 바뀐 대상에 승계하지 않습니다. 새 번호로 발행하고 「이전 기록서를 대체함」을 적습니다.
11. 이 문서의 버전
11.1 접수를 확정할 때 시험기준과 판정기준의 적용 버전을 함께 기록합니다.
11.2 기준이 바뀌어도 이미 발행한 기록서를 소급해 고치지 않습니다. 다만 원래 기준으로도 잘못된 판정이었다면 §10.1로 정정합니다.
11.3 이 기준으로 감당할 수 없는 시험은 기준을 늘려서 받지 않고, 안 받습니다.