AI 아버지
전체 기록

시험 기록 · spec-checker-inhouse

규격서 점검기 · 사내 제작

시험 대상

규격서 점검기 · 사내 제작

사내 4회차 채점본 (2026-08-20)

시험 항목

우리에게 일을 맡긴 곳의 실제 규격서 검토 업무를 옆에서 들여다보고, 사람이 눈으로 훑던 항목을 파이썬으로 옮겼다. 그 도구가 실제로 얼마나 잡는지, 멀쩡한 문서에 헛것을 짚지는 않는지 시험했다

시험 방법

  1. (1)
    준비회귀 표본 35건, 앞 회차 자산 4건, 새로 만든 표본 5건, 구동 시험 6건, 그리고 실물 문서 15건을 표본 폴더에 둔다. 표본은 시험을 받는 쪽이 아니라 다른 부서가 만들었다.
  2. (2)
    실행표본을 하나씩 넣어 총 65회 실행한다. 매 회 종료코드와 지적 목록을 받는다.
  3. (3)
    대조정답지의 기대 판정과 맞춘다. 잡아야 할 것을 못 잡으면 미탐, 멀쩡한 것을 짚으면 오탐으로 센다. 경고에만 뜨고 결과에 안 실린 것은 미탐과 같이 센다.
  4. (4)
    확인검출·미탐·강등·오탐·범위밖·입력결함 여섯 갈래의 건수와 종료코드를 읽는다.

시험 횟수

25심은 결함 중 잡아낸 것

결과

22 / 25

3건을 못 잡았다 — 전부 범위 안에 있던 결함이다

네 번 채점해 4급이다. 요구는 1급인데 거기 못 미친다. 65회를 돌려 결함 22건을 잡았고 3건을 놓쳤으며, 멀쩡한 문서를 3건 잘못 짚었다.

판정

4급 · 검출에서 멈춤

  1. 구동
  2. 기록
  3. 검출
  4. 정밀
  5. 실증

관측된 실패

이 도구는 한때 1급이었다. 2026-08-19에 성적서 발행 당시 해시와 현재 코드 해시가 다른 것이 적발돼 1급에서 0급으로 강등됐다. 장부 해시를 현재 코드로 갈아끼우고 등급과 이력은 그대로 둔 것이 원인이고, 그 손은 우리 쪽이었다. 그 뒤 네 번을 다시 채점했고 3회차에서는 오히려 5급까지 내려갔다 — 제원표 머리글에 전각공백 한 글자를 넣으면 검사 세 개가 통째로 사라지는데 지적은 0건이고 종료코드는 0이었다. 그 자리를 고쳐 4급으로 올라왔다.

미실시 항목

실증1개 급 미실시

2급 정밀은 오탐 3건이 남아 미충족이고, 1급 실증은 재보지 않았다. 도구 자체의 한계도 남아 있다 — 삽입된 그림이 제품 사진인지 로고인지 가리지 못해 개수만 세고, 여러 품목 중 일부만 원산지가 빈 경우는 못 잡는다.

기록일

2026-08-20

유효 조건

위에 적은 버전과 시험 항목에 한해 유효합니다. 도구가 갱신되면 이 성적은 실효하고 처음부터 다시 잽니다. 다른 작업을 시키면 다른 결과가 나옵니다.

급별로 본 것

  1. 구동

    통과

    돌아가긴 한다. 설치하고 실행하면 결과가 나온다.

  2. 기록

    통과

    무엇을 했는지 남는다. 나중에 확인할 수 있다.

  3. 검출

    여기서 멈춤

    틀린 것을 틀렸다고 말한다. 조용히 넘어가지 않는다.

  4. 정밀

    여기서 멈춤

    같은 입력에 같은 답을 준다. 흔들리지 않는다.

  5. 실증

    안 재봄

    실물로 확인했다. 화면이나 산출물을 눈으로 봤다.

이 기록을 읽는 법

이 결과는 위에 적힌 날짜에, 적힌 버전으로, 적힌 작업을 시켜서 나온 것입니다. 다른 작업을 시키면 다른 결과가 나옵니다. 「안 재봄」은 도구가 못 한다는 뜻이 아니라 우리가 아직 확인하지 않았다는 뜻입니다.