시험 기록 · spec-checker-inhouse
규격서 점검기 · 사내 제작
시험 대상
규격서 점검기 · 사내 제작
사내 4회차 채점본 (2026-08-20)
시험 항목
우리에게 일을 맡긴 곳의 실제 규격서 검토 업무를 옆에서 들여다보고, 사람이 눈으로 훑던 항목을 파이썬으로 옮겼다. 그 도구가 실제로 얼마나 잡는지, 멀쩡한 문서에 헛것을 짚지는 않는지 시험했다
시험 방법
- (1)준비회귀 표본 35건, 앞 회차 자산 4건, 새로 만든 표본 5건, 구동 시험 6건, 그리고 실물 문서 15건을 표본 폴더에 둔다. 표본은 시험을 받는 쪽이 아니라 다른 부서가 만들었다.
- (2)실행표본을 하나씩 넣어 총 65회 실행한다. 매 회 종료코드와 지적 목록을 받는다.
- (3)대조정답지의 기대 판정과 맞춘다. 잡아야 할 것을 못 잡으면 미탐, 멀쩡한 것을 짚으면 오탐으로 센다. 경고에만 뜨고 결과에 안 실린 것은 미탐과 같이 센다.
- (4)확인검출·미탐·강등·오탐·범위밖·입력결함 여섯 갈래의 건수와 종료코드를 읽는다.
시험 횟수
25심은 결함 중 잡아낸 것
결과
22 / 25
3건을 못 잡았다 — 전부 범위 안에 있던 결함이다
네 번 채점해 4급이다. 요구는 1급인데 거기 못 미친다. 65회를 돌려 결함 22건을 잡았고 3건을 놓쳤으며, 멀쩡한 문서를 3건 잘못 짚었다.
판정
4급 · 검출에서 멈춤
- 구동
- 기록
- 검출
- 정밀
- 실증
관측된 실패
이 도구는 한때 1급이었다. 2026-08-19에 성적서 발행 당시 해시와 현재 코드 해시가 다른 것이 적발돼 1급에서 0급으로 강등됐다. 장부 해시를 현재 코드로 갈아끼우고 등급과 이력은 그대로 둔 것이 원인이고, 그 손은 우리 쪽이었다. 그 뒤 네 번을 다시 채점했고 3회차에서는 오히려 5급까지 내려갔다 — 제원표 머리글에 전각공백 한 글자를 넣으면 검사 세 개가 통째로 사라지는데 지적은 0건이고 종료코드는 0이었다. 그 자리를 고쳐 4급으로 올라왔다.
미실시 항목
실증1개 급 미실시
2급 정밀은 오탐 3건이 남아 미충족이고, 1급 실증은 재보지 않았다. 도구 자체의 한계도 남아 있다 — 삽입된 그림이 제품 사진인지 로고인지 가리지 못해 개수만 세고, 여러 품목 중 일부만 원산지가 빈 경우는 못 잡는다.
기록일
2026-08-20
유효 조건
위에 적은 버전과 시험 항목에 한해 유효합니다. 도구가 갱신되면 이 성적은 실효하고 처음부터 다시 잽니다. 다른 작업을 시키면 다른 결과가 나옵니다.