AI가 만든 값이 고객에게 나가는 문서에 들어간다면, 보내기 전에 그 도구를 어디까지 믿을 수 있는지 확인해야 합니다. 저희는 업무에 쓰는 AI 도구를 직접 돌려보고, 그 결과가 쓰일 곳에 필요한 만큼의 신뢰도에 도달했는지 시험합니다.
구동부터 실증까지 다섯 단계를 밑에서부터 밟습니다. 시험으로 얻은 등급과 쓰일 곳이 요구하는 등급을 대조하면, 그 일에 써도 되는지가 나옵니다.
처음에는 AI가 만든 문서를 한 장씩 읽어볼 수 있습니다. 여러 사람이 매일 수십 건씩 쓰기 시작하면 사람이 확인하는 속도가 일하는 속도를 못 따라갑니다. 내부 참고용 요약과 고객에게 나가는 견적서에 같은 확인 절차를 쓰기도 어렵습니다.
그래서 어떤 도구의 결과를 어느 일까지 써도 되는지 기준이 필요합니다. 검사하지 못한 항목이 남았는지, 놓친 결함이 있는지, 멀쩡한 문서에도 경고가 뜨는지를 알아야 어디까지 사람이 다시 볼지 정할 수 있습니다.
각 작업의 결과를 다섯 급으로 표시합니다. 그 작업에서 어느 단계까지 확인했는지 읽는 기준입니다. 통과한 급은 검정, 시험했는데 통과하지 못한 지점은 빨강, 아직 시험하지 않은 급은 빈칸으로 둡니다. 그 칸은 판단에서 빼고 보시면 됩니다.
돌아가긴 한다. 설치하고 실행하면 결과가 나온다.
무엇을 했는지 남는다. 나중에 확인할 수 있다.
틀린 것을 틀렸다고 말한다. 조용히 넘어가지 않는다.
같은 입력에 같은 답을 준다. 흔들리지 않는다.
실물로 확인했다. 화면이나 산출물을 눈으로 봤다.
도구마다 등급을 두 개 나란히 둡니다. 그 결과가 쓰이는 곳이 요구하는 «요구등급»과, 시험으로 실제 얻은 «인정등급»입니다.
요구등급은 출력이 어디로 가느냐로 정해집니다. 밖으로 나가는 문서에 도구가 만든 값이 하나라도 들어가면 1급, 참고자료는 2급, 내부용은 3급입니다. 쓰는 사람이 스스로 낮춰 신고할 수 없습니다.
인정등급은 시험 결과로만 올라갑니다. 아래 급부터 순서대로 통과해야 하고, 건너뛸 수 없습니다. 그리고 코드가 바뀌면 인정등급은 즉시 무효가 되어 처음부터 다시 잽니다.
쓸 수 있다 = 인정등급 ≥ 요구등급
1급이 가장 높습니다. 예를 들어 2급을 받은 도구는 참고자료에는 쓸 수 있지만, 고객에게 나가는 문서에 값을 넣는 데는 아직 못 씁니다. 사람이 그때그때 판단하는 것이 아니라 계산되는 값입니다.
성적서는 1급 기준 한 서식으로 씁니다. 하지 않은 시험은 줄이지 않고 「미실시」로 남깁니다. 줄여 놓으면 다 한 것처럼 읽히기 때문입니다.
이 등급 제도는 저희가 사내 도구를 들일 때 먼저 쓰던 것입니다. 지금은 사람이 도구를 직접 돌리고 결과를 셉니다.
만들려는 것은 이 검증을 대신 해 주는 에이전트입니다. AI를 쓰는 양이 늘수록 사람이 다 확인할 수 없기 때문입니다. 다만 그 에이전트는 아직 개발 목표이고, 지금 파는 상품은 없습니다.
지금까지 7건을 공개했습니다. 각 기록의 결과가 적용되는 범위는 그 시험에서 시킨 작업과 조건까지입니다. 쓰시려는 업무와 어떤 점이 같고 다른지 보시면 됩니다.
가장 최근
3급
쓸 만하다. 다만 질문 여섯 개를 다 채우지 않는다 — 여섯 중 하나꼴로 조용히 빠진다.
유튜브 100편의 대본을 읽고 영상마다 같은 질문 6개에 답하게 했다
496 / 600질문 중 응답
104문이 응답에 아예 나타나지 않았다
실패한 회차 600문 중 104문이 응답에 아예 나타나지 않았다. 오류를 내지 않고 그냥 빠진다. 질문 순서로 답을 맞추면 답이 다른 질문 칸으로 밀려 들어간다 — 실제로 한 번 그렇게 잘못 집계했다가 잡았다.
안 재본 것 같은 영상을 다시 넣었을 때 같은 답이 나오는지(정밀)는 재보지 않았다.
2026-09-09 · gsk CLI (2026-09-09 기준)
2급
한국어·영어 둘 다 돌아간다. 25개 전부 결과가 왔고, 같은 키워드를 다시 넣으면 같은 답이 나온다.
키워드 25개의 검색 1페이지에 어떤 사이트가 올라오는지 뽑게 했다
25 / 25키워드 중 응답
실패한 회차 요청한 10개를 다 주지 않는다. 키워드마다 6~10개로 갈린다(같은 키워드 안에서는 일정하다). 모자란 이유는 알려 주지 않는다.
어떻게 쟀나 정밀은 이렇게 쟀다 — 키워드 3개(영어 1·한국어 1·영어 1)를 각각 3회씩, 같은 날 연속으로 넣고 상위 결과 목록을 비교했다. 9번의 비교에서 순서까지 전부 같았다. 각 회차는 9개씩 돌려줬다.
안 재본 것 같은 날 안에서만 재봤다. 날짜를 바꿔 넣었을 때 결과가 얼마나 움직이는지는 아직 모른다. 상위에 뜬 페이지를 열어 실제로 그 내용인지 확인하는 것(실증)도 하지 않았다.
2026-09-09 · gsk CLI (2026-09-09 기준)
2급
결과물은 좋다. 공식문서 링크를 전부 달았고 모르는 것은 「불확실」로 표기했다. 다만 첫 실행은 멈췄다.
네이버·구글 공식문서만 보고 광고 수익 조사 보고서를 쓰게 했다
1 / 2실행 중 성공
1회차는 표준입력을 기다리며 멈췄다
실패한 회차 1회차는 표준입력을 계속 기다리며 멈춰 있었다. 오류도 안 내고 그냥 안 끝난다. 표준입력을 닫아 주자(`< /dev/null`) 2회차는 정상 종료했다.
안 재본 것 같은 질문을 다시 던졌을 때 같은 결론이 나오는지는 재보지 않았다.
2026-09-09 · codex exec, -m gpt-6-astra
등급 없음 · 구동에서 멈춤
붙지 않았다. 둘 다 연결이 끊긴 채로 세션이 시작됐다.
영상 이해와 교차검증에 쓰려고 붙였다
실패한 회차 TwelveLabs·Gemini 모두 CONNECTION_CLOSED. 도구 자체의 성능 문제가 아니라 연결 문제이므로, 이 판정은 「이 도구는 나쁘다」가 아니라 「이날 우리 환경에서 못 썼다」로 읽어야 한다.
안 재본 것 연결이 됐을 때 무엇을 얼마나 하는지는 아무것도 재보지 못했다.
2026-09-09 · 세션 시작 시 자동 연결
2급 · 검출에서 멈춤
없는 영상에도 「성공」이라고 답한다. 본문에는 대본이 없다고 적어 주지만, 상태값과 종료코드는 정상이다.
없는 영상 ID 두 개를 일부러 넣고, 도구가 실패를 알리는지 봤다
0 / 2잘못된 입력 중 상태값으로 실패를 알린 것
두 번 다 「성공」이라고 답했다
실패한 회차 두 번 다 status=ok · message=success · 종료코드 0 이 돌아왔다. 본문 자리에는 대본 대신 「No transcript available」이라는 23자짜리 문장이 들어 있다. 상태값만 보고 그 문장을 대본으로 넘겨받으면 그대로 처리된다 — 오늘 유튜브 100편을 분석할 때 실제로 한 편이 그렇게 처리됐고, 결과물을 읽다가 발견했다.
어떻게 쟀나 존재하지 않는 ID 하나(zzzzzzzzzzz)와 형식부터 틀린 ID 하나(not-a-real-id-xxxxx)를 넣고 종료코드·status·message·본문을 각각 확인했다.
안 재본 것 정상 영상에서 대본이 실제로 정확한지(정밀·실증)는 이 시험에서 다루지 않았다.
2026-09-09 · gsk CLI (2026-09-09 기준)
2급 · 검출에서 멈춤
없는 주소는 정직하게 실패라고 답한다. 그런데 자바스크립트로 그리는 페이지에서는 메뉴만 가져오고도 「성공」이라고 답한다. 그리고 Windows 에서는 주소에 & 가 들어가면 종료코드가 틀린다.
성격이 다른 주소 5개를 긁게 했다 — 영문 공식문서, 자바스크립트로 그리는 도움말, 위키백과, 정부 사이트, 없는 주소
2 / 4본문이 있는 주소 중 본문을 실제로 가져온 것
2개 주소에서 본문을 못 가져왔다 — 하나는 메뉴만, 하나는 21초 뒤 실패
실패한 회차 두 가지가 나왔다. (1) 네이버 도움말은 586자만 돌아왔는데 전부 메뉴·푸터였고 정작 본문은 없었다. status 는 ok 였다 — 받은 쪽은 페이지를 가져왔다고 믿는다. 법제처는 21초를 기다린 끝에 실패했다. (2) Windows 에서 주소에 & 가 있으면 gsk.cmd 가 배치 파일이라 cmd.exe 가 인자를 다시 해석한다. & 뒤가 별도 명령으로 넘어가 「'osType'은(는) 내부 또는 외부 명령이 아닙니다」가 뜨고 종료코드가 1 이 된다. 응답 자체는 정상인데 종료코드만 실패다. 3회 모두 같았고, & 를 %26 으로 바꾸면 사라진다. 자동화가 종료코드를 보면 멀쩡한 요청을 실패로 센다. 주소에 든 글자가 셸로 넘어가는 구조이므로 신뢰할 수 없는 주소를 그대로 넘기지 않는 편이 좋다.
어떻게 쟀나 각 주소를 한 번씩 긁고 종료코드·status·본문 길이·소요 시간을 따로 기록했다. & 문제는 같은 주소를 3회 반복하고, & 를 %26 으로 바꾼 것과 & 가 없는 주소를 나란히 넣어 원인을 갈랐다.
안 재본 것 같은 주소를 다른 날 긁었을 때 결과가 얼마나 바뀌는지(정밀)와, 가져온 본문이 실제 페이지 내용과 맞는지를 원문과 대조하는 것(실증)은 하지 않았다.
2026-09-09 · gsk CLI (2026-09-09 기준) · Windows
대조
같은 질문인데 3분의 2가 다르다. 어느 한쪽만 보고 「1페이지가 이렇다」고 말하면 안 된다.
같은 질문 3개(영어 2·한국어 1)를 두 도구에 똑같이 던지고 1페이지에 어떤 도메인이 올라오는지 비교했다
10 / 30나온 도메인 중 두 도구가 함께 올린 것
어떻게 갈렸나 갈리는 방향이 뚜렷하다. gsk 는 28자리 중 8자리를 레딧·쿼라에 줬는데 WebSearch 는 25자리 중 1자리였다. 한국어 질문에서는 더 벌어진다 — gsk 는 네이버 블로그 다섯 자리와 애드포스트 공식 페이지를 올렸고, WebSearch 는 네이버 블로그를 하나도 올리지 않은 채 아홉 자리 중 네 자리를 「네이티브 광고」를 다루는 구글 광고관리자 문서에 줬다. 질문과 상관없는 문서다.
어떻게 쟀나 질문 3개를 두 도구에 각각 한 번씩 넣고, 상위 결과의 도메인만 뽑아 집합으로 비교했다. 순위와 제목은 보지 않고 「어느 사이트가 1페이지에 있었나」만 셌다. 같은 도메인이 여러 번 나오면 하나로 셌다.
안 재본 것 어느 쪽 결과가 더 쓸모 있는지는 재지 않았다. 이 기록은 「둘이 다르다」까지만 말한다. 한 도구가 다른 날 같은 답을 주는지도 이 시험과 별개다.
2026-09-09 · gsk CLI · Claude Code 내장 WebSearch
직접 만들고 계신 AI 도구나 에이전트가 있으면 같은 방식으로 돌려보고 기록을 남겨 드립니다. 지금은 무료입니다. 다만 여기 있는 기록과 똑같이 적습니다 — 점수나 합격을 매기지 않고, 몇 번 중 몇 번인지와 어디서 멈췄는지만 남깁니다. 실패한 회차도 지우지 않습니다.
그래도 괜찮으시면 문의로 도구 이름과 시켜 보고 싶은 작업을 보내 주세요. 1인 운영이라 전부 받지는 못하고, 무엇을 언제 재는지는 저희가 정합니다.