BENCHMARK v1 · 2026-10-21
한국어 OCR 공개 측정표
문서 6종을 같은 평가셋, 같은 채점기로 재서 숫자와 원자료를 그대로 공개해요. 재지 않은 칸은 숫자를 지어내지 않고 «미측정»으로 둬요.
측정 주체 · 측정일
팀플럿(주) 자체 측정
2026-10-21 · 독립 시험기관 측정이 아니에요
평가셋
PLUT 합성 평가셋 v1 · 550장
모두 직접 만든 합성 견본 · CC BY 4.0
전체 결과(PLUT OCR 0.1.0)
CER 0.0060 · 필드 98.7%
표 TEDS 0.997 · 장당 평균 3.2초(CPU)
| 문서 종류 | PLUT CER 공백 포함 | PLUT 필드 정확도 | PLUT 표 TEDS |
RapidOCR 단독 CER 공백 포함 | EasyOCR 단독 CER 공백 포함 | CLOVA OCR | Google Vision | Upstage |
|---|---|---|---|---|---|---|---|---|
| 신분증(합성 견본) 100장 |
0.0013 0.0007~0.0019 | 99.0% | — | 0.0596 | 0.0367 | 미측정 | 미측정 | 미측정 |
| 사업자등록증 100장 |
0.0046 0.0037~0.0056 | 99.0% | — | 0.0794 | 0.0364 | 미측정 | 미측정 | 미측정 |
| 영수증 100장 |
0.0050 0.0041~0.0061 | 98.2% | — | 0.0808 | 0.0894 | 미측정 | 미측정 | 미측정 |
| 계약서 50장 |
0.0086 0.0072~0.0101 | 98.4% | — | 0.1081 | 0.0797 | 미측정 | 미측정 | 미측정 |
| 표 100장 |
0.0024 0.0011~0.0040 | — | 0.997 | 0.0669 | 0.1105 | 미측정 | 미측정 | 미측정 |
| 손글씨(글꼴 합성) 100장 |
0.0199 0.0121~0.0290 | — | — | 0.0666 | 0.0875 | 미측정 | 미측정 | 미측정 |
CER은 낮을수록, 필드 정확도와 TEDS는 높을수록 좋아요. 작은 숫자는 이미지 단위 부트스트랩 95% 구간이에요. RapidOCR·EasyOCR 단독은 PLUT 앙상블에 들어간 오픈소스 엔진을 기본 설정으로 따로 잰 값이에요.
경쟁사 칸이 비어 있는 이유
- CLOVA OCR, Google Cloud Vision: 같은 평가셋에 공식 API를 직접 호출해 잴 예정이에요. 아직 재지 않아 숫자를 싣지 않았어요.
- Upstage: 제공사 약관이 결과를 다른 모델 연구·개발에 쓰는 것을 제한해서, 서면 동의를 받기 전에는 재지 않아요.
- 측정하면 같은 표에 그대로 추가하고 측정일과 API 버전을 적어요. 진 문서 종류도 빼지 않고 실어요.
01 · 측정 문장
문서별 결과
- 2026-10-21 팀플럿(주) 자체 측정, PLUT 합성 평가셋 v1 신분증(합성 견본) 100장 기준 PLUT OCR 0.1.0 CER(공백 포함) 0.0013, 필드 정확도 99.0%.
- 2026-10-21 팀플럿(주) 자체 측정, PLUT 합성 평가셋 v1 사업자등록증 100장 기준 PLUT OCR 0.1.0 CER(공백 포함) 0.0046, 필드 정확도 99.0%.
- 2026-10-21 팀플럿(주) 자체 측정, PLUT 합성 평가셋 v1 영수증 100장 기준 PLUT OCR 0.1.0 CER(공백 포함) 0.0050, 필드 정확도 98.2%.
- 2026-10-21 팀플럿(주) 자체 측정, PLUT 합성 평가셋 v1 계약서 50장 기준 PLUT OCR 0.1.0 CER(공백 포함) 0.0086, 필드 정확도 98.4%.
- 2026-10-21 팀플럿(주) 자체 측정, PLUT 합성 평가셋 v1 표 100장 기준 PLUT OCR 0.1.0 CER(공백 포함) 0.0024, 표 TEDS 0.997.
- 2026-10-21 팀플럿(주) 자체 측정, PLUT 합성 평가셋 v1 손글씨(글꼴 합성) 100장 기준 PLUT OCR 0.1.0 CER(공백 포함) 0.0199.
02 · 방법
어떻게 쟀나요
- 평가셋
- 신분증(합성 견본) 100장, 사업자등록증 100장, 영수증 100장, 계약서 50장, 표 100장, 손글씨 글꼴 합성 100장. 깨끗한 스캔, 약한 기울기·잡음, 기울기·조명·흐림·압축, 촬영 원근 4단계를 4분의 1씩 섞었어요. 신분증 견본은 실제 신분증 디자인이 아니고, 번호는 일부러 무효로 만들었어요.
- 공정성
- 엔진 설정은 별도 개발용 평가셋(120장)에서만 정했고, 이 평가셋은 설정을 확정한 뒤 만들어 해시로 동결했어요. 문서 종류는 사용자가 고르는 것처럼 넘겼어요.
- 지표
- CER(문자 오류율, 글자 수 가중), 필드 정확도(필드 값이 정답과 완전히 같은 비율), 표 TEDS(병합 칸을 포함한 표 구조·내용 유사도).
- 환경
- rapidocr 3.10.0, onnxruntime 1.31.0, easyocr 1.7.2, torch 2.14.1+cpu, transformers 4.57.6, opencv 5.0.0, numpy 2.5.2, pillow 12.3.0, Python 3.12 CPU Intel(R) Xeon(R) CPU @ 2.80GHz (GCP asia-northeast3), GPU 없음
- 한계
- 평가셋이 모두 합성이라 실제 촬영 문서·실제 손글씨보다 점수가 높게 나올 수 있어요. 실제 손글씨와 공공누리 표준계약서 촬영본은 다음 판에 넣어요. 개별 문서의 결과를 보장하지는 않아요.
03 · 재현
직접 다시 재 보세요
평가셋 이미지·정답 JSON·채점기·엔진 코드를 묶어 공개해요. 누구나 같은 조건으로 다시 재고 결과를 공개할 수 있어요.
cd bench/data/test && sha256sum -c ../../manifest_test_v1.sha256 && cd ../../..
python bench/run.py --engine plut --data bench/data/test
python bench/score.py --data bench/data/test --engines plut --out bench/my_results
내 문서로 바로 써 보기
무료 도구는 브라우저 안에서 돌아 원본이 서버로 가지 않아요. 필드 JSON이 필요하면 API 키를 받아 매달 100쪽까지 무료로 써 보세요.