NER 테스트 방법

준비 사항

데이터

추출 대상 개체별로 따로 prompt 준비 필요한지 확인 또는 테스트를 해 보고 확인

zero-shot 용 prompt 후보들

few-shot 용 prompt 후보들- 지시사항 및 예시

테스트용 데이터 : 4천건 살인사건 판례 데이터

테스트 대상 PLM

KoBERT/KorBERT 등 BERT 또는 LaMDA, PaLM, Huggingface의 PLM transformer 후보 선택

KoGPT 또는 유사 한국어 도메인용 GPT류 선택

테스트 기준

기존 WEX 추출 결과 범죄구성요소 7개 항목 결과와 비교 (수동 비교)

하이퍼파라미터 조정 기준 결과 버전 확보하여 WEX와 비교

향후 범죄도메인특화 사전학습 후에 테스트 및 평가 필요