NER 테스트 방법

준비 사항

데이터

• 추출 대상 개체별로 따로 prompt 준비 필요한지 확인 또는 테스트를 해 보고 확인
• zero-shot 용 prompt 후보들
  
• few-shot 용 prompt 후보들
  - 지시사항 및 예시
• 테스트용 데이터 : 4천건 살인사건 판례 데이터

테스트 대상 PLM

• KoBERT/KorBERT 등 BERT 또는 LaMDA, PaLM, Huggingface의 PLM transformer 후보 선택
• KoGPT 또는 유사 한국어 도메인용 GPT류 선택

테스트 기준

• 기존 WEX 추출 결과 범죄구성요소 7개 항목 결과와 비교 (수동 비교)
• 하이퍼파라미터 조정 기준 결과 버전 확보하여 WEX와 비교
• 향후 범죄도메인특화 사전학습 후에 테스트 및 평가 필요