zero-/few-shot learning을 통한 NER 방법 정리
WEX나 WD의 개체명 추출 방법에 대한 신경망 대안으로서 PLM의 prompt(?) 학습방법을 이용한 개체명 추출 테스트 및 결과 평가 => 기존 WEX 통해 추출한 경찰청의 맞춤형 유사문서 추천위해 추출한 7개 범죄사실 결과를 Ground truth로 삼아 결과 비교
개요
테스트 방법 개요
- PLM 모델 : KoGPT 또는 상응하는 한글지원 GPT아류, KoBERT류 (Longformer 포함)
- 테스트 항목 : 다운스트림 학습 결과인 NER
- 테스트 방법 : zero-shot과 few-shot을 이용한 NER 결과 도출 및 WEX 추출 결과와 비교
- 테스트 데이터는 살인사건 판례 4천 건
- 범죄분야 사전학습 후 결과도 평가해 보아야 함
NER 테스트 방법
준비 사항
데이터
- 추출 대상 개체별로 따로 prompt 준비 필요한지 확인 또는 테스트를 해 보고 확인
- zero-shot 용 prompt 후보들
- few-shot 용 prompt 후보들
- 지시사항 및 예시 - 테스트용 데이터 : 4천건 살인사건 판례 데이터
테스트 대상 PLM
- KoBERT/KorBERT 등 BERT 또는 LaMDA, PaLM, Huggingface의 PLM transformer 후보 선택
- KoGPT 또는 유사 한국어 도메인용 GPT류 선택
테스트 기준
- 기존 WEX 추출 결과 범죄구성요소 7개 항목 결과와 비교 (수동 비교)
- 하이퍼파라미터 조정 기준 결과 버전 확보하여 WEX와 비교
- 향후 범죄도메인특화 사전학습 후에 테스트 및 평가 필요