zero-/few-shot learning을 통한 NER 방법 정리

WEX나 WD의 개체명 추출 방법에 대한 신경망 대안으로서 PLM의 prompt(?) 학습방법을 이용한 개체명 추출 테스트 및 결과 평가 => 기존 WEX 통해 추출한 경찰청의 맞춤형 유사문서 추천위해 추출한 7개 범죄사실 결과를 Ground truth로 삼아 결과 비교

• 개요
• NER 테스트 방법

개요

테스트 방법 개요

1. PLM 모델 : KoGPT 또는 상응하는 한글지원 GPT아류, KoBERT류 (Longformer 포함)
2. 테스트 항목 : 다운스트림 학습 결과인 NER
3. 테스트 방법 : zero-shot과 few-shot을 이용한 NER 결과 도출 및 WEX 추출 결과와 비교
4. 테스트 데이터는 살인사건 판례 4천 건
5. 범죄분야 사전학습 후 결과도 평가해 보아야 함

NER 테스트 방법

준비 사항

데이터

• 추출 대상 개체별로 따로 prompt 준비 필요한지 확인 또는 테스트를 해 보고 확인
• zero-shot 용 prompt 후보들
  
• few-shot 용 prompt 후보들
  - 지시사항 및 예시
• 테스트용 데이터 : 4천건 살인사건 판례 데이터

테스트 대상 PLM

• KoBERT/KorBERT 등 BERT 또는 LaMDA, PaLM, Huggingface의 PLM transformer 후보 선택
• KoGPT 또는 유사 한국어 도메인용 GPT류 선택

테스트 기준

• 기존 WEX 추출 결과 범죄구성요소 7개 항목 결과와 비교 (수동 비교)
• 하이퍼파라미터 조정 기준 결과 버전 확보하여 WEX와 비교
• 향후 범죄도메인특화 사전학습 후에 테스트 및 평가 필요