[LLM 기본] 프롬프트 요구사항 명세

소프트웨어 요구사항 명세

• 개발할 소프트웨어 제품이 어떻게 가능해야하는지에 대한 문서로, 프롬그램이 처리해야 할 기능을 구체적으로 정의하고, 입출력 요건과 프로그래밍이 필요한 논리 개념을 정리한 문서.
• 소프트웨어 요구사항 사양은 구체적인 시스템 설계 단계 이전에 요구사항을 평가하는 것으로, 나중에 재설계하는 것을 줄이는 것이 목표로 하며, 소프트웨어 요구사항 사양을 적절하게 사용하면 소프트웨어 프로젝트 실패를 방지할 수 있음.

LLM  Prompt Engineering (=>요구사항 명세)

• 답변을 위해 필요한 적절한 컨텍스트 제공 => 컨텍스트 데이터
• 원하는 결과를 추출을 위한 프롬프트 작성 => 인스트럭션 or 사용자 입력 데이터
• 원하는 포맥의 출력을 위한 프롬프트 작성 => 출력데이터

필요한 테스트 셋의 크기

• 다양한 데이터가 100개 정도 있다면 어느정도 실사용에 가능한편
• 30% = ~10개 데이터
  10% = ~100개 데이터
  3  % = ~1,000개 데이터
  1  % = ~10,000개 데이터

프롬프트 버전관리

• 실서비스에 나간 뒤 문제가 생겨 롤 백이 필요한 경우
• LLM 모델이 변경되어 프롬프트 재탐색이 필요한 경우
• 변경사항 추적이 필요한 경우

Versioning
- X : Major Version, Y : Minor version
- 메이저 버전 변경 : 출력 포맷이 변경되거나 출력 내용이나 구성이 많이 변경되는 경우
- 마이너 버전 변경 : 결과를 조금 더 정확하게 출력하도록 개선하는 경우
                                 생성 옵션이 변경되는 경우 등

생성 결과 평가하기

1. Exact matching
2. 예시 데이터와 생성 결과의 임베딩 유사도 평가
3. 인간 평가
4. 생성 모델로 평가