우잉's Development

[LLM 기초] 프롬프트 엔지니어링 개요 본문

Deep learning/LLM

[LLM 기초] 프롬프트 엔지니어링 개요

우잉이 2023. 8. 30. 19:34
728x90
반응형
  1. 프롬프트 엔지니어링 ?    => 컴퓨터와 대화하는 방법이자 컴퓨터에게 업무를 시키는 방법
  2. LLM에서의 prompt engineering은? 
    => zero-shot, one-shot learning, Few-shot learning, Chain of Thought, Zero Shot Chain of Thought
    •  Zero-shot :  바로 물어보는 것을 zero-shot이라 함. 예) "영어를 한국어로 번역해줘"
    •   One-shot learning :  하나의 예를 들어주면 서 물어봄 
      예) 영어를 한국어로번역해줘. (task description) 
            This is an apple => 이건 사과야.  (example)
            It's a beautiful day => ? (prompt)
    • Few-shot learning : 두가지 이사의 예를 들어주면서 물어봄.
      예) 영어를 한국어로번역해줘. (task description) 
            This is an apple => 이건 사과야. (example)
            I am a boy => 나는 소년입니다. (example)
            You are a girl => 나는 소녀입니다. (example)
            It's a beautiful day => ? (prompt)
    • Chain of Thought : 가이드를 주고 그 가이드를 통해서 문제를 풀게함.
       예) 이런 문제는 어떤 방법으로 풀면 돼. => 이전에 알려준 가이드를 통해서 새로운 문제를 풀어냄.
    • Zero Shot Chain of Thought  가이드를 주지않고 스스로 생각하게함. (좀더 공부가 필요)
  3. prompt engineering은 크게 보면 3가지 방법으로 작성합니다.
    1. 답변을 위해 필요한 적절한 컨텍스트 제공 (In-Context Learning)
    2. 원하는 결과를 추출을 위한 프롬프트 작성
    3. 원하는 포맷의 출력을 위한 프롬프트 작성
      ==> 프롬프트 엔지니어링은 실험적 방법론에 기반하여, 한 번 그럴듯한 결과를 내는 것이 아닌, 원하는 결과를 정확히 의도한대로 항상 일관성있게 내도록 만드는 것이 중요하다.
  4. 검색 엔진의 진화 Vector Search
    1. 임베딩(Embedding)  :  어떤 텍스트가 들어오면 여러개의 숫자인 벡터로 변환 (BERT, GPT 등)
    2. Embedding Space :  어떤 텍스트가 어디에 위치하는지에 대한 정보
    3. Vector Search : 사과, 바나나, 집, 차 이렇게 네개가 위치해있을 것이고 사과를 주제로하면 사과와 비슷한 아이 즉 거리가 좁은 (유사도가 높은) 주제를 찾음. (단어 뿐만 아니라 문장도 가능하다.)
           
  사과        
  바나나        
         
         

 

728x90
반응형
Comments