우잉's Development

Token : 언어 모델에 입력하거나 출력하는 택스트의 구성요소 ex ) apple - tokens:2 / apples - tokens:2 / I love apple. - tokens:4('I','love', 'apple', ' ') 단어/글자당 토큰 사용수는 토크나이저마다 다름. GPT 토크나이저 기준 영어 : 단어당 평균 1.3개의 토큰 사용 한글 : 글자당 약 2.5개의 토큰 사용 일반적으로 영어 문서 대비, 한글 문서가 약 4~5배 정도의 토큰을 사용 현재 대다수의 클라우드형 LLM의 경우 한글에 대한 토큰 사용이 상당히 비효율적이므로 다음과 같은 전략으로 토큰 사용을 최적화 할 필요가 있다. 프롬프트와 출력을 영어로 작성하는 경우 성능이 더 향상되는 효과가 있다. 입출력을 번역하여 사용 프롬프트..

LLM 취약점 Prompt Injections - 정교하게 제작된 프롬프트를 사용하여 필터를 우회하거나 LLM을 조작하여, 이전 지시사항을 무시하게 하거나 의도 하지 않은 행동을 수행하게 만드는 방법 - 프롬프트를 유출하거나, 제한된 사용 범위를 넘는 답변을 하거나, 시스템에 악성코드를 실행하도록 만드는 것이 대부분 이 방식을 통해 이루어짐 Data Leakage : LLM의 응답을 통해 민감한 정보, 독점 알고리즘, 또는 기타 기밀 세부사항을 실수로 공개 Inadequate Sandboxing : 외부 자원이나 민감한 시스템에 접근할 수 있는 LLM을 적절하게 격리하지 못하여 잠재적인 악용과 무단 접근이 가능하게 되는 경우 Unauthorized Code Execution : 자연어 프롬프트를 통해 기..

Expert Prompting - LLM에게 전문가로서 응답하도록 요청하는 방법 - 배경지식을 암시적으로 이해하고 답변함으로써 성능이 향상됨 - LLM에게 프롬프트/질문과 관련된 특정 분야의 전문가를 찾아달라고 요청하고, 제시 받은 전문가인 것 처럼 질문에 응답하도록 하여 도메인이 정해지지 않은 서비스에도 제너럴하게 활용할 수 있음. - 논란의 여지가 있었으나 MIT 수학 및 EECS 커리큘럼 탐색에 매우 뛰어난 성능을 얻었다고함. According to Wikipedia - 단순히 "위키피디아를 참조해서 답하세요"라고 하는 것 만으로 높은 성능을 얻을 수 있었음. - LLM이 학습한 지식 베이스가 있다면, 해당 내용을 참조하라고 하는 것 만으로 더 정화한 답변을 할 수 있음 Generated Knowl..

프롬프트 엔지니어링 과정 프롬프트 결과 설정 프롬프트 평가 설계 그라운딩 설계 및 평가 프롬프트 디자인 모니터링 및 개선 프롬프트 구성요소 Role : 답변자로써 페르소나를 설정 답변에 대한 배경지식을 가지고 답하므로 더 높은 정확도로 답하게됨. Audience : 답변의 대상이 되는 특정 인구, 그룹 또는 개인의 페르소나 Knowledge(Information) : 답변에 참고할 정보, 사용자의 질문에 해당하는 정보를 DB나 검색엔진등에서 가져와서 삽입 혹은 다음처럼, 유명한 정보 출처를 지정하는 방법 사용 예) 위키피디아의 내용에 따라 나폴레오에 대해 설명해주세요. Task : 수행해야하는 특정 작업이나 목표 예) 500단어로 자기소개서를 작성해주세요. Policy (Rule) :응답을 만들 때 따라..

프롬프트 엔지니어링 ? => 컴퓨터와 대화하는 방법이자 컴퓨터에게 업무를 시키는 방법 LLM에서의 prompt engineering은? => zero-shot, one-shot learning, Few-shot learning, Chain of Thought, Zero Shot Chain of Thought Zero-shot : 바로 물어보는 것을 zero-shot이라 함. 예) "영어를 한국어로 번역해줘" One-shot learning : 하나의 예를 들어주면 서 물어봄 예) 영어를 한국어로번역해줘. (task description) This is an apple => 이건 사과야. (example) It's a beautiful day => ? (prompt) Few-shot learning : 두..