티스토리

우잉's Development

검색하기

블로그 홈

우잉's Development

wooingg.tistory.com/m

우잉이 님의 블로그입니다.

구독자: 1

방명록 방문하기

주요 글 목록

[LLM 응용] 데이터 보안 환각 줄이기 제공한 정보를 바탕으로 답변하라는 지시 명시 주어진 문서에서 질문의 답과 관련된 내용을 인용하라고 지시 문서요약을 합께 제공하면 조금 더 정확한 결과를 얻을 수 있다. 모른다는 답을 허용하는 것을 명세 프롬프트의 출력을 사고와 답변 섹션으로 분리 각각 다른 방법으로 여러개의 출력을 생성한 후, 각각의 답변이 일관성이 있는지 답변하라고 지시(Self-Consistency) 스트리밍 응답 : 생성 결과 전체를 한 번에 응답 받는 것이 아닌, 토큰을 생성 할 때 마다 응답을 전송받는 방법 - 토큰이 생성 될 때 마다 사용자에게 표시함으로써, 생성 속도가 느린 LLM의 단점을 상쇄하고, 인터렉티브한 경험을 제공 - 생성 중간에 생성 결과를 평가하여 중단, 분기할 수 있음. - timeout처리를 조.. 공감수 0 댓글수 0 2023. 9. 13.
[LLM 기본] 임베딩과 시멘틱 서치 Grounding LLM에게 검색등을 통해 문맥에 맞는 정보를 제공하거나, 계산기 등을 사용해 정확한 계산 결과를 제공하는 방법 정확한 정보를 제공하여 환각을 줄이거나, LLM 학습 후 나온 새로운 정보를 이용한 결과를 생성할 수 있음. RAG Retrieval-Augmented Generation의 약자로, 정보를 검색해 와서 이를 기반으로 텍스트를 생성하는 방법 대화의 맥락을 유지하기 위한 장기 기억 메모리로도 활용 Embedding 임베딩 기초 : https://wooingg.tistory.com/57 [LLM 기초] 프롬프트 엔지니어링 개요 프롬프트 엔지니어링 ? => 컴퓨터와 대화하는 방법이자 컴퓨터에게 업무를 시키는 방법 LLM에서의 prompt engineering은? => zero-shot.. 공감수 0 댓글수 1 2023. 9. 6.
[LLM 기본] 프롬프트 요구사항 명세 소프트웨어 요구사항 명세 개발할 소프트웨어 제품이 어떻게 가능해야하는지에 대한 문서로, 프롬그램이 처리해야 할 기능을 구체적으로 정의하고, 입출력 요건과 프로그래밍이 필요한 논리 개념을 정리한 문서. 소프트웨어 요구사항 사양은 구체적인 시스템 설계 단계 이전에 요구사항을 평가하는 것으로, 나중에 재설계하는 것을 줄이는 것이 목표로 하며, 소프트웨어 요구사항 사양을 적절하게 사용하면 소프트웨어 프로젝트 실패를 방지할 수 있음. LLM Prompt Engineering (=>요구사항 명세) 답변을 위해 필요한 적절한 컨텍스트 제공 => 컨텍스트 데이터 원하는 결과를 추출을 위한 프롬프트 작성 => 인스트럭션 or 사용자 입력 데이터 원하는 포맥의 출력을 위한 프롬프트 작성 => 출력데이터 필요한 테스트 셋의.. 공감수 0 댓글수 0 2023. 9. 6.
[LLM 기본] 모델 선택 기준 & Function Calling 모델 선택 기준 비용 - 비용은 선택한 모델이 사용하는 토크나이저를 사용해서 계산해야하며 모델에 따라 비용이 다릅니다. - 정확히 계산하고자 한다면 각 모델에서 제공하는 토크나이저로 계산하거나, API 호출로 출력되는 토큰수를 참고해야함. 속도 정확도 (성능) - 정확도에 대한 다양한 벤치마크가 존재하지만, 벤치마크마다 강점이 있는 모델이 따로 있는 경우가 있다. - 점수가 높다고 하더라도 실제 사용하는 사례에서는 원하는 성능이 나오지 않을 수 있다. - 현재 (2023.07.01)까지는 GPT-4, gpt-3.5-turbo, Claude정도가 실사용이 가능한 수준이다. 경향성 - 모델 선택시 정확한 정보 제공이 필요한 것이 아니면 경향성을 보고 판단 ex) gpt-3.5-turbo: 구어체 의 채팅형에.. 공감수 0 댓글수 0 2023. 9. 6.
[LLM 기본] 프롬프트 엔지니어링 기본 자연어 처리 태스크 TOP 10 Language Translation : 한 언어에서 다른 언어로 텍스트를 번역하는 작업 Style Translation : 텍스트의 스타일을 다른 스타일로 변경하는 작업 Editing and Rewriting : 텍스트의 내용을 명확하게 하거나 의도를 더 잘 전달하도록 문장 또는 문서를 수정하거나 다시 작성하는 작업 Summarization : 긴 텍스트를 핵심내용을 포함하는 짧은 텍스트로 축소하는 작업 Named Entity Recognition : 텍스트에서 특정 정보(사람, 장소, 조직, 날짜 등)를 식별하는 작업 Sentiment Recognition : 긍정적, 부정적, 중립적 등 텍스트의 다양한 감정상태를 판단하는 작업 Document classificatio.. 공감수 0 댓글수 0 2023. 9. 5.
[LLM 기본] 생성 조건 Token : 언어 모델에 입력하거나 출력하는 택스트의 구성요소 ex ) apple - tokens:2 / apples - tokens:2 / I love apple. - tokens:4('I','love', 'apple', ' ') 단어/글자당 토큰 사용수는 토크나이저마다 다름. GPT 토크나이저 기준 영어 : 단어당 평균 1.3개의 토큰 사용 한글 : 글자당 약 2.5개의 토큰 사용 일반적으로 영어 문서 대비, 한글 문서가 약 4~5배 정도의 토큰을 사용 현재 대다수의 클라우드형 LLM의 경우 한글에 대한 토큰 사용이 상당히 비효율적이므로 다음과 같은 전략으로 토큰 사용을 최적화 할 필요가 있다. 프롬프트와 출력을 영어로 작성하는 경우 성능이 더 향상되는 효과가 있다. 입출력을 번역하여 사용 프롬프트.. 공감수 0 댓글수 0 2023. 9. 5.
[LLM 기초] 프롬프트 보안 LLM 취약점 Prompt Injections - 정교하게 제작된 프롬프트를 사용하여 필터를 우회하거나 LLM을 조작하여, 이전 지시사항을 무시하게 하거나 의도 하지 않은 행동을 수행하게 만드는 방법 - 프롬프트를 유출하거나, 제한된 사용 범위를 넘는 답변을 하거나, 시스템에 악성코드를 실행하도록 만드는 것이 대부분 이 방식을 통해 이루어짐 Data Leakage : LLM의 응답을 통해 민감한 정보, 독점 알고리즘, 또는 기타 기밀 세부사항을 실수로 공개 Inadequate Sandboxing : 외부 자원이나 민감한 시스템에 접근할 수 있는 LLM을 적절하게 격리하지 못하여 잠재적인 악용과 무단 접근이 가능하게 되는 경우 Unauthorized Code Execution : 자연어 프롬프트를 통해 기.. 공감수 0 댓글수 0 2023. 8. 31.
[LLM 기초] 프롬프트 엔지니어링 기초2 Expert Prompting - LLM에게 전문가로서 응답하도록 요청하는 방법 - 배경지식을 암시적으로 이해하고 답변함으로써 성능이 향상됨 - LLM에게 프롬프트/질문과 관련된 특정 분야의 전문가를 찾아달라고 요청하고, 제시 받은 전문가인 것 처럼 질문에 응답하도록 하여 도메인이 정해지지 않은 서비스에도 제너럴하게 활용할 수 있음. - 논란의 여지가 있었으나 MIT 수학 및 EECS 커리큘럼 탐색에 매우 뛰어난 성능을 얻었다고함. According to Wikipedia - 단순히 "위키피디아를 참조해서 답하세요"라고 하는 것 만으로 높은 성능을 얻을 수 있었음. - LLM이 학습한 지식 베이스가 있다면, 해당 내용을 참조하라고 하는 것 만으로 더 정화한 답변을 할 수 있음 Generated Knowl.. 공감수 0 댓글수 0 2023. 8. 31.
[LLM 기초] 프롬프트 엔지니어링 기초 1 프롬프트 엔지니어링 과정 프롬프트 결과 설정 프롬프트 평가 설계 그라운딩 설계 및 평가 프롬프트 디자인 모니터링 및 개선 프롬프트 구성요소 Role : 답변자로써 페르소나를 설정 답변에 대한 배경지식을 가지고 답하므로 더 높은 정확도로 답하게됨. Audience : 답변의 대상이 되는 특정 인구, 그룹 또는 개인의 페르소나 Knowledge(Information) : 답변에 참고할 정보, 사용자의 질문에 해당하는 정보를 DB나 검색엔진등에서 가져와서 삽입 혹은 다음처럼, 유명한 정보 출처를 지정하는 방법 사용 예) 위키피디아의 내용에 따라 나폴레오에 대해 설명해주세요. Task : 수행해야하는 특정 작업이나 목표 예) 500단어로 자기소개서를 작성해주세요. Policy (Rule) :응답을 만들 때 따라.. 공감수 0 댓글수 0 2023. 8. 31.
[LLM 기초] 프롬프트 엔지니어링 개요 프롬프트 엔지니어링 ? => 컴퓨터와 대화하는 방법이자 컴퓨터에게 업무를 시키는 방법 LLM에서의 prompt engineering은? => zero-shot, one-shot learning, Few-shot learning, Chain of Thought, Zero Shot Chain of Thought Zero-shot : 바로 물어보는 것을 zero-shot이라 함. 예) "영어를 한국어로 번역해줘" One-shot learning : 하나의 예를 들어주면 서 물어봄 예) 영어를 한국어로번역해줘. (task description) This is an apple => 이건 사과야. (example) It's a beautiful day => ? (prompt) Few-shot learning : 두.. 공감수 1 댓글수 0 2023. 8. 30.
[LLM 기초] Prompt 엔지니어링 개념이해 1. 프롬프트 엔지니어링 - 컴퓨터와 새로운 상호작용 방법 - 자연어로 컴퓨터와 상호작용하는 방법 - 머신러닝 모델링 방법과 개발 방법을 혼합해 놓은 것과 비슷함 - 머신러닝 모델링 방법과 개발 방법론을 둘 다 이해하고 활용할 수 있어야 높은 수준의 프롬프트 엔지니어링을 할 수 있음. - 실험적 방법론에 기한하여, 한 번 그럴듯한 결과를 내는 것이 아닌, 원하는 결과를 정화히 의도한대로 항상 일관성 있게내도록 만드는 것 - 프롬프트 엔지니어링이라고 하는 대부분의 예시는 블라인드 프롬프팅, 혹은 프롬프트 라이팅이라고함. 2. fine-tuning과 prompt의 차이 - ML 연구는 프로젝트를 설정하고 데이터를 정제(준비) 하고 모델링을 하고 개발을 하는 과정으로 크게 4가지로 나뉘지만, 프롬프트 엔지니어.. 공감수 0 댓글수 0 2023. 8. 29.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.