우잉's Development

환각 줄이기 제공한 정보를 바탕으로 답변하라는 지시 명시 주어진 문서에서 질문의 답과 관련된 내용을 인용하라고 지시 문서요약을 합께 제공하면 조금 더 정확한 결과를 얻을 수 있다. 모른다는 답을 허용하는 것을 명세 프롬프트의 출력을 사고와 답변 섹션으로 분리 각각 다른 방법으로 여러개의 출력을 생성한 후, 각각의 답변이 일관성이 있는지 답변하라고 지시(Self-Consistency) 스트리밍 응답 : 생성 결과 전체를 한 번에 응답 받는 것이 아닌, 토큰을 생성 할 때 마다 응답을 전송받는 방법 - 토큰이 생성 될 때 마다 사용자에게 표시함으로써, 생성 속도가 느린 LLM의 단점을 상쇄하고, 인터렉티브한 경험을 제공 - 생성 중간에 생성 결과를 평가하여 중단, 분기할 수 있음. - timeout처리를 조..

Grounding LLM에게 검색등을 통해 문맥에 맞는 정보를 제공하거나, 계산기 등을 사용해 정확한 계산 결과를 제공하는 방법 정확한 정보를 제공하여 환각을 줄이거나, LLM 학습 후 나온 새로운 정보를 이용한 결과를 생성할 수 있음. RAG Retrieval-Augmented Generation의 약자로, 정보를 검색해 와서 이를 기반으로 텍스트를 생성하는 방법 대화의 맥락을 유지하기 위한 장기 기억 메모리로도 활용 Embedding 임베딩 기초 : https://wooingg.tistory.com/57 [LLM 기초] 프롬프트 엔지니어링 개요 프롬프트 엔지니어링 ? => 컴퓨터와 대화하는 방법이자 컴퓨터에게 업무를 시키는 방법 LLM에서의 prompt engineering은? => zero-shot..

소프트웨어 요구사항 명세 개발할 소프트웨어 제품이 어떻게 가능해야하는지에 대한 문서로, 프롬그램이 처리해야 할 기능을 구체적으로 정의하고, 입출력 요건과 프로그래밍이 필요한 논리 개념을 정리한 문서. 소프트웨어 요구사항 사양은 구체적인 시스템 설계 단계 이전에 요구사항을 평가하는 것으로, 나중에 재설계하는 것을 줄이는 것이 목표로 하며, 소프트웨어 요구사항 사양을 적절하게 사용하면 소프트웨어 프로젝트 실패를 방지할 수 있음. LLM Prompt Engineering (=>요구사항 명세) 답변을 위해 필요한 적절한 컨텍스트 제공 => 컨텍스트 데이터 원하는 결과를 추출을 위한 프롬프트 작성 => 인스트럭션 or 사용자 입력 데이터 원하는 포맥의 출력을 위한 프롬프트 작성 => 출력데이터 필요한 테스트 셋의..

모델 선택 기준 비용 - 비용은 선택한 모델이 사용하는 토크나이저를 사용해서 계산해야하며 모델에 따라 비용이 다릅니다. - 정확히 계산하고자 한다면 각 모델에서 제공하는 토크나이저로 계산하거나, API 호출로 출력되는 토큰수를 참고해야함. 속도 정확도 (성능) - 정확도에 대한 다양한 벤치마크가 존재하지만, 벤치마크마다 강점이 있는 모델이 따로 있는 경우가 있다. - 점수가 높다고 하더라도 실제 사용하는 사례에서는 원하는 성능이 나오지 않을 수 있다. - 현재 (2023.07.01)까지는 GPT-4, gpt-3.5-turbo, Claude정도가 실사용이 가능한 수준이다. 경향성 - 모델 선택시 정확한 정보 제공이 필요한 것이 아니면 경향성을 보고 판단 ex) gpt-3.5-turbo: 구어체 의 채팅형에..

자연어 처리 태스크 TOP 10 Language Translation : 한 언어에서 다른 언어로 텍스트를 번역하는 작업 Style Translation : 텍스트의 스타일을 다른 스타일로 변경하는 작업 Editing and Rewriting : 텍스트의 내용을 명확하게 하거나 의도를 더 잘 전달하도록 문장 또는 문서를 수정하거나 다시 작성하는 작업 Summarization : 긴 텍스트를 핵심내용을 포함하는 짧은 텍스트로 축소하는 작업 Named Entity Recognition : 텍스트에서 특정 정보(사람, 장소, 조직, 날짜 등)를 식별하는 작업 Sentiment Recognition : 긍정적, 부정적, 중립적 등 텍스트의 다양한 감정상태를 판단하는 작업 Document classificatio..