LLM을 위한 몇 샷 프롬프트, 학습 및 미세 조정 - AI&YOU #67 LLM을 위한 몇 샷 프롬프트, 학습 및 미세 조정 - AI&YOU #67 

금주의 통계: 동전 이미지 분류를 위한 소수 샷 학습에 대한 MobiDev의 연구에 따르면 동전 액면당 4개의 이미지 예시만 사용해도 약 70%의 정확도를 달성할 수 있는 것으로 나타났습니다.

AI에서는 제한된 데이터로 효율적으로 학습하는 능력이 매우 중요해졌습니다. 그렇기 때문에 기업에서는 소수 학습, 소수 프롬프트, LLM 미세 조정에 대해 이해하는 것이 중요합니다.

이번 주 AI&YOU에서는 해당 주제에 대해 게시한 세 개의 블로그에서 얻은 인사이트를 살펴보고자 합니다:

• 소수 정예 학습이란 무엇인가요?

• 소수의 샷 프롬프트 대 미세 조정 LLM

• 소수 정예 학습을 위한 상위 5가지 연구 논문

LLM을 위한 소수 샷 프롬프트, 학습 및 미세 조정 - AI&YOU #67

몇 개의 예제만으로 AI 모델이 새로운 개념이나 작업을 학습할 수 있도록 하는 혁신적인 머신러닝 패러다임입니다. 방대한 양의 레이블이 지정된 학습 데이터가 필요한 기존의 지도 학습 방법과 달리, 소수 샷 학습 기법을 사용하면 적은 수의 샘플만으로 모델을 효과적으로 일반화할 수 있습니다. 이 접근 방식은 많은 반복 없이도 새로운 아이디어를 빠르게 파악하는 인간의 능력을 모방합니다.

몇 샷 학습의 핵심은 사전 지식을 활용하고 새로운 시나리오에 빠르게 적응하는 능력에 있습니다. 모델이 '학습하는 방법'을 배우는 메타 학습과 같은 기술을 사용하여 Few Shot Learning 알고리즘은 최소한의 추가 교육으로 다양한 작업을 처리할 수 있습니다. 이러한 유연성 덕분에 데이터가 부족하거나 비용이 많이 들거나 지속적으로 진화하는 시나리오에서 매우 유용한 도구가 될 수 있습니다.

AI의 데이터 부족 문제

모든 데이터가 똑같이 생성되는 것은 아니며, 고품질의 라벨링된 데이터는 희귀하고 귀중한 상품일 수 있습니다. 이러한 희소성은 만족스러운 성능을 달성하기 위해 일반적으로 수천 또는 수백만 개의 레이블이 지정된 예제가 필요한 기존의 지도 학습 접근 방식에 상당한 도전이 됩니다.

데이터 부족 문제는 희귀 질환으로 인해 문서화된 사례가 제한적인 의료 분야나 새로운 범주의 데이터가 자주 등장하는 급변하는 환경에서 특히 심각합니다. 이러한 시나리오에서는 대규모 데이터 세트를 수집하고 라벨을 지정하는 데 필요한 시간과 리소스가 엄청나게 많이 소요되어 AI 개발 및 배포에 병목 현상이 발생할 수 있습니다.

몇 번의 샷 학습 대 기존의 지도 학습

소수 샷 학습과 기존 지도 학습의 차이점을 이해하는 것은 실제 영향을 파악하는 데 매우 중요합니다.

전통 지도 학습는 강력하지만 단점도 있습니다:

1. 데이터 종속성: 제한된 트레이닝 데이터로 어려움을 겪습니다.

2. 유연성: 훈련된 특정 작업에서만 잘 수행합니다.

3. 리소스 집약도: 대용량, 고가의 데이터 세트가 필요합니다.

4. 지속적인 업데이트: 동적인 환경에서 자주 재교육이 필요합니다.

몇 샷 학습 는 패러다임의 전환을 제공합니다:

1. 샘플 효율성: 메타 학습을 사용하여 몇 가지 예시를 통해 일반화합니다.

2. 빠른 적응: 최소한의 예제로 새로운 작업에 빠르게 적응할 수 있습니다.

3. 리소스 최적화: 데이터 수집 및 라벨링 필요성을 줄입니다.

4. 지속적인 학습: 새로운 지식을 잊지 않고 통합하는 데 적합합니다.

5. 다용도성: 컴퓨터 비전부터 NLP까지 다양한 영역에 적용할 수 있습니다.

이러한 과제를 해결함으로써 몇 샷 학습은 보다 적응력 있고 효율적인 AI 모델을 구현하여 AI 개발의 새로운 가능성을 열어줍니다.

효율적인 샘플 학습의 스펙트럼

제로 샷, 원 샷, 소수 샷 학습 등 필요한 학습 데이터를 최소화하기 위한 다양한 접근 방식이 있습니다.

제로 샷 학습: 예제 없이 학습하기

• 텍스트 설명과 같은 보조 정보를 사용하여 보이지 않는 클래스를 인식합니다.

• 모든 클래스에 대한 레이블이 지정된 예제가 비현실적이거나 불가능할 때 유용합니다.

원샷 학습: 단일 인스턴스에서 학습하기

• 단 하나의 예제에서 새로운 클래스를 인식합니다.

• 개념을 빠르게 파악하는 인간의 능력을 모방합니다.

• 얼굴 인식과 같은 분야에서 성공

몇 번의 샷 학습: 최소한의 데이터로 작업 마스터하기

• 새 클래스당 2~5개의 레이블이 지정된 예제 사용

• 극한의 데이터 효율성과 기존 방법의 균형

• 새로운 작업이나 수업에 빠르게 적응할 수 있습니다.

• 메타 학습 전략을 활용하여 학습 방법 배우기

이러한 다양한 접근 방식은 제한된 사례로부터 학습해야 하는 과제를 해결하는 데 고유한 기능을 제공하므로 데이터가 부족한 영역에서 매우 유용합니다.

몇 샷 프롬프트 대 미세 조정 LLM

이 영역에는 두 가지 강력한 기법이 더 있는데, 바로 소수 샷 프롬프트와 미세 조정입니다. 소수의 예제를 포함하는 영리한 입력 프롬프트를 제작하여 모델이 추가 학습 없이 특정 작업을 수행하도록 안내하는 것이 소샷 프롬프트입니다. 반면에 미세 조정은 제한된 양의 작업별 데이터를 사용하여 모델의 매개변수를 업데이트하여 방대한 지식을 특정 도메인이나 애플리케이션에 맞게 조정하는 것입니다.

두 가지 접근 방식은 모두 소량 학습의 범주에 속합니다. 이러한 기술을 활용하면 LLM의 성능과 활용성을 획기적으로 향상시켜 자연어 처리 등 다양한 분야에서 더욱 실용적이고 효과적인 도구로 활용할 수 있습니다.

몇 번만 촬영하면 됩니다: LLM 잠재력 발휘하기

몇 샷 프롬프트는 모델의 지침 이해 능력을 활용하여 제작된 프롬프트를 통해 LLM을 효과적으로 '프로그래밍'합니다.

몇 샷 프롬프트는 모델의 패턴 인식과 적응력을 활용하여 원하는 작업을 보여주는 1~5개의 예시를 제공합니다. 이를 통해 명시적으로 학습되지 않은 작업도 수행할 수 있어 상황에 맞는 학습을 위한 LLM의 역량을 활용할 수 있습니다.

명확한 입출력 패턴을 제시함으로써 몇 번의 프롬프트만으로 LLM이 새로운 입력에 유사한 추론을 적용하도록 안내하여 매개변수 업데이트 없이 새로운 작업에 빠르게 적응할 수 있습니다.

몇 샷 프롬프트 유형(제로 샷, 원샷, 몇 샷)

소수 샷 프롬프트는 제공되는 예제의 수에 따라 각각 정의되는 다양한 접근 방식을 포함합니다. (소수 샷 학습과 마찬가지로):

1. 제로 샷 프롬프트: 이 시나리오에서는 예제가 제공되지 않습니다. 대신 모델에 작업에 대한 명확한 지침이나 설명이 제공됩니다. 예를 들어 "다음 영어 텍스트를 프랑스어로 번역: [입력 텍스트]"와 같은 예가 있습니다.

2. 원샷 프롬프트: 여기에서는 실제 입력 전에 하나의 예가 제공됩니다. 이를 통해 모델에 예상되는 입력-출력 관계의 구체적인 인스턴스를 제공합니다. 예를 들어 "다음 리뷰의 감성을 긍정 또는 부정으로 분류하세요. 예: '이 영화는 환상적이었다!' - 긍정적 입력: '줄거리를 참을 수 없었다.' - [모델이 응답 생성]"

3. 몇 번 촬영한 프롬프트: 이 접근 방식은 실제 입력 전에 여러 예제(일반적으로 2~5개)를 제공합니다. 이를 통해 모델은 작업에서 더 복잡한 패턴과 뉘앙스를 인식할 수 있습니다. 예를 들어 "다음 문장을 질문 또는 진술로 분류하세요: '하늘은 파랗다.' - 문 '지금 몇 시인가요?' - 질문 '나는 아이스크림을 좋아해요.' - 문 입력: '가장 가까운 식당을 어디에서 찾을 수 있나요?' - [모델에서 응답 생성]"

효과적인 단발성 프롬프트 디자인

효과적인 단발성 프롬프트를 만드는 것은 예술이자 과학입니다. 다음은 고려해야 할 몇 가지 주요 원칙입니다:

1. 명확성과 일관성: 예제와 지침이 명확하고 일관된 형식을 따르도록 하세요. 이렇게 하면 모델이 패턴을 더 쉽게 인식하는 데 도움이 됩니다.

2. 다양성: 여러 예제를 사용할 때는 가능한 입력과 출력의 범위를 포괄하여 모델이 작업을 더 폭넓게 이해할 수 있도록 하세요.

3. 관련성: 타겟팅하는 특정 작업 또는 도메인과 밀접한 관련이 있는 예시를 선택하세요. 이렇게 하면 모델이 지식의 가장 관련성이 높은 측면에 집중할 수 있습니다.

4. 간결함: 충분한 컨텍스트를 제공하는 것이 중요하지만, 모델을 혼란스럽게 하거나 핵심 정보를 희석시킬 수 있는 지나치게 길거나 복잡한 프롬프트는 피하세요.

5. 실험: 다양한 프롬프트 구조와 예시를 반복하고 실험하여 특정 사용 사례에 가장 적합한 것을 찾는 것을 두려워하지 마세요.

단발성 프롬프트의 기술을 습득하면 최소한의 추가 입력이나 교육만으로 다양한 작업을 처리할 수 있도록 LLM의 잠재력을 최대한 발휘할 수 있습니다.

LLM 미세 조정: 제한된 데이터로 모델 조정하기

소량 프롬프트는 모델 자체를 수정하지 않고도 새로운 작업에 LLM을 적용할 수 있는 강력한 기술이지만, 미세 조정은 특정 작업이나 도메인에서 더 나은 성능을 위해 모델의 매개변수를 업데이트할 수 있는 방법을 제공합니다. 미세 조정을 사용하면 소량의 작업별 데이터만 사용하여 특정 요구 사항에 맞게 조정하면서 사전 학습된 LLM에 인코딩된 방대한 지식을 활용할 수 있습니다.

LLM의 맥락에서 미세 조정 이해하기

LLM을 미세 조정하려면 소규모의 작업별 데이터 세트에 대해 사전 학습된 모델을 추가로 학습시켜야 합니다. 이 프로세스는 기존 지식을 기반으로 모델을 대상 작업에 맞게 조정하는 동시에 처음부터 훈련하는 것보다 적은 데이터와 리소스를 필요로 합니다.

LLM에서 미세 조정은 일반적으로 작업별 기능에 대해 상위 계층의 가중치를 조정하는 반면 하위 계층은 거의 변경하지 않습니다. 이러한 '전이 학습' 접근 방식은 광범위한 언어 이해력을 유지하면서 전문 역량을 개발할 수 있습니다.

몇 번의 촬영으로 미세 조정하는 기술

몇 샷 미세 조정은 클래스 또는 작업당 10~100개의 샘플만 사용하여 모델을 조정하는 것으로, 라벨링된 데이터가 부족할 때 유용합니다. 주요 기술은 다음과 같습니다:

1. 프롬프트 기반 미세 조정: 몇 번만 촬영하는 프롬프트와 매개변수 업데이트를 결합합니다.

2. 메타 학습 접근 방식: 다음과 같은 방법 MAML 빠른 적응을 위해 좋은 초기화 지점을 찾는 것을 목표로 합니다.

3. 어댑터 기반 미세 조정: 사전 학습된 모델 레이어 사이에 작은 '어댑터' 모듈을 도입하여 학습 가능한 파라미터를 줄입니다.

4. 상황에 맞는 학습: 프롬프트만으로 적응을 더 잘 수행하도록 LLM을 미세 조정합니다.

이러한 기술을 통해 LLM은 최소한의 데이터로 새로운 작업에 적응할 수 있어 활용성과 효율성이 향상됩니다.

소수의 샷 프롬프트 대 미세 조정: 올바른 접근 방식 선택하기

특정 작업에 LLM을 적용하는 경우, 단발성 프롬프트와 미세 조정 모두 강력한 솔루션을 제공합니다. 그러나 각 방법에는 고유한 장점과 한계가 있으며 올바른 접근 방식을 선택하는 것은 다양한 요인에 따라 달라집니다.

소수의 샷 프롬프트 강점:

• 모델 파라미터 업데이트가 필요하지 않으므로 원본 모델을 유지합니다.

• 유연성이 뛰어나며 즉시 적용 가능

• 추가 교육 시간이나 컴퓨팅 리소스가 필요하지 않습니다.

• 빠른 프로토타이핑 및 실험에 유용합니다.

제한 사항:

• 특히 복잡한 작업의 경우 성능이 일관성이 떨어질 수 있습니다.

• 모델의 원래 기능과 지식에 의해 제한됨

• 고도로 전문화된 도메인이나 작업에서 어려움을 겪을 수 있습니다.

강점 미세 조정:

• 특정 작업에서 더 나은 성과를 달성하는 경우가 많습니다.

• 새로운 도메인 및 전문 어휘에 맞게 모델 조정 가능

• 유사한 입력값에 대해 보다 일관된 결과 제공

• 지속적인 학습 및 개선 가능성

제한 사항:

• 추가 교육 시간 및 컴퓨팅 리소스 필요

• 주의 깊게 관리하지 않으면 치명적인 망각의 위험이 있습니다.

• 소규모 데이터 세트에 과대 적합할 수 있음

• 유연성 저하, 중요한 작업 변경 시 재교육 필요

소수 정예 학습을 위한 상위 5가지 연구 논문

이번 주에는 이 분야를 크게 발전시킨 다음 다섯 편의 논문을 살펴보며 AI 기능을 재구성하는 혁신적인 접근 방식을 소개합니다.

1️⃣ 원샷 학습을 위한 매칭 네트워크"(Vinyals et al., 2016)

메모리와 주의 메커니즘을 사용하는 획기적인 접근 방식을 도입했습니다. 매칭 함수는 쿼리 예제와 레이블이 지정된 지원 예제를 비교하여 소수의 샷 학습 방법에 대한 새로운 표준을 설정합니다.

2️⃣ 소수의 샷 학습을 위한 프로토타입 네트워크"(Snell et al., 2017)

클래스가 단일 프로토타입으로 표현되는 메트릭 공간을 학습하는 더 간단하면서도 효과적인 접근 방식을 제시했습니다. 그 단순성과 효과성으로 인해 후속 연구에서 널리 사용되는 기준이 되었습니다.

3️⃣ 비교 학습: 소수 학습을 위한 관계 네트워크"(Sung et al., 2018)

학습 가능한 관계 모듈을 도입하여 모델이 특정 작업과 데이터 분포에 맞는 비교 지표를 학습할 수 있도록 했습니다. 다양한 벤치마크에서 강력한 성능을 입증했습니다.

4️⃣ 소수 샷 분류에 대한 면밀한 검토"(Chen et al., 2019)

기존 방법에 대한 종합적인 분석을 제공하여 일반적인 가정에 이의를 제기합니다. 기능 백본과 교육 전략의 중요성을 강조하면서 더 복잡한 접근 방식과 일치하거나 이를 능가하는 간단한 기준 모델을 제안했습니다.

5️⃣ 메타 기준선: 소수의 학습을 위한 간단한 메타학습 탐색"(Chen et al., 2021)

표준 사전 교육과 메타 학습 단계를 결합하여 최첨단 성능을 달성했습니다. 표준 훈련과 메타러닝 목표 간의 절충점을 강조했습니다.

이 논문들은 학술 연구를 발전시켰을 뿐만 아니라 엔터프라이즈 AI의 실제 적용을 위한 길을 열었습니다. 이는 많은 비즈니스 상황에서 중요한 역량인 제한된 데이터로부터 학습할 수 있는 보다 효율적이고 적응력 있는 AI 시스템을 향한 진전을 의미합니다.

결론

단발성 학습, 프롬프트, 미세 조정은 최소한의 데이터로 특수한 작업에 신속하게 적응할 수 있는 획기적인 접근 방식입니다. 지금까지 살펴본 바와 같이 이러한 기술은 자연어 처리 작업의 향상부터 의료, 법률, 기술 등의 분야에서 도메인별 적응을 가능하게 하는 등 산업 전반의 다양한 애플리케이션에 맞게 LLM을 조정하는 데 있어 전례 없는 유연성과 효율성을 제공합니다.

시간을 내어 AI & YOU를 읽어주셔서 감사합니다!

인포그래픽, 통계, 방법 가이드, 기사, 동영상 등 엔터프라이즈 AI에 관한 더 많은 콘텐츠를 보려면 다음에서 Skim AI를 팔로우하세요. LinkedIn

AI 자문, 부분적인 AI 개발 또는 실사 서비스를 찾고 있는 창업자, CEO, 벤처 캐피털리스트 또는 투자자이신가요? 귀사의 AI 제품 전략 및 투자 기회에 대해 정보에 입각한 결정을 내리는 데 필요한 가이드를 받아보세요.

엔터프라이즈 AI 솔루션을 시작하는 데 도움이 필요하신가요? 유니티의 AI 워크포스 관리 플랫폼으로 나만의 AI 워커를 구축하고 싶으신가요? 상담 신청하기

유니티는 다음 산업 분야의 벤처 캐피탈 및 사모펀드 지원 기업을 위한 맞춤형 AI 솔루션을 구축합니다: 의료 기술, 뉴스/콘텐츠 집계, 영화 및 사진 제작, 교육 기술, 법률 기술, 핀테크 및 암호화폐.