Downstream in LLM

안녕하세요, MoonLight입니다.

​

LLM 분야에서 다운스트림(Downstream)은 사전 훈련된(pre-trained) LLM을 특정 목적이나 작업에 맞게 활용하거나 적용하는 모든 후속 단계를 의미합니다.

​

 

1. LLM의 개발 과정

LLM의 개발 과정을 크게 두 단계로 나누면 업스트림 (Upstream)과정과 다운스트림(Downstream) 과정으로 나눌 수 있습니다.

 

 

1.1. 업스트림 (Upstream)

사전 훈련 (Pre-training)단계라고 말할 수 있으며, 이 단계에서는 인터넷과 같은 방대한 텍스트 데이터를 사용하여 LLM을 처음부터 학습시키는 단계입니다.

​

이 단계에서는 모델이 언어 자체의 패턴, 문법, 의미, 상식 등 광범위한 지식을 학습하게 되며, 당연하게도 매우 많은 계산 자원과 시간이 소요됩니다.

​

이 단계에서 만들어진 모델들의 예로써 GPT-3, BERT, LLaMA 등이 있습니다.

 

 

 

1.2. 다운스트림 (Downstream)

이 단계를 다른 의미로 전이 학습 (Transfer Learning) , 미세 조정 (Fine-tuning) , 적용 (Application) 단계라고 할 수 있습니다.

​

이미 사전 훈련된 LLM을 기반으로 하여, 특정 목표를 달성하기 위해 추가적인 작업을 수행하는 단계입니다.

​

Pre-trained Model의 범용적인 언어 능력을 활용하여 특정 작업에 대한 성능을 높이거나, 특정 요구사항에 맞게 모델을 조정합니다.

​

 

2. Example of Downstream

좀 더 구체적으로 Downstream의 예시를 알아보겠습니다.

 

 

2.1. 미세 조정 (Fine-tuning)

 

· 지도 미세 조정(Supervised Fine-Tuning, SFT)

특정 작업(예: 질의응답, 요약, 번역)에 대한 레이블된 데이터셋으로 모델을 추가 학습시키는 것.

​

· 정렬(Alignment)

인간의 선호도나 가치에 맞게 모델의 응답을 조정하는 과정으로,

인간 피드백 기반 강화학습(Reinforcement Learning from Human Feedback, RLHF)

이나 DPO(Direct Preference Optimization), PPO(Proximal Policy Optimization) 방식을 사용할 수 있습니다.

​

 

2.2. 특정 NLP 작업 적용

· 텍스트 분류 (Text Classification) : 예) 스팸 메일 분류, 감성 분석

· 개체명 인식 (Named Entity Recognition, NER)

· 질의응답 (Question Answering)

· 요약 (Summarization)

· 기계 번역 (Machine Translation)

· 텍스트 생성 (Text Generation): 예) 챗봇 응답 생성, 코드 생성, 이야기 생성

 

 

 

2.3. 평가 (Evaluation)

사전 훈련되거나 미세 조정된 모델이 특정 벤치마크나 작업에서 얼마나 잘 수행하는지 측정하는 것.

​

 

 

3. 요약

LLM 분야에서 Downstream은 사전 훈련된 대규모 모델을 가져와서, 특정 문제 해결, 특정 작업 수행, 성능 평가, 인간 가치와의 정렬 등 구체적인 목표를 위해 활용하는 모든 과정을 포괄하는 용어입니다.

이는 전이 학습(Transfer Learning)의 개념과 밀접하게 연관되어 있습니다.

​