안녕하세요, MoonLight입니다.​LLM Fine-Tuning 관련 내용을 보다보면, 'Pre-Trained LLM을 정렬(Alignment)한다.'라는 말을 종종 보곤합니다.​이번 Post에서는 LLM에서 '정렬(Alignment)'의 의미를 한 번 알아보도록 하겠습니다.​ 1. 의미 LLM에서의 Alignment은 "LLM의 목표와 행동을 인간의 의도, 가치, 선호도와 일치시키는 과정"을 의미합니다.좀 더 풀어서 말하면, 원래 Pre-Trained LLM은 Text를 잘 생성하는 능력만 있습니다. LLM이 생성한 Text가 맞는 말인지, 문법적으로 어울리는지, 해로운 내용이나 적절치 못한 내용은 없는지 등은 알 수 없는 것입니다.Alignment는 LLM이 생성한 Text가 인간이 보기에 적절하도..

안녕하세요, MoonLight입니다.​LLM 분야에서 다운스트림(Downstream)은 사전 훈련된(pre-trained) LLM을 특정 목적이나 작업에 맞게 활용하거나 적용하는 모든 후속 단계를 의미합니다.​ 1. LLM의 개발 과정 LLM의 개발 과정을 크게 두 단계로 나누면 업스트림 (Upstream)과정과 다운스트림(Downstream) 과정으로 나눌 수 있습니다. 1.1. 업스트림 (Upstream)사전 훈련 (Pre-training)단계라고 말할 수 있으며, 이 단계에서는 인터넷과 같은 방대한 텍스트 데이터를 사용하여 LLM을 처음부터 학습시키는 단계입니다.​이 단계에서는 모델이 언어 자체의 패턴, 문법, 의미, 상식 등 광범위한 지식을 학습하게 되며, 당연하게도 매우 많은 계산 자원과 ..