안녕하세요, MoonLight입니다.​지난 3월말에 Google에서 발표한 하나의 논문때문에 하루만에 마이크론, 삼성 등과 같은 메모리 생산 업체들의 시가총액이 수십조가 없어진 일이 있었죠.​제목은 'TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate'이고 아래에 Link를 걸어두었습니다.​논문 Linkhttps://arxiv.org/abs/2504.19874 TurboQuant: Online Vector Quantization with Near-optimal Distortion RateVector quantization, a problem rooted in Shannon's source coding theory, aims t..

안녕하세요, MoonLight입니다.​RAG System 구축을 진행중에 어떤 LLM을 사용해야 할 지를 고민하다가 현재 시장에 출시된 접근 가능한 LLM들의 특징을 전체적으로 조사할 필요를 느껴서 본 자료를 만들게 되었습니다.​전체 3개의 Post 중에 마지막이며, 나머지 Post는 아래 Link를 참고해 주시기 바랍니다. https://moonlight314.tistory.com/entry/%EC%A3%BC%EC%9A%94-LLM-Research-1 주요 LLM Research #1안녕하세요, MoonLight입니다.​RAG System 구축을 진행중에 어떤 LLM을 사용해야 할 지를 고민하다가 현재 시장에 출시된 접근 가능한 LLM들의 특징을 전체적으로 조사할 필요를 느껴서 본 자료를 만moonli..

안녕하세요, MoonLight입니다.​RAG System 구축을 진행중에 어떤 LLM을 사용해야 할 지를 고민하다가 현재 시장에 출시된 접근 가능한 LLM들의 특징을 전체적으로 조사할 필요를 느껴서 본 자료를 만들게 되었습니다.​전체 3개의 Post 중에 2번째이며, 나머지 Post는 아래 Link를 참고해 주시기 바랍니다.​https://moonlight314.tistory.com/entry/%EC%A3%BC%EC%9A%94-LLM-Research-1 주요 LLM Research #1안녕하세요, MoonLight입니다.​RAG System 구축을 진행중에 어떤 LLM을 사용해야 할 지를 고민하다가 현재 시장에 출시된 접근 가능한 LLM들의 특징을 전체적으로 조사할 필요를 느껴서 본 자료를 만moonli..

안녕하세요, MoonLight입니다.​RAG System 구축을 진행중에 어떤 LLM을 사용해야 할 지를 고민하다가 현재 시장에 출시된 접근 가능한 LLM들의 특징을 전체적으로 조사할 필요를 느껴서 본 자료를 만들게 되었습니다.​본 자료에는 다음과 같은 LLM들에 대한 자료가 포함되어 있습니다.​1. Mistral2. Qwen3. Llama4. Gemma5. Solar LLM6. DeepSeek7. Claude8. Command R+9. Phi-310. Xionic11. Falcon12. HyperCLOVA X​​각 LLM에 대해서 개발사 정보, Local 환경에서의 접근성(Model Download 가능 여부), API 접근 방식, Model의 종류(사용 목적별, Parameter 규모 등), 주요 특..

안녕하세요, MoonLight입니다.​지난 Post에서는 SFT(Supervised Fine-Tuning) Trainer를 사용하는 방법에 대한 내용을 다루었습니다.https://moonlight314.tistory.com/entry/Example-of-SFTSupervised-Fine-Tuning-Trainer-in-TRL Example of SFT(Supervised Fine-Tuning) Trainer in TRL안녕하세요, MoonLight입니다.​지난 번 Post에서 LLM을 Fine-tuning하고 Rreinforcement learning을 적용하는 데 사용되는 도구 모음인 TRL(Transformer Reinforcement Learning)에 대해서 알아보았습니다.https://moonl..

안녕하세요, MoonLight입니다.​오늘 OpenAI가 GPT-5를 공개했습니다. ​아래 Link는 Sam Altman이 GPT-5를 소개하는 영상입니다.https://www.youtube.com/live/0Uu_VJeVVfo?si=llpuPfc7TV0PsCiS 저는 최근까지 GPT-4보다는 Gemini가 더 괜찮은 거 같아서 Gemini를 쭉 써오고 있었는데, GPT-5가 얼마나 더 좋아졌고, 어떤 점이 개선 & 추가가 되었는지 한 번 알아보도록 하겠습니다.​​ 주요 기술적 변화 요약 항목 GPT-5 GPT-4 (이전 버전)모델 방식 복수의 내부 모델을 자동으로 선택 단일 모델 또는 시리즈별 분리된 체계추론 전략 요청에 따라 자동 모델 라우팅 (fast vs thinking 등) 사용자가 모델을..

1. 개념 및 등장배경 LLM 분야에서 관심을 받고 있는 기술 중 하나는 바로 RAG (Retrieval-Augmented Generation)입니다. ​특정 기술이 주목받는다는 것은 기존 기술의 한계를 보완하고 새로운 가능성을 제시하기 때문인데, RAG가 바로 그러한 대표적인 예라고 할 수 있습니다.​ChatGPT의 등장은 전 세계적으로 대규모 언어 모델(LLM)의 시대를 활짝 열었습니다. 초기에는 사용자들의 간단한 질문에 답변하는 수준이었지만, 모델 자체의 기능이 향상되고 다양한 기능들이 추가되면서 사용자들은 점차 전문적인 영역에 대한 심도 있는 질문들을 던지기 시작했습니다. 하지만 곧 사용자들은 LLM이 가진 몇 가지 본질적인 문제점들에 직면하게 됩니다. 1) 지식 커트오프 (Knowledge ..

안녕하세요, MoonLight입니다.​이번 Postd에서는 지난 번 SFT Trainer 관련 Post에서 보강하는 내용입니다.https://moonlight314.tistory.com/entry/Example-of-SFTSupervised-Fine-Tuning-Trainer-in-TRL Example of SFT(Supervised Fine-Tuning) Trainer in TRL안녕하세요, MoonLight입니다.​지난 번 Post에서 LLM을 Fine-tuning하고 Rreinforcement learning을 적용하는 데 사용되는 도구 모음인 TRL(Transformer Reinforcement Learning)에 대해서 알아보았습니다.https://moonlight314.moonlight314...

안녕하세요, MoonLight입니다.​지난 번 Post에서 LLM을 Fine-tuning하고 Rreinforcement learning을 적용하는 데 사용되는 도구 모음인 TRL(Transformer Reinforcement Learning)에 대해서 알아보았습니다.https://moonlight314.tistory.com/entry/TRL-Transformer-Reinforcement-Learning TRL (Transformer Reinforcement Learning)안녕하세요, MoonLight입니다.​이번 Post에서는 LLM을 Fine-tuning하고 Rreinforcement learning을 적용하는 데 사용되는 도구 모음인 TRL(Transformer Reinforcement Learni..

안녕하세요, MoonLight입니다.​이번 Post에서는 LLM을 Fine-tuning하고 Rreinforcement learning을 적용하는 데 사용되는 도구 모음인 TRL(Transformer Reinforcement Learning)에 대해서 알아보도록 하겠습니다.​ 1. LLM Alignment 필요성 ​2017년 "Attention Is All You Need"라는 논문으로 Transformer라는 구조가 세상에 나왔고, 이 Transformer 구조를 기반으로 하는 LLM들이 방대한 데이터로 비지도 학습(Unsupervised Learning) 방식으로 사전 훈련(Pre-training)되어 광범위한 세계 지식과 추론 능력을 학습하였습니다.​하지만, Pre-training만으로는 LLM..