안녕하세요, MoonLight입니다.​어제(5월 1일)부터 COEX에서 2024 AI EXPO KOREA가 진행되고 있습니다.​작년에 이어서 올해도 여전히 생성형 AI / LLM / ChatGPT를 이용한 다양한 서비스를 제공하는 업체들이 많이 보였습니다.​아직도 여전히 대세는 생성형 AI 특히, Text & Image를 융합한 서비스가 많이 등장했고,​가끔씩 영상 및 음성을 이용한 서비스를 개발해서 소개하는 업체들도 많이 눈에 띄었습니다.​행사는 내일까지이니 시간되시면 한 번 가보시는 것을 추천드립니다.        ​ 그 뜨거운 현장, 구경 한 번 해 보세요~ ​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​ ​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​ ​​​​​..

0. Introduction ​ ​ 다른 글에서 Attention Mechanism에 대해서 알아보았습니다. ​ Attention Mechanism에 대해서 자세히 알아보시려면 아래 글을 읽어보시기를 추천드립니다. https://moonlight314.tistory.com/entry/Transformer-1-Attention-Mechanism Transformer #1 - Attention Mechanism 0. Background ​ Attention Mechanism이 나오기 전에는 Seq2Seq Model이 주로 사용되었습니다. ​ Seq2Seq Model은 당시에는 훌륭한 Idea였지만, 치명적인 문제점을 가지고 있었습니다. ​ 그 어떤 입력값이 들어 moonlight314.tistory.com ..

0. Background ​ Attention Mechanism이 나오기 전에는 Seq2Seq Model이 주로 사용되었습니다. ​ Seq2Seq Model은 당시에는 훌륭한 Idea였지만, 치명적인 문제점을 가지고 있었습니다. ​ 그 어떤 입력값이 들어오더라도 최종적으로 출력은 고정된 길이의 Vector(Hidden State)가 나온다는 것입니다. ​ 입력 문장이 짧으면 별문제가 안되겠지만, 입력 문장이 길어질수록 그 안에 담긴 내용들, 특히 앞쪽의 단어들은 거의 제대로 표현할 수 없다는 문제가 있었습니다. ​ Attention Mechanism은 이 문제를 개선하기 위해서, Seq2Seq 구조의 각 RNN Cell들의 출력(Hidden State)도 Decoder의 입력으로 사용하자는 Idea에서 ..

PyTorch와 TensorFlow는 오늘날 가장 인기 있는 두 가지 Deep Learning Framework입니다. 각 진영에는 열렬한 지지자들이 있고, 어떤 Framework가 더 우월한가에 대해서 오랫동안 논쟁이 되어 왔습니다. PyTorch와 TensorFlow는 비교적 짧은 시간 동안 빠르게 발전하여서 논쟁이 계속되고 있습니다. TensorFlow는 산업 중심 Framework로 그리고, PyTorch는 연구 중심 Framework로 유명하지만 이러한 개념은 부분적으로 오래된 정보에서 비롯되었습니다. 어떤 Framework가 더 나은지에 대한 대화는 2022년이 되면서 더 복잡해집니다. 이제 두 Framework의 차이점을 살펴보겠습니다. 1. Practical Considerations ​ ..

​ 안녕하세요, MoonLight입니다. ​ 이번 Post로 설치를 마무리하도록 하겠습니다. ​ 7. Visual Studo Code 준비 8. Visual Studo Code와 Tensorflow Container 연결 9. Image Commit 10. 최종 Test ​ ​ 이전 Post들은 아래 Link를 참조해 주세요. https://moonlight314.tistory.com/entry/Tensorflow-GPU-Docker-Install-on-WSL2-1 Tensorflow GPU Docker Install on WSL2 - #1 ​ 안녕하세요, MoonLight입니다. ​ 이번 Post 주제는 Tensorflow GPU Version Docker Image를 WSL2에 설치한 후에, Visu..

안녕하세요, MoonLight입니다. ​ 며칠전에 OpenAI에서 Sora라는 생성형 Model을 공개했는데요, 오늘은 이 Model을 잠깐 살펴볼까 합니다. https://openai.com/sora Sora: Creating video from text The current model has weaknesses. It may struggle with accurately simulating the physics of a complex scene, and may not understand specific instances of cause and effect. For example, a person might take a bite out of a cookie, but afterward, the cookie..

안녕하세요, MoonLight입니다. ​ 이번 Post에서는 지난 달 카카오브레인에서 발표한 Multimodal LLM Honeybee에 대해서 알아보도록 하겠습니다. ​ Multimodal Model이란 다양한 입력의 형태를 받아들여서 결과를 내는 Model을 뜻합니다. ​ 예를 들어, 이미지, 텍스트, 소리 등의 입력을 받아서 학습한 Model을 뜻합니다. ​ Honeybee의 경우에는 이미지와 텍스트를 입력으로 받아서 텍스트를 출력하는 LLM입니다. ​ 카카오브레인에서 Honeybee를 Open Source로 공개하였고, 실제로 어느 정도 성능인지 제가 한 번 Test해 보도록 하겠습니다. ​ ​ 카카오브레인 Blog https://blog.kakaobrain.com/news/1391​ 멀티모달 언..

​ 안녕하세요, MoonLight입니다. ​ 지난 번에 WSL2에 Tensorflow GPU Docker를 설치하고 사용하는 방법에 대한 Post를 올렸는데요, PyTorch는 어떻게 하면 되는지에 대해서 문의하시는 분들이 계셔서 이번에는 WSL에 PyTorch를 실행시키는 방법에 대해서 알아보도록 하겠습니다. ​ 먼저, WSL에 Tensorflow Docker를 실행하는 방법에 대해서 읽어보시고 오시면 많은 도움이 될 것입니다. https://moonlight314.tistory.com/entry/Tensorflow-GPU-Docker-Install-on-WSL2-1 https://moonlight314.tistory.com/entry/Tensorflow-GPU-Docker-Install-on-WSL2..

​ 안녕하세요, MoonLight입니다. ​ 이번 Post 주제는 Tensorflow GPU Version Docker Image를 WSL2에 설치한 후에, Visual Studio Code에서 이를 활용하여 Train을 하는 방법까지 진행해 보려고 합니다. ​ 먼저, 제가 WSL2에 Tensorflow Docker Image로 설치하려는 이유는 1) Windows 환경이 친숙하고 편합니다. 2) Tensorflow 2.10부터는 Native Windows에서 설치가 되지 않는다고 합니다. 3) Docker를 이용하면 복잡한 설치과정을 거치지 않아도 되기 때문에 매우 편합니다. ​ ​ ​ 최종적으로 완성된 전체 구조는 아래와 같을 것입니다. ​ 전체적으로 아래의 순서로 진행할 예정입니다 WSL2 설치 U..

​ 안녕하세요, MoonLight입니다. ​ 이번 Post에서는 지난 Post에 이어서 아래 내용들의 설치를 계속 진행해 보도록 하겠습니다. ​ 4. Docker 설치 5. nVidia CUDA Toolkit Container 설치 6. Tensorflow GPU Container 설치 ​ ​ 이전 Post는 아래 Link를 참고해 주세요. https://moonlight314.tistory.com/entry/Tensorflow-GPU-Docker-Install-on-WSL2-1 ​ ​ 4. Docker 설치 저는 WSL2에 설치된 Ubuntu안에 Docker를 설치하고, WSL2안에서 Tensorflow Container를 실행할 예정입니다. 그래서, 먼저 WSL2에 Ububtu에 Docker 설치를 ..