0. Background ​ Attention Mechanism이 나오기 전에는 Seq2Seq Model이 주로 사용되었습니다. ​ Seq2Seq Model은 당시에는 훌륭한 Idea였지만, 치명적인 문제점을 가지고 있었습니다. ​ 그 어떤 입력값이 들어오더라도 최종적으로 출력은 고정된 길이의 Vector(Hidden State)가 나온다는 것입니다. ​ 입력 문장이 짧으면 별문제가 안되겠지만, 입력 문장이 길어질수록 그 안에 담긴 내용들, 특히 앞쪽의 단어들은 거의 제대로 표현할 수 없다는 문제가 있었습니다. ​ Attention Mechanism은 이 문제를 개선하기 위해서, Seq2Seq 구조의 각 RNN Cell들의 출력(Hidden State)도 Decoder의 입력으로 사용하자는 Idea에서 ..

PyTorch와 TensorFlow는 오늘날 가장 인기 있는 두 가지 Deep Learning Framework입니다. 각 진영에는 열렬한 지지자들이 있고, 어떤 Framework가 더 우월한가에 대해서 오랫동안 논쟁이 되어 왔습니다. PyTorch와 TensorFlow는 비교적 짧은 시간 동안 빠르게 발전하여서 논쟁이 계속되고 있습니다. TensorFlow는 산업 중심 Framework로 그리고, PyTorch는 연구 중심 Framework로 유명하지만 이러한 개념은 부분적으로 오래된 정보에서 비롯되었습니다. 어떤 Framework가 더 나은지에 대한 대화는 2022년이 되면서 더 복잡해집니다. 이제 두 Framework의 차이점을 살펴보겠습니다. 1. Practical Considerations ​ ..

​ 안녕하세요, MoonLight입니다. ​ 이번 Post로 설치를 마무리하도록 하겠습니다. ​ 7. Visual Studo Code 준비 8. Visual Studo Code와 Tensorflow Container 연결 9. Image Commit 10. 최종 Test ​ ​ 이전 Post들은 아래 Link를 참조해 주세요. https://moonlight314.tistory.com/entry/Tensorflow-GPU-Docker-Install-on-WSL2-1 Tensorflow GPU Docker Install on WSL2 - #1 ​ 안녕하세요, MoonLight입니다. ​ 이번 Post 주제는 Tensorflow GPU Version Docker Image를 WSL2에 설치한 후에, Visu..

안녕하세요, MoonLight입니다. ​ 며칠전에 OpenAI에서 Sora라는 생성형 Model을 공개했는데요, 오늘은 이 Model을 잠깐 살펴볼까 합니다. https://openai.com/sora Sora: Creating video from text The current model has weaknesses. It may struggle with accurately simulating the physics of a complex scene, and may not understand specific instances of cause and effect. For example, a person might take a bite out of a cookie, but afterward, the cookie..

안녕하세요, MoonLight입니다. ​ 이번 Post에서는 지난 달 카카오브레인에서 발표한 Multimodal LLM Honeybee에 대해서 알아보도록 하겠습니다. ​ Multimodal Model이란 다양한 입력의 형태를 받아들여서 결과를 내는 Model을 뜻합니다. ​ 예를 들어, 이미지, 텍스트, 소리 등의 입력을 받아서 학습한 Model을 뜻합니다. ​ Honeybee의 경우에는 이미지와 텍스트를 입력으로 받아서 텍스트를 출력하는 LLM입니다. ​ 카카오브레인에서 Honeybee를 Open Source로 공개하였고, 실제로 어느 정도 성능인지 제가 한 번 Test해 보도록 하겠습니다. ​ ​ 카카오브레인 Blog https://blog.kakaobrain.com/news/1391​ 멀티모달 언..

​ 안녕하세요, MoonLight입니다. ​ 지난 번에 WSL2에 Tensorflow GPU Docker를 설치하고 사용하는 방법에 대한 Post를 올렸는데요, PyTorch는 어떻게 하면 되는지에 대해서 문의하시는 분들이 계셔서 이번에는 WSL에 PyTorch를 실행시키는 방법에 대해서 알아보도록 하겠습니다. ​ 먼저, WSL에 Tensorflow Docker를 실행하는 방법에 대해서 읽어보시고 오시면 많은 도움이 될 것입니다. https://moonlight314.tistory.com/entry/Tensorflow-GPU-Docker-Install-on-WSL2-1 https://moonlight314.tistory.com/entry/Tensorflow-GPU-Docker-Install-on-WSL2..

​ 안녕하세요, MoonLight입니다. ​ 이번 Post 주제는 Tensorflow GPU Version Docker Image를 WSL2에 설치한 후에, Visual Studio Code에서 이를 활용하여 Train을 하는 방법까지 진행해 보려고 합니다. ​ 먼저, 제가 WSL2에 Tensorflow Docker Image로 설치하려는 이유는 1) Windows 환경이 친숙하고 편합니다. 2) Tensorflow 2.10부터는 Native Windows에서 설치가 되지 않는다고 합니다. 3) Docker를 이용하면 복잡한 설치과정을 거치지 않아도 되기 때문에 매우 편합니다. ​ ​ ​ 최종적으로 완성된 전체 구조는 아래와 같을 것입니다. ​ 전체적으로 아래의 순서로 진행할 예정입니다 WSL2 설치 U..

​ 안녕하세요, MoonLight입니다. ​ 이번 Post에서는 지난 Post에 이어서 아래 내용들의 설치를 계속 진행해 보도록 하겠습니다. ​ 4. Docker 설치 5. nVidia CUDA Toolkit Container 설치 6. Tensorflow GPU Container 설치 ​ ​ 이전 Post는 아래 Link를 참고해 주세요. https://moonlight314.tistory.com/entry/Tensorflow-GPU-Docker-Install-on-WSL2-1 ​ ​ 4. Docker 설치 저는 WSL2에 설치된 Ubuntu안에 Docker를 설치하고, WSL2안에서 Tensorflow Container를 실행할 예정입니다. 그래서, 먼저 WSL2에 Ububtu에 Docker 설치를 ..

안녕하세요, MoonLight입니다. ​ 가끔 새로 받은 Source를 실행하다보면, 'No module named ~~~' 이라는 Error를 자주 보게 되는데요 ​ 대부분은 pip install해서 해당 package 설치해주면 끝인데, 간혹 Error가 발생한 Package 이름과 설치할 때 적어야 할 Package Name이 다른 경우가 있습니다. ​ 그 대표적인 예가 PIL인데요, 아래와 같이 Error가 발생해서 설치해보면 설치가 되지 않습니다. ​ ​ ​ ​ ​ ​ 그런 경우에는 아래와 같이 pip install pillow라고 입력하셔야 제대로 설치가 가능합니다. ​ ​ 이번 Post에서는 Simple Tip을 공유해 봤습니다. ​ 다음에 또 만나요~

안녕하세요, MoonLight입니다. 이번 Post에서는 Tensorflow Model을 모바일 Device, 임베디드 혹은 IoT 기기에서 배포하고 실행하기 위한 File Format인 TFLite(TensorFlow Lite)을 사용하는 방법에 대해서 알아보도록 하겠습니다. TFLite은 앞서 말씀드렸듯이 Computing Power가 낮은 Device에서도 원래 Model과 동일한 성능이 나올 수 있도록 변환된 File Format입니다. 제가 실제로 수행했던 Project에서도 임베디드 디바이스에 모델을 실행하는 경우에 TFLite / ONNX 등의 File Format이 많이 사용되더라구요. TFLite는 기존에 있던 Model File을 변환하는 것이 주된 목적이기 때문에 우선 Model Co..