안녕하세요, MoonLight입니다.​이번 Post에서는 지난달 공개된 'Manus(마누스)'라는 LLM AI Agent를 소개해 드리고자 합니다.​   1. Manus ? 지난 3월에 공개된 Manus는 지이차오(季逸超), 샤오홍(肖弘)이 설립한 Monica라는 중국 회사에서 개발한 LLM AI Agent이며, 3.5 Sonnet를 기반으로 다수의 툴을 적용하여 멀티 에이전트 협업 시스템을 구축하였습니다.​초대 코드가 있어야 사용할 수 있고, 초대 코드를 신청한다고 해서 모두 초대 코드를 받을 수 있는 것이 아니고, 심사(?)를 거쳐서 초대 코드를 배포한다고 하더군요.​​​간단하게 사용하려는 이유 등을 작성하여 보내면 몇일후에 심사를 거쳐 초대코드를 보내준다고 하던데, 저는 상당히 오래 걸렸습니다.​어..

안녕하세요, MoonLight입니다.​LoRA(Low-Rank Adaptation)는 LLM을 효율적으로 Fine-Tuning하기 위한 방법 중 하나입니다.마이크로소프트 연구팀이 2021년에 발표한 논문 "LoRA: Low-Rank Adaptation of Large Language Models"에서 처음 소개되었습니다.이번 Post에서는 LoRA의 핵심 Idea와 동작 방식, 장점을 자세히 설명해 드리겠습니다.​   1. LoRA의 배경 OpenAI의 GPT, LLaMa 2, Claude 등과 같은 기반 Model 및 LLM은 텍스트 생성부터 언어 이해에 이르기까지 다양한 애플리케이션 분야에서 혁신적인 발전을 이루었습니다. ​이러한 Model들은 방대한 양의 Parameter를 활용하여 탁월한 성능을 ..

안녕하세요, MoonLight입니다.​Flash Attention은 Stanford 연구진에 의해 제안되었으며, 기존 Transformer 모델의 핵심 구성 요소인 Attention 메커니즘을 개선한 기술입니다. Paperhttps://arxiv.org/pdf/2307.08691 FlashAttention GitHubhttps://github.com/Dao-AILab/flash-attention GitHub - Dao-AILab/flash-attention: Fast and memory-efficient exact attentionFast and memory-efficient exact attention. Contribute to Dao-AILab/flash-attention development by ..

이번 Post에서는 U-Net에 관해서 알아보도록 하겠습니다.​0. Introduction​U-Net은 2015년 Olaf Ronneberger, Philipp Fischer, Thomas Brox의 “U-Net_Convolutional Networks for Biomedical Image Segmentation”이라는 Paper에 처음 소개되었으며, 효율적인 구조와 성능은 특히 적은 양의 Train Data로도 우수한 분할 결과를 얻을 수 있게 하며, Paper 제목에서도 유추할 수 있듯이, Data가 부족하거나 비싼 의료 분야에서 특히 두각을 나타냈습니다.​​1. 사용 예U-Net의 강점은 배경과 객체를 분리하는데 특화된 모델이고 또한 특히 적은 양의 Train Data로도 우수한 분할 결과를 얻을 ..

안녕하세요, MoonLight입니다.​어제(5월 1일)부터 COEX에서 2024 AI EXPO KOREA가 진행되고 있습니다.​작년에 이어서 올해도 여전히 생성형 AI / LLM / ChatGPT를 이용한 다양한 서비스를 제공하는 업체들이 많이 보였습니다.​아직도 여전히 대세는 생성형 AI 특히, Text & Image를 융합한 서비스가 많이 등장했고,​가끔씩 영상 및 음성을 이용한 서비스를 개발해서 소개하는 업체들도 많이 눈에 띄었습니다.​행사는 내일까지이니 시간되시면 한 번 가보시는 것을 추천드립니다.        ​ 그 뜨거운 현장, 구경 한 번 해 보세요~ ​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​ ​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​​ ​​​​​..

한빛미디어 '나는 리뷰어다' 활동을 위해서 책을 제공받아 작성된 서평입니다. ​ ​ ​ ​ ChatGPT가 발표된 이후로 최근 몇 년간은 생성형 AI Model이 급속도로 발전하는 기간이었습니다. 처음에는 텍스트만 생성하다가 최근 Sora가 보여주듯이 이제는 멋진 영상을 만들어내는 경지에까지 왔습니다. ​ 이 책은 최근 몇 년간 급속도로 발전한 이미지 생성 AI 기술의 여정을 탐구하고 있습니다. GAN으로 시작되는 이미지 생성 AI의 역사에서부터 최근의 혁신인 Dall-E, 미드저니, 그리고 오픈 소스 프로젝트인 Stable Diffusion까지 각 Model의 특징을 자세히 비교하고 있습니다. 기술적 복잡성을 걷어내고, AI가 어떻게 우리의 창의력을 확장하고 다양한 분야에서 활용될 수 있는지에 초점을 ..

​ ​ 22년 말에 ChatGPT가 생성형 AI로 무장하고 세상에 처음 소개된 이후로 생성형 AI는 우리가 알게 모르게 우리의 상상력을 자극하며 일상의 많은 문제들을 해결해 주는 데 큰 역할을 하고 있습니다. ​ 생성형 AI를 우리 주위에서 쉽게 접할 수는 있지만, 나만을 위한 AI 비서를 두고 싶다는 생각을 할 수도 있을 것입니다. "Hey, 파이썬! 생성형 AI 활용 앱 만들어 줘"는 이런 독자들이 찾던 바로 그 책입니다. ​ 이 책은 독자가 직접 나만의 AI 개인 비서 ChatBot을 작성하는 과정을 Step 별로 필요한 지식과 실제 사용법을 친절하고 자세하게 가이드 해줍니다. ​ 단순히 생성형 AI의 기술적인 내용을 복잡한 수식과 어려운 코드의 나열로 설명하는 것이 아니라, 실제 적용 사례를 통해..

안녕하세요, MoonLight입니다. ​ 며칠전에 OpenAI에서 Sora라는 생성형 Model을 공개했는데요, 오늘은 이 Model을 잠깐 살펴볼까 합니다. https://openai.com/sora Sora: Creating video from text The current model has weaknesses. It may struggle with accurately simulating the physics of a complex scene, and may not understand specific instances of cause and effect. For example, a person might take a bite out of a cookie, but afterward, the cookie..

안녕하세요, MoonLight입니다. ​ 1월에 신청한 한빛미디어 도서 서평단, '나는 리뷰어다2024'에 선정되었습니다. ​ 2022년에 처음으로 활동을 시작했고, 2023년에는 선정되지 못해서 활동하지 못했지만 올해 다시 선정이 되었네요. ​ 저는 AI 관련 서적을 주로 신청하여 리뷰를 진행했었고, 올해도 변함없이 AI관련 서적을 리뷰해볼 예정입니다. ​ 작년과 올해의 화두는 역시 Generative AI인 만큼, 관련 도서의 비중을 늘려볼까 합니다. ​ 열심히 활동하겠습니다 !! ​ ​ ​ ​ ​

2023 AIoT 국제전시회가 10월 11일부터 13일까지 Coex에서 열리고 있습니다. https://www.aiotkorea.or.kr/2023/kor/ AIoT Korea Exhibition www.aiotkorea.or.kr 제 본업이 이와 연관된 일이다 보니, 왠만하면 빠짐없이 관련 행상에 참석하려고 노력하고 있습니다. ​ IoT와 AI가 결합된 다양한 Solution 및 관련 제품, 장비 들이 전시되어 있으며, ​ Conference도 Hall E에서 진행되고 있습니다. ​ 관심있으신 분들을 위해 현장 사진 조금 보여드리겠습니다. ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ​ ..