728x90
반응형

Python 9

머신러닝 리스크 관리 with 파이썬

한빛미디어 ‘나는 리뷰어다’ 활동을 위해서 책을 제공받아 작성된 서평입니다.​​ ​​이 책은 이런 책이에요 요즘은 산업/사회 전반적으로 Machine Learning / Deep Learning이 사용되지 않는 곳을 찾기가 어려워졌습니다.​다양한 분야에서 인간의 결정에 조금씩 도움을 줍니다.​물론 그 결정이 그리 큰 위험이 없는 분야일 수도 있지만, 어떤 경우에는 그 결정이 큰 영향을 끼치는 고위험인 경우도 있습니다.​Machine Learning Model이 이와 같은 고위험 결정을 하고 있기 때문에 최근들어서 Model 그 자체의 위험성도 서서히 드러나고 있는 실정입니다.​​Machine Learning Model이 중요한 결정을 하는 일이 늘어나다 보니, 의도하지 않은 오용 혹은 의도적인 남용으로 ..

Book Review 2024.06.12

UnicodeDecodeError 'utf-8' codec can't decode byte 0x~~ in position ~ invalid start byte

안녕하세요, MoonLight입니다.​Pandas의 read_csv로 CSV file을 읽거나 혹은 Text 기반의 파일을 python에서 읽으려고 할 때, "UnicodeDecodeError 'utf-8' codec can't decode byte 0x~~ in position ~ invalid start byte"라는 Error를 종종 만나곤 합니다.​대부분 한글을 포함하거나 python에서 읽을 수 없는 특수 문자들이 포함된 경우인데, 이를 해결할 수 있는 방법들에 대해서 알아보겠습니다.​​​1. Encoding 방식 변경read_csv()등과 같이 File Open함수에 encoding parameter를 다른 방식으로 바꾸는 방법입니다.​df = pd.read_csv("Encoding_Error..

Development Tip 2024.06.12

No module named 'tqdm'

안녕하세요, MoonLight입니다.​오늘은 python package중에 하나인 tqdm을 설치하는 방법에 대해서 알아보겠습니다.​tqdm은 진행률을 표시하는데 사용하는 Package인데, 시간이 많이 걸리는 작업이 어느 정도 진행이 되었는지 표시해 주는 용도로 쓰입니다.​주로 for문의 range와 함께 사용되고, 설치되어 있지 않은 경우에는 아래와 같은 Error가 발생합니다.​​​​설치하는 방법은 매우 간단합니다. pip install tqdm​금방 설치가 완료되며, 이제부터는 문제없이 tqdm Package를 사용할 수 있습니다.​감사합니다.

Development Tip 2024.06.12

No module named 'PIL' 오류 해결 방법

안녕하세요, MoonLight입니다. ​ 가끔 새로 받은 Source를 실행하다보면, 'No module named ~~~' 이라는 Error를 자주 보게 되는데요 ​ 대부분은 pip install해서 해당 package 설치해주면 끝인데, 간혹 Error가 발생한 Package 이름과 설치할 때 적어야 할 Package Name이 다른 경우가 있습니다. ​ 그 대표적인 예가 PIL인데요, 아래와 같이 Error가 발생해서 설치해보면 설치가 되지 않습니다. ​ ​ ​ ​ ​ ​ 그런 경우에는 아래와 같이 pip install pillow라고 입력하셔야 제대로 설치가 가능합니다. ​ ​ 이번 Post에서는 Simple Tip을 공유해 봤습니다. ​ 다음에 또 만나요~

Deep_Learning 2024.01.31

TFLite File 다루기

안녕하세요, MoonLight입니다. 이번 Post에서는 Tensorflow Model을 모바일 Device, 임베디드 혹은 IoT 기기에서 배포하고 실행하기 위한 File Format인 TFLite(TensorFlow Lite)을 사용하는 방법에 대해서 알아보도록 하겠습니다. TFLite은 앞서 말씀드렸듯이 Computing Power가 낮은 Device에서도 원래 Model과 동일한 성능이 나올 수 있도록 변환된 File Format입니다. 제가 실제로 수행했던 Project에서도 임베디드 디바이스에 모델을 실행하는 경우에 TFLite / ONNX 등의 File Format이 많이 사용되더라구요. TFLite는 기존에 있던 Model File을 변환하는 것이 주된 목적이기 때문에 우선 Model Co..

Deep_Learning 2024.01.29

import __future__ 구문의 의미

안녕하세요, MoonLight입니다. ​ 이번 Post에서는 Python Code보면 가끔 보이는 "import __future__ ~~~" 이 문구가 무엇을 의미하는지 한 번 알아보도록 하겠습니다. ​ ​ 0. __future__의 의미가 뭐지? __future__ Module은 현재 Python Version에서는 지원하지 않지만, 상위 Version의 Python에서는 지원하는 기능을 사용할 수 있도록 해준다고 하네요. ​ 즉, 미래 Version에서는 이미 사용할 수 있지만, 현재 Python Version에서는 지원하지 않는 기능을 현재 Python Version에서 지원해 준다는 의미인데, ​ 제가 처음 이 설명을 봤을 때는 언뜻 와닿지는 않는 설명이었습니다. ​ 예를 들면, Python 2...

Deep_Learning 2024.01.11

Jupyter Kernel 관리 - ipykernel 사용법

안녕하세요, MoonLight입니다. 이번 Post에서는 Jupyter Notebook을 사용할 때 많이 사용하는 ipykernel Package에 대해서 알아보도록 하겠습니다. 0. Jupyter 최초에는 OS Shell에서 Python Code를 입력하면서 실행할 수 있는 프로젝트가 있었는데, 이를 ipython notebook이라고 했습니다. Command창에서 Python Code를 한줄한줄 입력하면서 결과를 확인할 수 있는 방식이었죠 . Python이 Compile방식이 아닌 Interpreter 방식이라서 가능한입니다. 위한 package입니다. 현재의 Jupyter의 Text Version이라고 할 수 있겠습니다. 그 후에 지원하는 언어가 R이나 Ruby등과 같은 것들이 추가되면서 지원 폭이..

Deep_Learning 2023.11.29

파이썬 라이브러리를 활용한 텍스트 분석

한빛미디어 '나는 리뷰어다' 활동을 위해서 책을 제공받아 작성된 서평입니다. 0. 소개 요즘에는 Machine Learning / Deep Learning이 일상생활에 알게 모르게 스며들어 있고, 누구나 배우고자 한다면 매우 다양한 자료를 접할 수 있습니다. Deep Learning 분야에서 가장 먼저 큰 진전을 이루었던 것이 Image 분야이지만, 시각적인 인공지능 못지않게 인간들에게 중요한 것이 글로 쓰인 Data 즉, Text Data입니다. NLP(Natural Language Process)를 다루는 수많은 동영상 강의, Technical Blog 등에서는 가장 기초적인 부분에서부터 최신 트렌드를 반영하는 주제까지 모두 다루고는 있습니다. 하지만, 정작 실무에 적용하려고 하면 막막한 것이 현실입..

Book Review 2023.09.20

비전 시스템을 위한 딥러닝(Deep Learning For Vision System)

한빛미디어 활동을 위해서 책을 제공받아 작성된 서평입니다. Deep Learning이 대중들에게 이름을 알리기 시작한 것은 무엇보다도 Image Data를 처리하는 데에 있어서 인간에 버금가는 능력을 보여주면서부터라고 생각합니다. 그 이후로 Deep Learning / AI가 우리가 알게 모르게 일상생활에 깊숙이 파고들고 있는 것이 사실입니다. 하지만, Python을 익히고 Deep Learning에 자주 사용되는 Package들의 사용법을 익힌 후에 실제로 간단한 Image Classification 작업을 해보는 것은 생각만큼 쉽지 않습니다. 다양한 예제들이 많지만 대부분 수학적인 원리나 해당 Code가 어떤 일을 하는지 그리고 왜 필요한지에 대해서는 자세히 설명되어 있지 않거나 알 수 없는 수학 기..

Book Review 2023.09.02
728x90
반응형