안녕하세요, MoonLight입니다.​HuggingFace에서 다양한 LLM Model 파일들을 받아서 Test하다 보면, 나의 소중한 SSD 용량이 순식간에 꽉 차버리는 상황이 생깁니다.​HuggingFace에서 모델이나 데이터셋을 받을 때 기본위치는 리눅스/맥의 경우는 ~/.cache/huggingface/hub, 윈도우의 경우에는 C:\Users\YOUR_USERNAME\.cache\huggingface\hub 에 저장됩니다.​LLM Model 파일이 적게는 몇 십 G에서 많게는 100G에 달하는 녀석들도 있어서 용량이 차는 것은 순식간입니다.​그래서 저는 저가의 고용량 1TB나 2TB SSD를 추가하고, 거기로 모델이나 데이터셋을 받는 기본위치로 설정해서 사용하고 있습니다.​방법은 생각보다 매우 ..

주어진 Data로 부터 Train에 필요한 Data형태로 변환하기까지는 매우 지루하고 험난한 과정입니다. Model에 입력 Foramt에 맞게 Shape을 변경하고, Data Augmentation도 고려해야 합니다. 가장 중요한 것은 주어진 Data가 수십, 수백만개가 있다면 Performance 또한 중요한 고려 요소가 됩니다. 이런 모든 고민을 해결해 주기 위해서 Tensorflow에서는 tf.data Module과 tf.data.Dataset Module을 준비놓았습니다. 이번 Post에서는 Tensorflow를 이용하여 효율적인 Data Input Pipeline을 만드는 방법을 알아보고자 합니다. tf.data.Dataset에서는 map / prefetch / cache / batch 이렇게 ..