분류 전체보기142 pandas GPU 서버에서 데이터 전처리 속도 높이는 법 Pandas 기반으로 DataFrame을 읽고 전처리하는 과정에서 서버가 과부하되는 문제를 해결하려면 GPU를 활용한 병렬 처리와 메모리 최적화가 필요합니다.현재 문제를 해결할 수 있는 효율적인 GPU 기반 데이터 처리 방법 4가지를 소개합니다.✅ 1. CuDF (Pandas의 GPU 버전)로 변환하여 처리 속도 향상Pandas는 기본적으로 CPU 기반이므로, GPU 최적화된 CuDF를 사용하면 10배 이상 빠르게 처리할 수 있습니다.import cudf# Pandas DataFrame을 CuDF로 변환 (GPU 메모리로 로드)df = pd.read_csv("data.csv") # 기존 방식 (CPU)gdf = cudf.DataFrame.from_pandas(df) # GPU 변환# GPU에서 데이터.. 2025. 3. 11. 250311_텐서플로우기초 인공지능 역사- XOR Problem : Linear 문제를 해결하지 못함. --> 해결방안 : 3차원에서 공간을 구부려서(접어서) 해결 2025. 3. 11. TensorFlow와 PyTorch 모델 변환 및 서빙 프레임워크 이해 개발환경에서 모델 돌리는 것과, 상용환경에서 제한된 스펙 내에서 모델 돌리는 것과 정말 차원이 다른 문제...처음에 모델 돌릴 때 상용환경 고려없이 framework 선택한 것이 문제가 되는 것 같다. ;; 밤새 자료출처 : TensorFlow와 PyTorch 모델 변환 및 서빙 프레임워크 이해TensorFlow와 PyTorch 모델 변환 및 서빙 프레임워크에 대한 이해와 실무 팁을 제공합니다. 모델 변환 과정에서 발생할 수 있는 문제와 이를 해결하기 위한 방법도 다룹니다.f-lab.kr모델 변환과 서빙 프레임워크의 중요성머신러닝 모델을 개발한 후, 이를 실제 서비스에 적용하기 위해서는 모델 변환과 서빙 프레임워크에 대한 이해가 필수적입니다. 특히 TensorFlow와 PyTorch는 각각의 파일 .. 2025. 3. 11. python - glob 함수 활용하기 https://aitzone.tistory.com/27 [Python] glob함수 사용Python에서 데이터 분석을 위해서 데이터들을 가져오게 된다. 정형데이터나 비정형 데이터와는 상관없이 파일의 양이 많은 경우가 대부분이다. 판다스를 사용하기 위해서 excel파일이나 csv파일을aitzone.tistory.com 2025. 3. 11. 이전 1 2 3 4 5 ··· 36 다음
