jinny-log30 250312_딥러닝 모델 상용화 시 고려할 점 문제점 : 데이터 로드 및 전처리 작업에 많은 시간 소요해결책 : 데이터를 병렬 처리하자! concurrent.futures.ProcessPoolExecutor 라이브러리를 활용하자 딥러닝 모델을 상용하려면 제일 중요한 것은 inference가 아니라 데이터 전처리다. 데이터전처리 작업이 압도적으로 시간이 많이 소요되고, 서비스 및 데이터양이 많을수록 더욱이! GPU보다 CPU가 더 많이 필요한 것 같기도 하고 실제 딥러닝 inference 결과 도출하는데 많은 시간이 걸리지 않고, DISK에서 RAM에 DB를 업로드하는데 너무나 많은 시간이 소요됨 GPT 선생님이 CPU 할당 pandas가 아닌, GPU로 로드하는 cudf를 추천하길래 컴공출신 개발자에게 물어봤는데 DISK에서 RAM으로 넘길때는 무.. 2025. 3. 12. 250307_딥러닝 상용화 시 고려할 점 실무 데이터를 통해 트랜스포머 기반 모델이 데이터가 압도적으로 많아질수록 일반 RNN 딥러닝 계열 모델보다 좋은 성능을 보여주는것은 확인했는데, 상용환경에서는 데이터 전처리하는데 서버스펙이 충분히 뒷받침되지않으면 무거운 모델을 돌릴 수가 없다. ;; 서버스펙(돈)과 모델 성능 사이의 고민 상용 모델 work flow 및 아키텍쳐를 어떻게 가져가야할지 현재 프로젝트에서 마주한 난관. 🫢🫢 2025. 3. 7. 241126_구매한 전자피아노 도착한 날 비가왔던 탓일까. 정말 아침에 너무너무너무 피곤해서 회사에서 점심을 스킵하고 잠을 잤다.ㅋㅋㅋ 역시 사람이 잠이 최고인게 쪽잠자고 일어나니 살것 같다 ㅠㅠ 체력관리 잘해야지. 주말 내내 리서치해서 주문한 야마하 전자피아노가 도착했다. 피아노 연주도 하고, 작곡도 하고 싶고 공부 외에도 내가 좋아하는 일들을 하나씩 채워가야지. :) 2024. 11. 26. 241124_대청소의 날 내 생일 선물로 전자피아노를 선물해주려고 주말에 한참 몇시간동안 리서치해서 야마하 P225 디지털 피아노를 주문했다. 집이 크지 않아서 전자 피아노 들어오면 꽉찰 것 같은데, 모쪼록 비좁은 공간에 피아노 자리를 마련해주기 위해 부지런히 집을 정리하고 치웠다. 또한 밀린 빨래를 마치고, 통창에 뾱뾱이를 붙여주니 무려 5시간이 지났다. 정말 집안일은 치워도 치워도 끝이 없고 티가 잘 나지 않는다. 옛날에 엄마가 해줄때는 당연하다고 생각했는데 정말 부지런히 집을 치워야한다. 내 생일에 맞춰 아마 피아노가 딱 도착할 것 같은데 기대중. 오늘 하루도 너무 수고했다. 2024. 11. 24. 이전 1 2 3 4 ··· 8 다음