인공지능/머신러닝, 딥러닝 2개 Horovod를 이용하여 분산학습 해보기-1 분산 학습에 대하여 단일 GPU또는 CPU를 이용하여 학습하는 경우 데이터 양과 학습 횟수에 따라 학습시간이 오래 걸리게 되는데, 이 시간을 단축시키기 위해서 여러 GPU또는 CPU에 분산하여 학습을 진행할 수 있다. 분산학습을 위한 프레임워크는 Tensorflow, Keras, Caffe2, MxNet, Horovod 등이 존재하는데, 본 포스팅에서는 Horovod라는 프레임워크에 대해 알아보겠다. Horovod란? Tensorflow, Keras, Pytorch, MXNet에서의 Multi-GPU를 활용한 Distributed Training을 지원하는 Framework이다. Horovod를 활용하면 적은 양의 코드를 추가하여 손쉽게 Distributed Training을 구현할 수 있다. 위 사진을.. 인공지능/머신러닝, 딥러닝 2020.07.10 태뽀리 scikit-learn datasets 활용 파이썬 기계학습 라이브러리인 싸이킷런(scikit-learn)에서는 테스트를 위한 데이터셋(datasets)을 제공한다. 유형을 3가지로 나눌 수 있는데, 테스트 코드 연습을 위해서는 보통 load 계열의 데이터셋을 이용한다. 본 포스팅에서는 쉽고 많이 사용하는 load 계열의 데이터를 알아보도록 하겠다. 데이터 셋 분류 load 계열 : scikit-learn 패키지에 포함된 데이터 make 계열 : 확률분포를 사용해 가상의 데이터를 생성 fetch 계열 : 인터넷에서 다운로드하여 실행되는 대량의 데이터 fetch_california_housing : 캘리포니아 집값(회귀 분석용) fetch_covtype : 토지 조사(회귀 분석용) fetch_20newsgroups : 뉴스 그룹 텍스트 자료 fetc.. 인공지능/머신러닝, 딥러닝 2020.07.03 Jaeseok_Shim
인공지능/머신러닝, 딥러닝
2개Horovod를 이용하여 분산학습 해보기-1
분산 학습에 대하여 단일 GPU또는 CPU를 이용하여 학습하는 경우 데이터 양과 학습 횟수에 따라 학습시간이 오래 걸리게 되는데, 이 시간을 단축시키기 위해서 여러 GPU또는 CPU에 분산하여 학습을 진행할 수 있다. 분산학습을 위한 프레임워크는 Tensorflow, Keras, Caffe2, MxNet, Horovod 등이 존재하는데, 본 포스팅에서는 Horovod라는 프레임워크에 대해 알아보겠다. Horovod란? Tensorflow, Keras, Pytorch, MXNet에서의 Multi-GPU를 활용한 Distributed Training을 지원하는 Framework이다. Horovod를 활용하면 적은 양의 코드를 추가하여 손쉽게 Distributed Training을 구현할 수 있다. 위 사진을..
인공지능/머신러닝, 딥러닝 2020.07.10 태뽀리scikit-learn datasets 활용
파이썬 기계학습 라이브러리인 싸이킷런(scikit-learn)에서는 테스트를 위한 데이터셋(datasets)을 제공한다. 유형을 3가지로 나눌 수 있는데, 테스트 코드 연습을 위해서는 보통 load 계열의 데이터셋을 이용한다. 본 포스팅에서는 쉽고 많이 사용하는 load 계열의 데이터를 알아보도록 하겠다. 데이터 셋 분류 load 계열 : scikit-learn 패키지에 포함된 데이터 make 계열 : 확률분포를 사용해 가상의 데이터를 생성 fetch 계열 : 인터넷에서 다운로드하여 실행되는 대량의 데이터 fetch_california_housing : 캘리포니아 집값(회귀 분석용) fetch_covtype : 토지 조사(회귀 분석용) fetch_20newsgroups : 뉴스 그룹 텍스트 자료 fetc..
인공지능/머신러닝, 딥러닝 2020.07.03 Jaeseok_Shim