목록2021/08 (1)
끊김 없이 하자
Pytorch DataParallel 사용 시의 팁
(내가 보려고) 당근마켓 팀블로그의 2019년 게시글을 약식 요약. [원본] PyTorch Multi-GPU 제대로 학습하기 https://medium.com/daangn/pytorch-multi-gpu-%ED%95%99%EC%8A%B5-%EC%A0%9C%EB%8C%80%EB%A1%9C-%ED%95%98%EA%B8%B0-27270617936b 🔥PyTorch Multi-GPU 학습 제대로 하기 PyTorch를 사용해서 Multi-GPU 학습을 하는 과정을 정리했습니다. 이 포스트는 다음과 같이 진행합니다. medium.com 1. DataParallel( )은 기본적으로 여러개의 GPU에서 계산되는 gradient를 하나의 GPU로 모아서 계산한다. gradient 연산에서는 계속 scatter - ga..
낑낑
2021. 8. 17. 11:39