공부하는 피카츄

공부하는 피카츄 RuntimeError: Expected to have finished reduction in the prior iteration before starting a new one mmdetection에서 single gpu 에서 실험을 돌릴때는 괜찮은데 multiple gpu를 사용하니까 갑자기 에러가 발생했다. 찾아보니 DDP (Distributed Data Parallel) 관련 에러다. 빠른 해결방법 빠르게 해결하고 싶은 분을 위한 방법이다. mmdetection/mmdet/apis/train.py 에서 # put model on gpus if distributed: find_unused_parameters = cfg.get('find_unused_parameters', False) ..

공부하는 피카츄 CLIP(Contrastive Language-Image Pre-Training) Learning Transferable Visual Models From Natural Language Supervision 요약 1. Contrastive learning을 사용하여 Image와 Text Encoder로 생성된 embedding이 비슷하게 만든다 2. 다양한 downstream task에 대한 성능이 좋다 Why? 항상 무언가를 할때 왜하는거지? 라는 질문을 하면 좋다. 나는 왜 CLIP논문을 리뷰할까? 리뷰 이유 1. 훌륭한 lagnuage representation을 통해 visual representation을 guide 할 수 있다는 것을 보여준 논문이다 2. CLIP을 사용하면 u..