일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
Tags
- Colab
- conda
- error
- 네이버 인턴
- 네이버
- 네이버 검색팀
- 연구인턴
- pytorch
- 네이버 NLP 인턴
- ICLR
- Torch
- 연구
- FairFil: Contrastive Neural Debiasing Method for Pretrained Text Encoders
- FairFil
- PYTHON
- 인턴
- nn.DataParallel
- 네이버 연구 인턴
- nlp
- naver
- Fairness AI
- multi-GPU
Archives
- Today
- Total
목록nn.DataParallel (1)
N'log
KeyError: 'unexpected key "module.**" in state_dict'
발생한 에러 메세지: KeyError: 'unexpected key "module.**" in state_dict' 모델 state_dict의 key 값들을 출력해보면, "module."으로 시작하는 key는 존재하지 않는 것을 확인할 수 있다. 그런데 왜 이런 key값으로 저장되었을까? 이유는 간단하다. 처음 모델의 state_dict를 저장할 때, 모델이 nn.DataParallel로 선언이 되어있을 경우 이런 문제가 발생한다. 따라서 문제를 해결하는 방법은 두 가지가 있다. 1. 로딩하는 모델을 nn.DataParallel 로 변환하기 state_dict를 저장할 때와 똑같이 모델을 nn.DataParallel로 변환한 뒤, state_dict 를 로딩한다. GPU_IDs = [0,1,2,3] # ..
Machine Learning/TIL
2021. 10. 11. 10:58