일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
- nlp
- Torch
- naver
- 인턴
- PYTHON
- conda
- 네이버 NLP 인턴
- 연구
- 네이버 인턴
- multi-GPU
- nn.DataParallel
- 네이버 검색팀
- ICLR
- 연구인턴
- FairFil
- FairFil: Contrastive Neural Debiasing Method for Pretrained Text Encoders
- Fairness AI
- Colab
- 네이버
- error
- pytorch
- 네이버 연구 인턴
- Today
- Total
목록Machine Learning/TIL (2)
N'log
condacolab을 이용하여 Conda 설치 !pip install -q condacolab import condacolab condacolab.install() 잘 설치되었는지 버전 및 위치 확인 !conda --version !which conda .yaml Conda 환경 파일 설치 !conda env create -f environment.yaml 하나의 셀 안에서 설치된 Conda 환경 실행하고 돌리고 싶은 파이썬 파일 돌리기 %%shell eval "$(conda shell.bash hook)" conda activate env python your_python_file.py Reference: https://inside-machinelearning.com/en/how-to-install-u..
발생한 에러 메세지: KeyError: 'unexpected key "module.**" in state_dict' 모델 state_dict의 key 값들을 출력해보면, "module."으로 시작하는 key는 존재하지 않는 것을 확인할 수 있다. 그런데 왜 이런 key값으로 저장되었을까? 이유는 간단하다. 처음 모델의 state_dict를 저장할 때, 모델이 nn.DataParallel로 선언이 되어있을 경우 이런 문제가 발생한다. 따라서 문제를 해결하는 방법은 두 가지가 있다. 1. 로딩하는 모델을 nn.DataParallel 로 변환하기 state_dict를 저장할 때와 똑같이 모델을 nn.DataParallel로 변환한 뒤, state_dict 를 로딩한다. GPU_IDs = [0,1,2,3] # ..