N'log

condacolab을 이용하여 Conda 설치 !pip install -q condacolab import condacolab condacolab.install() 잘 설치되었는지 버전 및 위치 확인 !conda --version !which conda .yaml Conda 환경 파일 설치 !conda env create -f environment.yaml 하나의 셀 안에서 설치된 Conda 환경 실행하고 돌리고 싶은 파이썬 파일 돌리기 %%shell eval "$(conda shell.bash hook)" conda activate env python your_python_file.py Reference: https://inside-machinelearning.com/en/how-to-install-u..

발생한 에러 메세지: KeyError: 'unexpected key "module.**" in state_dict' 모델 state_dict의 key 값들을 출력해보면, "module."으로 시작하는 key는 존재하지 않는 것을 확인할 수 있다. 그런데 왜 이런 key값으로 저장되었을까? 이유는 간단하다. 처음 모델의 state_dict를 저장할 때, 모델이 nn.DataParallel로 선언이 되어있을 경우 이런 문제가 발생한다. 따라서 문제를 해결하는 방법은 두 가지가 있다. 1. 로딩하는 모델을 nn.DataParallel 로 변환하기 state_dict를 저장할 때와 똑같이 모델을 nn.DataParallel로 변환한 뒤, state_dict 를 로딩한다. GPU_IDs = [0,1,2,3] # ..

첫 PR 게시글 논문은 FairFil! 요즘 Contrastive learning이 재미있어 보여서 언어 도메인에 적용할 수 있는 방법을 생각해보던 중, 문득 "문장 임베딩의 공정성 향상에 사용할 수 있지 않을까?"라는 생각이 들었다. "Contrastive", "Fairness", "Debiasing" 같은 키워드로 몇 번 검색해보니 이 논문이 나와서 반갑기도 했고 또 아쉽기도 했다... 여튼 올해 5월 ICLR에 발표된 논문이니 너무 늦은 건 아니라고 위로하며 한 번 논문을 읽어보자. # TL;DR 문장 임베딩의 사회적 편향성을 뉴럴넷 기반으로 제거한 첫 논문 Pretrained 인코더에서 나온 문장 임베딩의 편향을 개선하는 Fair Filter (FairFil) network를 제안 FairFil은..

Contrastive Learning이란? 비슷한 데이터 샘플끼리의 representation은 가깝게, 비슷하지 않은 데이터 샘플끼리의 representation은 멀게! # Vision에서의 활용 SimCLR: Self-Supervised Contrastive Loss (ICML 2020) 제목 그대로 self-supervised learning이 가능한 contrastive loss를 소개하는 논문이다. 아래 움짤이 논문의 내용을 잘 축약한다. 두 데이터 샘플(개와 의자) 각각 data augmentation을 거쳤다. 개 사진의 경우, 왼쪽 augmentation은 사진에서 개의 머리를 크로핑한 후 흑백으로 변환한 결과이고 오른쪽은 다리를 크로핑 한 후 색 augmentation을 적용한 결과이다..