N'log

condacolab을 이용하여 Conda 설치 !pip install -q condacolab import condacolab condacolab.install() 잘 설치되었는지 버전 및 위치 확인 !conda --version !which conda .yaml Conda 환경 파일 설치 !conda env create -f environment.yaml 하나의 셀 안에서 설치된 Conda 환경 실행하고 돌리고 싶은 파이썬 파일 돌리기 %%shell eval "$(conda shell.bash hook)" conda activate env python your_python_file.py Reference: https://inside-machinelearning.com/en/how-to-install-u..

발생한 에러 메세지: KeyError: 'unexpected key "module.**" in state_dict' 모델 state_dict의 key 값들을 출력해보면, "module."으로 시작하는 key는 존재하지 않는 것을 확인할 수 있다. 그런데 왜 이런 key값으로 저장되었을까? 이유는 간단하다. 처음 모델의 state_dict를 저장할 때, 모델이 nn.DataParallel로 선언이 되어있을 경우 이런 문제가 발생한다. 따라서 문제를 해결하는 방법은 두 가지가 있다. 1. 로딩하는 모델을 nn.DataParallel 로 변환하기 state_dict를 저장할 때와 똑같이 모델을 nn.DataParallel로 변환한 뒤, state_dict 를 로딩한다. GPU_IDs = [0,1,2,3] # ..

첫 PR 게시글 논문은 FairFil! 요즘 Contrastive learning이 재미있어 보여서 언어 도메인에 적용할 수 있는 방법을 생각해보던 중, 문득 "문장 임베딩의 공정성 향상에 사용할 수 있지 않을까?"라는 생각이 들었다. "Contrastive", "Fairness", "Debiasing" 같은 키워드로 몇 번 검색해보니 이 논문이 나와서 반갑기도 했고 또 아쉽기도 했다... 여튼 올해 5월 ICLR에 발표된 논문이니 너무 늦은 건 아니라고 위로하며 한 번 논문을 읽어보자. # TL;DR 문장 임베딩의 사회적 편향성을 뉴럴넷 기반으로 제거한 첫 논문 Pretrained 인코더에서 나온 문장 임베딩의 편향을 개선하는 Fair Filter (FairFil) network를 제안 FairFil은..

이번 글에서는 합격 이후! 어떤 절차로 인턴 입사가 이뤄지는지를 기록해보려고 한다. 다시 짧게 내 소개와 지원한 인턴십에 대해서 말하자면, 나는 GIST 학부 전기전자컴퓨터공학과를 졸업 후, 동일 대학원 AI 대학원 석박통합과정에 진학하여 2학기를 마친 석사생이다. 네이버 검색 콜로키움에 참가한 후, 채용 제안을 받아 네이버 Search CIC 연구/개발 체험형 인턴십에 지원, 최종 합격했다. 채용 전형은 '코딩테스트 > 1차 면접 > 최종 합격' 순으로 굉장히 간단했다. 서류 준비, 코딩테스트, 면접 과정을 다룬 글 링크는 아래에 달아두겠다. ▼ 서류 준비 및 코딩테스트 응시 [NAVER 인턴십] 2021 하반기 Language AI (NLP) 연구/개발 인턴십 합격 후기 - #1 코딩테스트 및 서류 ..

이번 글에서는 어떻게 면접을 준비했고, 실제 면접은 대략적으로 어떻게 진행되었는지를 정리해보도록 하겠다. 어쩌다 네이버 검색팀 연구개발 인턴에 지원하게 되었는지, 지원서 작성 및 코딩 테스트는 어떻게 준비했는지에 대한 내용을 확인하려면 1편을 참고하시라. ▼ 서류 준비 및 코딩테스트 응시 [NAVER Search CIC] Language AI (NLP) 연구/개발 인턴십 지원 후기 - #1 코딩테스트 및 서류 전형 현재 나는 GIST 학부 전기전자컴퓨터공학과를 졸업 후, 동일 대학원 AI 대학원 석박통합과정에 진학하여 2학기를 마친 석사생이다. 이번에 예상치 못한 기회로 네이버 Search CIC 연구/개발 체험형 nlog-blog.tistory.com 다시 짧게 내 소개와 지원한 인턴십에 대해서 말하자..

현재 나는 GIST 학부 전기전자컴퓨터공학과를 졸업 후, 동일 대학원 AI 대학원 석박통합과정에 진학하여 2학기를 마친 석사생이다. 이번에 예상치 못한 기회로 네이버 Search CIC 연구/개발 체험형 인턴십에 지원하게 되었다. 지원 과정에서 네이버 NLP 직군의 서류, 코딩테스트, 면접 준비에 관련해 정말 열심히 찾아봤는데 정보가 거의 없었고, 나중에 나와 같은 고생을 하는 사람에게 조금이나마 도움이 되고자 이 시리즈를 적게 되었다. 우선 첫 번째 글에서는 어떤 계기로 네이버 인턴에 지원하게 되었는지, 또 지원 서류와 코딩 테스트는 어떻게 준비했고, 어떻게 진행되었는지에 대해서 다뤄보도록 하겠다. 1. 인턴십에 지원을 하게된 계기 콜로키움 참가 후, 관련 직무가 있으니 지원을 해보라는 채용 제안 메일..

Contrastive Learning이란? 비슷한 데이터 샘플끼리의 representation은 가깝게, 비슷하지 않은 데이터 샘플끼리의 representation은 멀게! # Vision에서의 활용 SimCLR: Self-Supervised Contrastive Loss (ICML 2020) 제목 그대로 self-supervised learning이 가능한 contrastive loss를 소개하는 논문이다. 아래 움짤이 논문의 내용을 잘 축약한다. 두 데이터 샘플(개와 의자) 각각 data augmentation을 거쳤다. 개 사진의 경우, 왼쪽 augmentation은 사진에서 개의 머리를 크로핑한 후 흑백으로 변환한 결과이고 오른쪽은 다리를 크로핑 한 후 색 augmentation을 적용한 결과이다..