NAVER AI TECH
-
9주차 Embedding 평가 방법NAVER AI TECH 2023. 5. 3. 11:24
Embedding이 잘 되었는지 어떻게 확인할 수 있을까? 두 가지 방법이 있다. 1.Human-annotated similarity scores를 사용한다 WordSim-353, SimLex-999, MEN과 같은 Human-annotated similarity scores data가 있다. 다음은 WordSim-353 data 일부를 발췌한 것이다. # i = identical tokens # s = synonym (at least in one meaning of each) # a = antonyms (at least in one meaning of each) # h = first is hyponym of second (at least in one meaning of each) # H = first ..
-
8주차 회고록 (AI 서비스 개발 기초)NAVER AI TECH 2023. 4. 28. 14:45
1. 개요 이번 주 월요일(4/24) ~ 금요일(4/28)을 회고해보자. 2. 학습 목표 이번 주 학습 목표는 다음과 같았다. 첫째, 강의내용 숙지하고 과제 제출하기. 둘째, 휴식하기. 사실 프로젝트를 진행하며 심신이 어느정도 지쳤다. 이번 주는 조금은 쉬어가는 한 주가 되었으면 했다. 3. 목표 달성률 ★★★ 첫째, 강의내용 숙지에는 별점 ★★★☆을 주고 싶다. 둘째, 결과적으로 주중에는 별로 휴식하지 못했다. 애니메이션 '서머타임 렌더'를 조금 보긴 했다. 재미있다.... 4. 배운 것 뒤돌아봤을 때 결국 생각나는 것은 실습한 내용이더라. 첫째, 버전 관리를 위한 새로운 시스템을 구축했다. 기존에는 conda를 활용하여 가상환경 관리를 하고 있었다. 하지만 강의에서는 pyenv, venv, poetr..
-
7주차 회고록 (Level 1 Project 종료)NAVER AI TECH 2023. 4. 22. 21:55
1. 개요 4주차(3/27) ~ 7주차(4/21)까지 겪었던 일들에 대해서 돌아보자. 2. 학습 내용 4주차: NLP Part 1(Bag of Words, Embedding), NLP Part 2(RNN, LSTM, GRU), Data Visualization(2/2), Git(2/2) 5주차: NLP Part 3(Transformer), NLP Part 4(Self-supervised Pre-training models) 6주차: STS(Semantic Text Similarity) 대회 1주차 7주차: STS(Semantic Text Similarity) 대회 2주차 3. 프로젝트에서 내가 한 일 4. 좋았던 점 5. 아쉬웠던 점 3~5번은 아래 pdf 파일 참조.
-
Attention Is All You NeedNAVER AI TECH 2023. 3. 28. 15:58
나동빈님께서 Transformer에 대해서 잘 설명해주셨다. 동영상, 실습 코드, ppt 파일까지 제공하고 있다. https://github.com/ndb796/Deep-Learning-Paper-Review-and-Practice GitHub - ndb796/Deep-Learning-Paper-Review-and-Practice: 꼼꼼한 딥러닝 논문 리뷰와 코드 실습 꼼꼼한 딥러닝 논문 리뷰와 코드 실습. Contribute to ndb796/Deep-Learning-Paper-Review-and-Practice development by creating an account on GitHub. github.com 오늘(3/28) 피어 세션에서 다루었던 내용을 정리해보겠다. 논문 Attention Is ..
-
Word Embedding (4주차)NAVER AI TECH 2023. 3. 27. 18:14
우리는 자연어 처리가 컴퓨터가 인간의 언어를 이해, 해석 및 생성하는 방법이라는 점을 배웠다. 그러나 컴퓨터가 이해할 수 있는 것은 숫자뿐이다. 따라서 자연어 처리에서 말뭉치를 숫자로 변환하는 작업은 필수적이다. 자연어를 벡터로 변환하는 가장 쉬운 방법은 one-hot encoding을 적용하는 것이다. 예를 들어서 "I really really love eating ice cream."이라는 문장이 있다고 하자. 이때, 중복되는 단어를 제외하면 'I', 'really', 'love', 'eating', 'ice', 'cream'이라는 6개의 단어가 있다. 6개의 단어에 one-hot encoding을 적용하게 되면 각 단어에 순서대로 다음 벡터가 할당되게 된다. [1, 0, 0, 0, 0, 0] [0,..
-
Intro to NLP (4주차)NAVER AI TECH 2023. 3. 27. 15:16
공부를 시작하기에 앞서 NLP가 무엇인지 OpenAI에게 물어보았다. NLP stands for Natural Language Processing. It is a subfield of artificial intelligence (AI) and computer science that deals with the interaction between human language and computers. The goal of NLP is to enable computers to understand, interpret, and generate human language, allowing them to communicate with people in a way that is more natural and intuit..
-
3주차 회고록 (DL Basic & Data Visualization & Git)NAVER AI TECH 2023. 3. 24. 16:05
1. 개요 이번 주 월요일(3/20) ~ 금요일(3/24)에 Naver AI Tech에서 DL Basic, Data Visualization(1/2), Git(1/2)에 대해 공부했다. 지난 5일 동안 어땠는지 돌아보자. 2. 학습 목표 이번 주 학습 목표는 다음과 같았다. 첫째, 강의내용 숙지하고 기본과제 및 심화과제 제출하기. 둘째, 블로그에 정리하기. 셋째, 밀린 심화과제(1주차, 2주차) 정리하기. 3. 목표 달성률 ★★★ 첫째, 강의내용을 숙지했다고 볼 수 있을까..? 어려웠다. 기본과제 및 심화과제는 제출하였다. 둘째, 블로그에 비공개로 정리한 글이 있기는 하지만 공개할 정도로 잘 정리하지는 못했다. 셋째, 1주차 심화과제 2, 3을 정리했다. 2주차 심화과제는 아직 정리하지 못했다. 4. 주..
-
2주차 회고록 (PyTorch)NAVER AI TECH 2023. 3. 17. 17:28
1. 개요 이번 주 월요일(3/13) ~ 금요일(3/17)에 Naver AI Tech에서 PyTorch에 대해 공부했다. 지난 5일 동안 어땠는지 돌아보자. 2. 학습 목표 이번 주 학습 목표는 다음과 같았다. 첫째, PyTorch 강의내용 숙지하고 기본과제 및 심화과제 제출하기. 둘째, 블로그에 정리하기. 3. 학습 방법 매일 해당 일차의 강의를 수강하고 과제를 풀어서 제출하는 것을 목표로 삼았다. 4. 배운 것 PyTorch 파이토치의 기본 문법에 대해 학습했다. 파이토치의 Datasets & DataLoaders에 대해 학습했다. 파이토치로 Custom Model을 제작해보았다. 파이토치로 image, text data에 대해 Custom Datasets 및 DataLoaders를 적용해보았다. 모..