분류 전체보기
-
Introduction개인 프로젝트 A 2023. 8. 15. 17:35
부트캠프 종료 8월 2일부로 NAVER AI TECH 부트캠프가 종료되었다. 당장에 회사에 지원할 마음이 없었기 때문에 1주일 정도 휴식을 취했다. 자유시간이 생기면 하겠다고 벼르고 있었던 일들을 했다. 산도 타고 바다도 보면서 앞으로 무엇을 해야 할지 고민했다. 가장 먼저 생각해야 했던 것은 "나는 왜 AI 공부를 시작했는가?"였다. 사람들이 겪는 마음속 어려움을 마주한 뒤로 심리학을 공부했다. 내 성향으로 인해 직접 사람들을 치료하기가 어렵다는 것을 깨달은 뒤에는 더 좋은 기술을 통해 사람들을 돕고자 했다. AI 기술을 통해 더 나은 세상을 만들고 싶다. 한편, 나는 그리스도인이다. 나는 그리스도와 교회에 대해 더 알고 싶다. 이를 위해 성경을 읽지만, 많은 경우 성경 안에 내재된 더 깊은 뜻을 이해..
-
Phrase Retrieval Learns Passage Retrieval, TooNAVER AI TECH 2023. 7. 5. 02:42
이전 논문(Learning Dense Representations of Phrases at Scale)에서는 dense phrase model이 산출한 결과값이 곧 question에 대한 정답이었다. 즉 비교대상이 retrieval model & reader model이었다. (이전 블로그 글 참조) 하지만 dense phrase model은 retriever model로서도 기능할 수 있다. maximmum score of phrases within the passage를 해당 passage의 점수로 사용하면 된다. 이전 논문에서 사용한 모델 그대로 retriever 모델로써의 성능을 평가해보았더니 아래와 같은 결과가 나왔다. 기존 DPR 모델을 상회하는 성능을 보여주는 것을 알 수 있다. 어떻게 이런..
-
Learning Dense Representations of Phrases at ScaleNAVER AI TECH 2023. 7. 4. 23:27
Overview Phrase Retrieval $E_s$는 phrase encoder이고 $E_q$는 question encoder이다. MIPS(Maximum Inner Product Search)를 통해 question에 맞는 phrase를 추출해내고자 한다. Base Architecture pre-trained language model을 이용하여 모든 passage tokens(word tokens)의 representation을 얻는다. 각 passage의 representation은 start token과 end token을 결합한 형태가 된다. 모든 phrases가 아닌 모든 words만 indexing, storing 하면 된다는 장점이 있다. 또다른 pre-trained language ..
-
BERTNAVER AI TECH 2023. 6. 29. 03:18
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 개요 BERT에서 한 가지 알파벳을 뽑으라면 BERT의 'B'를 뽑겠다. 기존 모델에서는 단방향적 접근(unidirectional approach)만 가능했으나 BERT는 양방향적 접근(bidirectional approach)을 통해 SOTA를 달성하였다. 그렇다면 어떻게 양방향적 접근이 가능했을까? MLM(Masked Languange Modeling)이라는 방법을 발견했기에 가능했다. 지금부터 BERT에 대해 알아보자. 서론 먼저 사전학습(pre-training)을 위해서는 두 가지 접근 방식이 존재한다. 1. feature-based approach Th..
-
-
Attention Is All You Need(2)NAVER AI TECH 2023. 6. 9. 10:22
Self-Attention 입력으로 다음과 같은 문장이 들어왔다고 해 봅시다. "I am a student" Tokenization과 Embedding을 거쳐 해당 문장은 다음과 같은 Embedding으로 변환됩니다. [[1, 0, 0, 0], [0, 1, 0, 0], [0, 0, 1, 0], [0, 0, 0, 1]] (편의상 one-hot encoding을 적용하였습니다.) 이제 각 Embedding Word는 행렬곱을 통과해 Query, Key, Value를 만들게 됩니다. 즉, 'I'에 대한 Query, Key, Value, 'am'에 대한 Query, Key, Value, 'a'에 대한 Query, Key, Value, 'student'에 대한 Query, Key, Value가 생성되게 됩니다. ..
-
MRC 강의NAVER AI TECH 2023. 6. 7. 06:03
MRC 평가방법 대표적인 MRC 평가방법으로 Exact Match (EM), F1 Score, ROUGE-L, BLEU가 있다. ROUGE와 BLEU에 대해 잘 정리해놓은 글이 있어서 가져왔다. ROUGE 예시를 통한 ROUGE 성능 지표의 이해 - Programador | Huffon Blog 본 글은 Northeastern University의 강의 자료 What is ROUGE and how it works for evaluation of summarization tasks?를 번역한 글입니다. 원문으로 읽고자 하시는 분들은 링크를 참조해주세요. huffon.github.io BLEU 14-03 BLEU Score(Bilingual Evaluation Understudy Score) 앞서 언어 모델..
-
NextRise 2023, Seoul 회고록NAVER AI TECH 2023. 6. 4. 18:09
개요 2023-06-2 금요일. Bootcamp 일정을 다같이 땡땡이치고 (운영진분께 연락은 드렸다.) NextRise 2023, Seoul에 다녀왔다. 아침에 일어나 천천히 코엑스로 출발했다. 팀원 분들과 합류해 맥도날드에서 점심 식사를 했다. 그 후 저녁까지 발표를 듣거나 부스를 기웃거리며 정보를 탐색했다. 부스 탐방 유익했던 부스 탐방 목록은 다음과 같다. 써로마인드, Skelter Labs, Nota AI, wrtn technologies, TOONSQUARE, Dr.Listen. 하나씩 짧게 소개해보겠다. 써로마인드 인공지능을 쉽게 개발할 수 있는 플랫폼 및 품질 검사 솔루션을 제공한다. 이미지를 통한 품질 검사뿐 아니라 음향, 진동, 전류 및 온도를 활용한 품질 검사 솔루션도 제공한다는 점이 ..