세미나 훔쳐보기
-
[Paper Review] Transformer to T5 (XLNet, RoBERTa, MASS, BART, MT-DNN,T5) - 고려대학교 산업경영공학부 DSBA 연구실세미나 훔쳐보기 2024. 6. 12. 15:13
[Paper Review] Transformer to T5 (XLNet, RoBERTa, MASS, BART, MT-DNN,T5) 속이 뻥 뚫리는 시원한 리뷰였다. 4년 전 영상이니, 발표자분께서 지금은 무엇을 하고 지내실지 궁금하다. 해당 발표에서는 6개의 논문을 리뷰했다. 1) XLNet(June, 2019), 2) RoBERTa(July, 2019), 3) MASS(July, 2019), 4) BART(October, 2019), 5) MT-DNN(April, 2019), 6) T5(October, 2019) 아래에서 하나씩 살펴보겠다. XLNet(June, 2019)배경기존 언어모델 훈련 방법으로는 AE(Auto-Encoding)와 AR(Auto-Regressive) 방법이 있다.AE는 [MASK..
-
Intro세미나 훔쳐보기 2024. 6. 11. 11:39
하루하루가 바쁘다. 회사도 다녀야 하고, Kaggle Competition도 참가해야 하고, 자격증도 따야 하고, 심리학 트렌드도 따라가야 하고, 교회 일정도 적지 않다. 그런데 "논문도 읽어야 한다." 읽고 싶은 논문이 참 많은데, 읽을 시간은 부족하고.... 그렇다면, 다른 사람이 정리한 내용이라도 공부하는 게 좋지 않을까? 유튜브는 이동하면서도 볼 수 있잖아!? 훔쳐볼 세미나 링크고려대학교 산업경영공학부 DSBA 고려대학교 산업경영공학부 DSBA 연구실고려대학교 산업경영공학부 Data Science & Business Analytics Lab입니다.www.youtube.com 목록[Paper Review] Transformer to T5 (XLNet, RoBERTa, MASS, BART, MT-D..