개인 프로젝트 A
-
목표 설정개인 프로젝트 A 2024. 7. 17. 19:59
임상심리대학원을 졸업하고 프로그래밍을 제대로 시작한 지 1년 반이 넘어간다. 회사에서 일한 지도 반년이 되어 간다. 가끔 그런 생각을 하게 된다. 나는 무엇을 하고 싶은 걸까? 그런 생각이 들 때면 다시 개인 프로젝트를 보게 된다. 이 프로젝트를 마칠 때면, "저는 개발자입니다."라고 자신 있게 말할 수 있을 것이다. 최근에 회사에서는 데이터 분석을 하고, 개인적으로는 자격증을 따고 여러 프레임워크를 익히면서 개인 프로젝트의 목표가 무엇인지 조금 더 명확하게 생각할 수 있게 되었다. 궁극적으로는 "모델을 만드는 것"에서 끝나는 것이 아니라 "모델을 배포하는 것"이 내 목표이다. 이를 위해서는 다음과 같은 과정이 필요하다. 질의응답 모델을 만든다.최근에 내가 원하는 논문을 찾아주고 요약해 주는 사이트(..
-
첫 번째 과제: Crawling(2)개인 프로젝트 A 2023. 12. 10. 22:00
오늘은 데이터 크롤링을 하다가 마주친 몇몇 문제들에 대해 포스팅하고자 한다. 매일 개인 프로젝트에 시간을 조금씩 내보려 했지만 취업준비가 생각보다 녹록지 않아서 시간을 거의 내지 못했다. 그래도 멈추는 것보다는 움직이는 게 낫지 않은가? 첫 번째 어려움은 깔끔하게 원하는 텍스트를 가져올 수 없다는 점이었다. soup.text를 통해 내용을 가져오면 등 특수하게 적용되어야 할 기능들이 누락된 채로 텍스트가 반환되었다. 그렇다면 원하는 부분을 찾아서 가져온 후 후처리를 해줘야 하는데, 부모자식 관계가 복잡하게 얽혀있어서 원하는 부분을 찾기 위한 탐색 최솟값을 찾는데 애를 먹었다. 다행히 논리적인 연산 과정을 찾아 해결했다. 두 번째 어려움은 Bot Detection이었다. 최적화를 하고 난 뒤 일정 시간이 ..
-
첫 번째 과제: Crawling개인 프로젝트 A 2023. 10. 11. 22:44
나만의 Life-Study 질의응답 모델을 만들기 위한 첫 번째 과제는 바로 데이터 크롤링이다. 무료로 풀려있는 라이프 스터디 영어판을 데이터 형태로 가공할 필요가 있다. Beautiful Soup 아래 사이트에서 Beautiful Soup을 실습해보고 나에게 맞게 변형해서 사용하고자 했다. Real Python - Beautiful Soup: Build a Web Scraper With Python 먼저 필요한 모든 링크를 크롤링한 뒤 원문을 추출할 생각이었다. 그런데....... Beautiful Soup을 통해 추출한 링크로는 접속할 수가 없었다. 크롤링 라이브러리를 통해 접속하려고 하면 에러가 났고, 인터넷에서 직접 주소를 입력하면 로그인 페이지로 전환되었다. 계속해서 링크 추출 및 입력을 반복한..
-
Introduction개인 프로젝트 A 2023. 8. 15. 17:35
부트캠프 종료 8월 2일부로 NAVER AI TECH 부트캠프가 종료되었다. 당장에 회사에 지원할 마음이 없었기 때문에 1주일 정도 휴식을 취했다. 자유시간이 생기면 하겠다고 벼르고 있었던 일들을 했다. 산도 타고 바다도 보면서 앞으로 무엇을 해야 할지 고민했다. 가장 먼저 생각해야 했던 것은 "나는 왜 AI 공부를 시작했는가?"였다. 사람들이 겪는 마음속 어려움을 마주한 뒤로 심리학을 공부했다. 내 성향으로 인해 직접 사람들을 치료하기가 어렵다는 것을 깨달은 뒤에는 더 좋은 기술을 통해 사람들을 돕고자 했다. AI 기술을 통해 더 나은 세상을 만들고 싶다. 한편, 나는 그리스도인이다. 나는 그리스도와 교회에 대해 더 알고 싶다. 이를 위해 성경을 읽지만, 많은 경우 성경 안에 내재된 더 깊은 뜻을 이해..