세 번째 과제: Reader Model + Gradio

안타깝게도 내게는 학습할 수 있는 데이터가 전혀 없다. 따라서 기존의 모델을 활용할 수밖에 없었다. 또다시 안타깝게도, 내게는 기존 모델 중 어떤 모델이 가장 적합한지 판단할 수 있는 데이터셋도 없다. 따라서 기본 모델을 사용했다.

 

from transformers import pipeline

def qa_model(question, text):
    model = pipeline("text2text-generation")
    answer = model(f"question: {question} context: {text}")
    return answer[0]['generated_text']

 

QuestionAnsweringPipeline도 활용해 보았지만, 단답형 답변을 생성하는 것이 부적절하여 "text2text-generation"으로 변경했다. 후, 사실은 GPT-4o 같은 모델을 사용하고 싶었다. GPT-4o가 아니어도 Llama도 최근에 성능이 잘 나온다고 들었다. 하지만 LLM을 자유롭게 사용할 수 있는 환경이 안 되기 때문에 일단은 간단한 모델을 쓰기로 했다. Retrieval Model에서 추출된 첫 번째 문단과 Question을 넣었을 때 나온 응답이 나쁘지 않아서 Gradio를 통해 데모 사이트를 이어서 만들기로 했다.

 

Gradio는 처음 써 봤는데, Streamlit보다도 쉬워서 꽤 놀랐다. 다만, 간단한 만큼 자유도가 더 낮아 보였다. 그래도 빠르게 결과물을 만들고 데모 사이트로 확인할 수 있어서 속이 시원했다. 아래는 예시 결과물이다. 결과 생성까지는 약 13초가 걸렸다.

 

Q: How can I find my wife?

A: If you remain restful and full of enjoyment, the best wife will come to you.

 

배포까지 할지, 한다면 어떻게 무료로 배포할지는 고민해 봐야겠다.