[REFACTOR] LLM 성능개선

[hyungEee]

📌 관련 이슈

#207

✨ 내용

classify

• 정확성을 위해 기본키워드를 더 추가
• llm호출 전 중복 상호는 한번만 처리하도록 하여 시간/토큰 절약
• llm 호출시 json형태가 아닌 필드명 없이 리스트형태로 전달하도록 해서 토큰 절약
• 비동기+스레드풀 구조로 응답속도 개선
• 프롬프트를 좀더 손봤음

analysis

• 여기에서도 llm 호출시 json형태가 아닌 필드명 없이 리스트형태로 전달하도록 해서 토큰 절약
• 프롬프트를 좀더 손봤음
• output schema 지정하여 출력형식 강제해서 안전성 높이기

그외

• gpt 4랑 5랑 비교해봤는데 5 개느림요.... 제일 빠른거 써도 4보다 느림
• 더 많은 정보는 노션 llm페이지로..

📸 스크린샷(선택)

📚 레퍼런스