2025-1학기 소프트웨어융합 캡스톤 디자인으로 진행했던 순화된 피드백 제공 서비스, "CleansedFeedback"입니다.
영화, 드라마, 만화 등 예술 작품은 감동과 즐거움을 전달하며 관객과 소통하는 매개체로 관람 후 관객들은 댓글을 통해 감상평과 감정을 자유롭게 표현합니다.
하지만 이런 공간에는 작품과 작가를 향한 욕설과 악성 댓글도 존재하며, 이러한 부정적인 표현은 창작자와 다른 관람객 모두에게 마음의 상처를 남기고 건강한 소통 문화를 해칩니다.
이 문제를 해결하기 위해 비난표현을 분류/제거하는 연구나 순화하는 연구들이 존재합니다. 하지만 비난 분류/제거 연구의 경우 비난 섞인 피드백 댓글의 피드백도 제거될 위험이 있으며, 비난 순화 연구의 경우 비난만 있는 댓글에 대해서는 순화 의미가 없다는 단점이 있습니다.
그래서 본 프로젝트에서는 KcELECTRA 기반 Fine-tuned 모델들을 통해 댓글들을
- 중립 댓글
- 순수 피드백 댓글
- 순수 비난 댓글
- 비난 섞인 피드백 댓글
의 네가지 유형으로 분류하고, 정말 비난만 있는 경우에는 기존의 비난 분류/제거 연구처럼 제거합니다. 단 비난이 존재하는 경우에도 피드백이 포함되어 있다면 비난은 순화, 피드백은 살려서 제공합니다.
이를 통해 "비난으로 인한 마음의 상처는 최소화하면서 피드백은 받아들여 더 좋은 작품을 만드는 데에 기여하는 것"이 목표입니다.
비난 분류에는 기존 KcELECTRA 기반 Fine-tuned model 'beomi/korean-hatespeech-classifier'을 사용하였으며,
https://huggingface.co/beomi/korean-hatespeech-classifier
피드백 분류에는 네이버 웹툰에 대해 피드백 여부를 LLM으로 라벨링한 dataset로 KcELECTRA 모델을 직접 Fine-tuning한 모델 'jhhan0208/feedback-classification-kcelectra-v1'을 사용하였습니다.
https://huggingface.co/jhhan0208/feedback-classification-kcelectra-v1
- 라벨링된 댓글들 중 200개 랜덤 샘플링
- 라벨을 가리고 사람(본인, 동료)이 직접 댓글의 피드백 여부를 판단
- 본인, 동료 불일치 라벨은 상의해서 결정, Gold Label 생성
- Gold Label과 LLM Label 얼마나 일치하는지 확인
- 전체 댓글을 80%의 Train set(2742개)와 20%의 Test set(685개)로 분할
- 5-Fold Cross Validation 진행
- 5개 Fold의 평균 지표(Accuracy, F1 Score)로 피드백 분류 모델 성능 확인
CleansedFeedback_Demo.mp4
• 평점이 낮은 웹툰일수록 순수 피드백의 비중은 줄고, 비난 섞인 피드백의 비중이 늘어나 서비스 필요성이 증가
• 서비스를 통해 순수 비난은 제거, 비난 섞인 피드백은 순수 피드백으로 변환하여 더 나은 댓글환경 조성 가능
• 향후 네이버 웹툰 댓글 이외에도 피드백과 비난이 혼재하는 더 많은 환경에 프로젝트를 적용할 계획