사전 식물 검색기능 개선과정 (검색어 글자 제한에 대해)

[Choi-JJunho]

To. BackEnd

안녕하세요 피움 백엔드 팀원 여러분.
저희 백엔드는 이번 레벨 4를 진행하면서 쿼리 분성 및 개선과정을 진행헀습니다.

기존에 사전 식물 검색이라는 기능을 구현하는 과정에서 like 절로 검색하도록 쿼리를 구성했었습니다.

# 사전 식물 이름으로 검색 쿼리
select
        d1_0.id,
        d1_0.created_at,
        ...
    from
        dictionary_plant d1_0 
    where
        d1_0.name like '%나무%';

해당 쿼리는 full scan을 통해 데이터를 찾게됩니다.

+--+-----------+-----+----------+----+-------------+----+-------+----+----+--------+-----------+
|id|select_type|table|partitions|type|possible_keys|key |key_len|ref |rows|filtered|Extra      |
+--+-----------+-----+----------+----+-------------+----+-------+----+----+--------+-----------+
|1 |SIMPLE     |d1_0 |null      |ALL |null         |null|null   |null|297 |11.11   |Using where|
+--+-----------+-----+----------+----+-------------+----+-------+----+----+--------+-----------+

이에 해당 쿼리를 개선하기 위한 방법으로 FULLTEXT 인덱스 방식을 찾아보게 되었고 ngram Parser를 이용한 인덱싱을 이용하는 방법을 제안하고자 합니다.

관련 공식문서: https://dev.mysql.com/doc/refman/8.0/en/fulltext-search.html

N-gram: N개의 연속적인 단어의 나열을 하나의 묶음으로 간주하는 언어 모델의 개념입니다.
예를들어 가울테리아를 가울,울테,테리... 로 단어를 나눕니다.

ngram parser 도입간 고려할 사항

mysql에서는 ngram parser의 token (나눌 단어의 개수)의 기본값이 2 입니다.
이는 다음 예시처럼 가울테리아를 가울,울테,테리... 로 단어를 나눕니다.

해당 방식을 도입하는 과정에서 다음과 같은 문제점을 생각할 수 있습니다.

• 한글자로 검색할 수 없다.

이에 다음과 같은 해결방안을 구상할 수 있습니다.

• ngram_token_size 값을 1로 설정한다.
• 검색엔진을 도입한다.
• 검색 서비스 정책을 2글자 이상 입력으로 정한다.

요약

• FULLTEXT index 도입 과정에서 ngram parser 도입을 생각함.
• 도입 과정에서 글자 인덱스가 2글자로 잘림
• 이에 대한 해결방안으로 다음 3가지가 생각남.
  • ngram_token_size 값을 1로 설정한다.
  • 검색엔진을 도입한다.
  • 검색 서비스 정책을 2글자 이상 입력으로 정한다.

To. FrontEnd

서버 DB 성능 개선 과정에서 검색 조건을 2글자로 제한을 두는것에 대한 의견이 제시되었습니다.
서비스 정책을 2글자 이상 입력으로 정하는 것에 대해 어떻게 생각하시나요?

(강제사항이 아닙니다!! 한글자 조회도 충분히 구현 가능합니당)

ex)

[bassyu]

저는 한글자 검색도 가능했으면 좋겠어요~!

한글자일 땐 LIKE, 2글자 이상일 땐 ngram으로 분기할 수 있나요?

[WaiNaat]

난초 계열을 ○○란이라고 부르는 경우가 꽤 있어서 한 글자 검색이 필요할 것 같기도 합니다
ngram_token_size 가 1일때 성능적으로 큰 하자가 없으면 한 글자도 허용하는게 좋아보여요

[rawfishthelgh]

토큰 사이즈를 1로 조정해도 큰 무리가 없어 보입니다.
토큰 크기가 작아질 수록 관리해야 하는 토큰은 더 늘어나지만,
오히려 인덱스 키가 작아져 검색 속도는 더 빨라진다고 하네요 참고
토큰의 사이즈 때문에 문제가 생기는 상황이 아니면,

1. 현재 클라이언트 코드를 변경하지 않아도 된다는 점
2. 검색 속도의 증가
   를 이유로 토큰값을 1로 설정해도 괜찮을 것 같네요

[Choi-JJunho]

한글자 검색 혹은 자음 - 모음 검색을 지원하고자 한다면 검색엔진의 도입도 고려해볼 수 있을 것 같습니다.

[Choi-JJunho]

협의 완료로 close 하겠습니다.

아티클 참조

• https://pium-official.github.io/query-analysis/