검색 성능 개선 #12 Stop-word / ngram parser

왜 Full-Scan보다 결과가 적게 나왔을까?

• 이유는 Stop-word parser와 ngram parser 때문 
  • Stop-word parser 방식은 공백을 기준으로 인덱싱을 하는데, 한글의 특성을 생각 했을 때 적합한 방식은 Ngram 방식일 것 같아서 ngram방식으로 리인덱싱을 하였음
• 2차 테스트 결과 비교:

Full-Scan

Full-Text Index(Stop-word) 검색

Full-Text Index(Ngram) 검색

⇒ 테스트 결과 : Stop-word parser > Full Scan > ngram parser

---

왜 Full-Scan보다 결과가 많이 나왔을까?

• ngram parser를 적용하여 “순대국”뿐만 아니라 순대라는 단어까지 포함되었기 때문이다.
• ngram은 최소 2글자로 잘라서 인덱싱을하고, 자연어 모드의 검색을 이용하였다.

🔎 Full-text Index의 검색 모드

• Boolean Mode 검색을 이용한 검색 결과🔻

Full Scan

Full-Text index ngram BooleanMode

⇒ Boolean 모드로 검색할 경우 동일한 갯수의 데이터를 리턴하지만 속도는 향상된것을 볼 수 있다.

---

그럼 다 ngram parser를 적용하는것이 좋을까?

⇒ 아니다! 프로젝트에서 도로명 주소에 ngram parser를 적용하였을 때 오히려 검색 정확도가 감소했다.

⇒ 이유는 용산구를 검색할때 “용산”, “산구” 처럼 모두 검색이 되어서 유사한 다른 주소까지 나오면서 정확도가 감소하였다.

(ngram으로 인덱싱된 full-text index에서 용산구로 조회한 결과 창원시의 성산구까지 나오는것을 확인했다.)

 

⇒ 도로명은 stop-word parser의 적용이 필요!

✨ 적용 후 검색 속도 및 정확도가 상승 하였다.

---

full text index 검색 모드

 

1. 자연어 검색(natural search)

• 검색 문자열을 단어 단위로 분리한 후, 해당 단어 중 하나라도 포함되는 행을 찾는다.

ex) SELECT * FROM “테이블명" WHERE MATCH (“검색컬럼명") AGAINST (‘맛집' IN NATURAL LANGUAGE MODE);

 

2. 불린 모드 검색(boolean mode search)

• 검색 문자열을 단어 단위로 분리한 후, 해당 단어가 포함되는 행을 찾는 규칙을 추가적으로 적용하여 해당 규칙에 매칭되는 행을 찾는다.
• 검색의 정확도에 따라 결과가 정렬되지 않는다.
• 구문 검색이 가능하다.
• 필수(+), 예외(-), 부분(*), 구문(“ ") 연산자를 사용할 수 있다

ex) SELECT * FROM “테이블명" WHERE MATCH (“검색컬럼명") AGAINST (‘+대구*+닭*+맛집*' IN BOOLEAN MODE);

 

3. 쿼리 확장 검색(query extension search)

• 2단계에 걸쳐서 검색을 수행한다. 첫 단계에서는 자연어 검색을 수행한 후, 첫 번째 검색의 결과에 매칭된 행을 기반으로 검색 문자열을 재구성하여 두 번째 검색을 수행한다.
• 이는 1단계 검색에서 사용한 단어와 연관성이 있는 단어가 1단계 검색에 매칭된 결과에 나타난다는 가정을 전제로 한다.

---

full text index 인덱싱 기법 ( Built-in parser)

 

1. Stop-word parser

• Stop-word 기법

Input : "나는 매일이 지옥 같았습니다.”

Stop-word : “ ”(공백) => 공백은 디폴트 값

Token : 나는 | 매일이 | 지옥 | 같았습니다.

공백을 기준으로 4개의 토큰이 인덱싱

 

2. N-gram parser

• n-gram 기법을 사용하여 할당한 토큰의 크기 n만큼씩 데이터를 인덱스로 파싱해두었다가 사용하는 파서

Input : “나는 김치찌개가 좋습니다.”

N-gram : n=2

Token : 나는 | 는  |  김 | 김치 | 치찌 | 찌개 | 개가 | 개  |  좋 | 좋습 | 습니 | 니다 | 다. => 중에서 Token 2가 아닌 “는 “,” 김”, “개 “, “ 좋” 은 제거

나는 | 김치 | 치찌 | 찌개 | 개가 | 좋습 | 습니 | 니다 | 다. => 로 인덱싱