검색 성능을 개선하면서 고민했던 기록들을 정리해보았습니다. 📔 테스트 항목 검색 기능 가게 이름, 도로명 주소, 업종 가게 이름, 도로명 주소, 업종 평점n점 이상 검색 가게 이름, 도로명 주소, 업종 리뷰n개 이상 검색 가게 이름, 도로명 주소, 업종 평점 높은순 검색 가게 이름, 도로명 주소, 업종 리뷰 많은순 검색 약 200만건의 데이터에 대한 검색 성능 개선 (1초 이내) 개선율 1000% 이상 달성 검색 정확도 향상 검색 기능 ( 가게 이름, 도로명 주소, 업종) 각 카테고리별 평점n점 이상 검색 각 카테고리별 리뷰n개 이상 검색 각 카테고리별 평점 높은순 검색 각 카테고리별 리뷰 많은순 검색 성능 개선에 대한 기술적인 시도들 full scan B-TREE Index 색인 검색 covering ..
ElasticSearch란 Apache Lucene 기반의 java 오픈 소스 분산 검색 엔진이다. 이 ElasticSearch을 통해 방대한 양의 데이터를 신속하게 저장, 검색, 분석을 수행 할 수 있다. ElasticSearch은 단독으로 사용할수도 있고 Elastic Stack으로도 사용할 수도 있다. Logstash 다양한 소스(DB, csv 파일 등)의 로그 또는 트랜잭션 데이터를 수집, 집계, 파싱하여 Elasticsearch로 전달 Elasticsearch Logstash로부터 받은 데이터를 검색 및 집계하여 필요한 정보를 획득 Kibana Elasticsearch의 빠른 검색을 통해 데이터를 시각화 및 모니터링 ES에서는 inverted index라는 구조로 데이터를 저장함 7개의 단계가 ..
ElasticSearch에 대해 공부를 하던 도중 RDBMS와 비교가 되는 것을 많이 볼 수가 있는데 왜 비교가 되는걸까? ElasticSearch도 또 하나의 DB 종류인걸까?? 일단 결론부터 말하자면 아니다. ElasticSearch는 하나의 검색엔진일 뿐 데이터베이스를 대체할 순 없다. 그럼 왜 RDBMS랑 비교가 되는걸까? DB구성은 당연히 하게 될 것이고 그렇다면 대중적인 RDBMS로 구성을 했을것이다. 하지만 DB의 크기가 커지면 커질수록 검색성능은 떨어지게 된다. 이러한 경우에 ElasticSearch 도입을 고려하게 되는데 너무 정반대격인 성격과 형태를 가지고 있기 때문에 비교가 되는것이다. 그래서 사실 비교가 아닌 ElasticSearch를 도입함으로써 이점을 가져가느냐 안가느냐의 차이로..
