하이브리드(벡터, 어휘) 검색에 대한 고민 1편 - Vertex AI Search를 선택하다.

들어가며...

현재 회사에서 하이브리드 검색(벡터, 어휘)을 위해 Vertex AI Search(GCP 플랫폼)을 이용하고 있습니다.

해당 SaaS의 장점은, 검색 DB 구축에 거의 0원에 가까운 비용 (검색 스토리지 비용이 월 10GB까지 무료) + 쿼리 호출 비용만 소요되어

도입에 있어서 인프라 비용을 검토할 필요가 없다는 장점이 있습니다.

[시간이 지나고 보니 진짜 엄청난 장점으로 생각됩니다.]

아래는 vertex ai search에 대한 비용 안내입니다.

https://cloud.google.com/generative-ai-app-builder/pricing?hl=ko&authuser=2

가격 책정  |  AI Applications  |  Google Cloud

 

현재 사용중인 요금제

위의 사이트를 들어가면, 상황에 따라 가격 책정을 확인해 볼 수 있습니다. [비용 관리가 세부적인 고객을 위한 옵션들이 존재합니다.]

색인에 사용된 스토리지 비용인데, 월 10G를 무료로 제공해줍니다.

2가지 장점

벡터 검색을 지원하기 위한 벡터 DB를 고민했던 기억이 있습니다.

잘 운영한다면 Milvus가 제일 매력적이었으나.. 인프라 팀과의 회의에서 오버헤드가 너무 크다는 피드백을 받았습니다.

[운영 비용 + 인력 비용]

그 다음으로 검토된 게 postgres + pgvector였습니다. 오픈소스와 플러그인의 조합이 좋았고, postgres는 지원하는 옵션들이 상당히

많았습니다.

그리고 검색 엔진으로서 ES(Elastic Search)를 검토했었죠.

결론은 운영중인 플랫폼의 도움을 받아 GCP SaaS인 Vertex AI 플랫폼의 Search 서비스를 선택하는 것이었습니다.

처음에는 도입에 회의적이었으나, 막상 도입해 보니 2가지 강력한 장점을 확인해 볼 수 있었습니다.

 

아쉬운 부분

vertex ai search의 아쉬운 부분은 엔터프라이즈 수준의 필터 검색을 지원하기엔 부족한 부분이 많다는 점입니다.

관련해서 제미나이한테 비교 분석을 요청했습니다. [with elastic search]

 

Vertex ai search는 필터식이 단순한 수준에서는 괜찮은 선택지가 되지만, 권한이나 join 수준으로 필터(관계식)를 필요로 하는 경우에는

적합하지 않을 수 있습니다. [BtoC에는 좋은 케이스로 활용될 수 있다고 생각합니다.]

 

그 외에도 정교한 엔지니어링에서 어려운 부분들이 존재하죠.. 흠흠

 

가장 훌륭한 검색 알고리즘을 가진 기업 구글

https://docs.cloud.google.com/generative-ai-app-builder/docs/reference/rest/v1alpha/SearchRequest

SearchRequest  |  Vertex AI Search  |  Google Cloud Documentation

위의 문서는 알파 버전의 검색 요청에 대한 스펙 정보입니다.

GCP 코리아 개발자쪽에 몇 번의 질문을 드렸던 스펙이 현재 알파버전에 반영되어 있습니다. [랭킹에 대한 스펙 커스터마이징]

이전에 Vertex AI Search쪽을 활용했을 때 검색의 품질과 관련된 단점은 2가지였습니다.

1. 데이터 실시간 갱신이 어려운 점 [수정, 추가, 삭제]

2. 검색 랭킹에 대한 결과 정보(스코어 산정 배경)를 확인하거나, 조정하기 어려웠던 점.

1번의 경우 새벽 배치 작업을 통해 검색 데이터를 갱신하거나, 스탠바이 검색 엔진 & 스토어를 두어 리프레시를 하는 쪽과, 운영하는 쪽 2벌로 관리하는 방식으로 해결이 가능했습니다. [아직은 시도하지 못했지만..]

2번의 경우가 가장 까다로웠는데, 당시 GCP 코리아 개발자의 피드백으로는 시맨틱 스코어가 0.5, 렉시컬 스코어가 0.5 비율로 고정되어서 계산되고 있는데, 해당 개발자분들도 이 부분이 이상하다고 하여 GCP에 피드백을 남기겠다고 안내해 줬습니다.

그게 영향을 준 것인지는 모르겠지만... 현재 클라이언트 라이브러리의 알파버전에서 랭킹 스펙에 대한 옵션을 직접 지정할 수 있도록 개선되고 있습니다.

추후에 안정화 버전(v1)에 올라오게 된다면, 해당 내용을 정리해보려고 합니다.