AI 흥분 사이클이 절정에 이르는 동안, 왜 벡터 데이터베이스가 주목받고 있는가

스타트업들이 입문하고 투자자들이 큰 재물을 건네는 양상을 보면, 벡터 데이터베이스가 최근 화두가 되고 있다. 대형 언어 모델 및 생성적 인공지능(GenAI) 운동이 벡터 데이터베이스 기술이 번영할 푼수 있는 기반을 만들었다.

Postgres 또는 MySQL와 같은 전통적인 관계형 데이터베이스는 구조화된 데이터에 적합하다. - 사전에 정의된 데이터 유형을 행과 열로 깔끔하게 정렬할 수 있는 데이터 유형 - 그러나 사전에 정의된 데이터 모델에 부합하지 않는 이미지, 동영상, 이메일, 소셜 미디어 게시물 및 다른 데이터와 같은 비구조화 데이터에는 잘 작동하지 않습니다.

반면 벡터 데이터베이스는 텍스트, 문서, 이미지 및 기타 데이터를 숫자 표현으로 변환하는 벡터 임베딩 형식으로 데이터를 저장하고 처리하며, 이는 서로 다른 데이터 포인트 사이의 의미와 관계를 포착합니다. 이것은 기계학습에 완벽하다. 데이터베이스는 데이터를 다른 항목과의 상대적 중요성에 따라 공간적으로 저장함으로써 유사 의미의 데이터를 검색하기가 더 쉽습니다.

이것은 특히 OpenAI의 GPT-4와 같은 대형 언어 모델(LMM)에 유용하며, 이를 통해 AI 챗봇이 이전과 유사한 대화를 분석함으로써 대화의 맥락을 더 잘 이해할 수 있습니다. 벡터 검색은 소셜 네트워크나 전자 상거래 앱에서 사용되는 콘텐츠 추천과 같은 다양한 실시간 응용 프로그램에도 유용하며, 이를 통해 사용자가 검색한 항목을 즉시 유사한 항목을 검색할 수 있습니다.

벡터 검색은 또한 LLM 응용 프로그램에 '환각'을 줄이는 데 도움을 줄 수 있습니다. 이는 원래 교육 데이터 집합에 없을 수도 있는 추가 정보를 제공함으로써입니다.

벡터 검색 스타트업 Qdrant의 CEO이자 공동 창업자인 Andre Zayarni은 TechCrunch에 설명했습니다. “벡터 유사성 검색을 사용하지 않고도 AI/ML 응용 프로그램을 개발할 수 있지만, 보다 많은 재교육과 섬세한 조정이 필요할 것입니다. 대규모 데이터셋이 있고 벡터 임베딩과 효율적이고 편리한 방식으로 작업할 수 있는 도구가 필요할 때 벡터 데이터베이스가 사용됩니다.”

1월에 Qdrant는 $2,800만을 조달하여 작년에 가장 빠르게 성장하는 상용 오픈 소스 스타트업 중 하나로 성장한 성과를 실현하기 위해 자본을 증강했습니다. 그리고 최근들어 자금을 조달한 유일한 벡터 데이터베이스 스타트업은 아니었습니다. Vespa, Weaviate, Pinecone 및 Chroma는 각각 각자 벡터 제공에 2억 대 달러를 조달했습니다.