embedding guide

https://ai.google.dev/docs/embeddings_guide

Gemini API의 임베딩 서비스는 단어, 구문, 문장에 대한 최첨단 임베딩을 생성합니다. 이렇게 생성된 임베딩은 시맨틱 검색, 텍스트 분류, 클러스터링 등 다양한 자연어 처리 작업에 사용할 수 있습니다. 이 페이지에서는 임베딩이 무엇인지 설명하고 임베딩 서비스를 시작하는 데 도움이 되는 몇 가지 주요 사용 사례를 강조합니다.

What are embeddings

텍스트 임베딩은 텍스트를 숫자 벡터로 변환하는 자연어 처리(NLP) 기술입니다. 임베딩은 의미론적 의미와 문맥을 포착하여 비슷한 의미의 텍스트가 더 가까운 임베딩을 갖도록 합니다. 예를 들어, "나는 개를 동물병원에 데려갔다"와 "나는 고양이를 동물병원에 데려갔다"라는 문장은 모두 비슷한 맥락을 설명하기 때문에 벡터 공간에서 서로 가까운 임베딩을 갖게 됩니다.

이는 벡터에서는 작동하지만 텍스트에서는 직접 작동하지 않는 많은 알고리즘을 사용할 수 있기 때문에 중요합니다.

이러한 임베딩 또는 벡터를 사용하여 서로 다른 텍스트를 비교하고 서로의 관계를 이해할 수 있습니다. 예를 들어, '고양이'와 '개'라는 텍스트의 임베딩이 서로 가깝다면 이 단어의 의미나 문맥 또는 두 단어가 유사하다는 것을 추론할 수 있습니다. 이 기능은 다음 섹션에서 설명하는 다양한 사용 사례를 가능하게 합니다.

Use cases

텍스트 임베딩은 다양한 NLP 사용 사례를 지원합니다. 예를 들어

• 정보 검색: 입력 텍스트가 주어졌을 때 의미적으로 유사한 텍스트를 검색하는 것이 목표입니다. 시맨틱 검색, 질문에 대한 답변, 요약 등 정보 검색 시스템을 통해 다양한 애플리케이션을 지원할 수 있습니다. 예시는 문서 검색 노트북을 참고하세요.(https://ai.google.dev/examples/doc_search_emb)

• 분류: 임베딩을 사용하여 문서를 카테고리로 분류하는 모델을 훈련할 수 있습니다. 예를 들어 사용자 댓글을 부정적 또는 긍정적 댓글로 분류하려는 경우 임베딩 서비스를 사용하여 각 댓글의 벡터 표현을 가져와 분류기를 훈련할 수 있습니다. 자세한 내용은 Gemini 분류기 예시를 참조하세요.(https://ai.google.dev/examples/train_text_classifier_embeddings)

• 클러스터링: 텍스트의 벡터를 비교하면 얼마나 비슷하거나 다른지 알 수 있습니다. 이 기능은 유사한 텍스트나 문서를 함께 그룹화하는 클러스터링 모델을 훈련하고 데이터의 이상 징후를 감지하는 데 사용할 수 있습니다.(https://ai.google.dev/examples/clustering_with_embeddings,https://ai.google.dev/examples/anomaly_detection)

• 벡터 DB: 생성된 임베딩을 벡터 DB에 저장하여 NLP 애플리케이션의 정확성과 효율성을 향상시킬 수 있습니다. 이 튜토리얼을 참조하여 벡터 DB를 사용하여 문서 검색 기능을 개선하는 방법을 알아보세요.(https://ai.google.dev/examples/vectordb_with_chroma)