Mas mesmo assim surge uma nova questão que é igualmente importante: Como um LLM armazena e encontra esse significado internamente?

Como ele sabe que “cachorro” está mais próximo de “gato” do que de “maçã”? Como ele encontra, entre centenas ou milhares de documentos, exatamente o parágrafo apropriado para responder a uma pergunta específica que fazemos? A resposta está em dois outros conceitos que formam a base técnica de qualquer sistema de IA Generativa. Os Embeddings e os VEctor Databases. Juntos, eles são o mapa e o arquivo que permitem uma LLM navegar com precisão pela base de conhecimento de uma organização.

O que são os Embeddings?

De forma pragmática, os embeddings são representações numéricas vetoriais de palavras ou frases que capturam seus significados e relacionamentos, ajudando os modelos de machine learning a entender o texto com mais eficiência.

Pense num mapa, aqueles da disciplina de Geografia. Cada cidade tem coordenadas de latitude e longitude. Essas coordenadas dizem onde a cidade fica e, consequentemente, quais cidades estão próximas dela e próximas entre si. Os embeddings funcionam da mesma forma, só que para conceitos. Imagine cada valor deste vetor de conceitos como um ponto em um espaço de várias dimensões, onde a posição deste vetor contém informações sobre a palavra ou os dados representados.

A proximidade dos pontos indica similaridade semântica, ou seja, palavras com significados relacionados são posicionadas mais próximas umas das outras nesse espaço vetorial. Assim, “cachorro” e “gato” ficam próximos. “Automóvel” e “veículo” também. Mas “cachorro” e “automóvel” estão distantes.

Esse espaço não tem dezenas de dimensões… ele tem centenas ou até milhares delas. Os embeddings de modelos do Azure OpenAI, por exemplo, têm 1.536 dimensões. Cada uma destas dimensões captura uma nuance diferente do significado.

Quem já fez aulas comigo nestes ultimos anos deve se lembrar do exemplo clássico que ilustra esta visao dos embeddings:

rei – homem + mulher = rainha

Isso não é coincidência ou senso comum. É evidência de que o modelo aprendeu relações semânticas reais, não apenas palavras isoladas.

O que são os bilhões (ou até trilhões) de parâmetros?

Quando você ouve que o GPT-3 tem 175 bilhões de parâmetros, ou que modelos mais recentes podem chegar a trilhões, é natural ficar na duvida do que é exatamente esse parâmetro que tanto falam.

Tentar explicar de forma não técnica é dificil, mas vamos lá. A resposta direta é que parâmetros são os números que o modelo aprende durante o treinamento e que determinam como ele se comporta. São valores que codificam tudo o que o modelo sabe sobre linguagem, contexto, significado, relações entre conceitos e o mundo em geral.

Os parâmetros de um LLM podem ser classificados em três categorias principais: embeddings, pesos e vieses. Cada uma delas é configurada automaticamente pelo algoritmo de treinamento, não por humanos…

Embeddings também são parâmetros

Os embeddings não são apenas uma técnica separada de vetorização. Eles são, em si, também um tipo de parâmetro do modelo.

Já comentei mais acima que um embedding é a representação matemática de uma palavra, ou de parte de uma palavra (chamada de token) no vocabulário de um LLM. Não vou ficar chovendo no molhado, mas é interessante saber que eles também são parametros para a contagem nos LLMs.

Pesos e vieses

Pesos são valores numéricos que representam a importância que o LLM atribui a uma entrada específica. Quanto maior o peso de uma entrada, mais relevante ela é para a saída do modelo. Dentro das redes neurais artificiais, os pesos são multiplicadores que determinam a intensidade do sinal de uma camada de neurônio para a próxima.

Vieses, por sua vez, são valores constantes adicionados ao sinal das camadas anteriores. Eles permitem que os neurônios sejam ativados sob condições em que os pesos sozinhos não seriam suficientes para produzir uma resposta.

Juntos, pesos e vieses definem como o modelo processa cada palavra em relação a todas as outras palavras de uma frase ou documento. Isso, é claro, considerando o contexto de um LLM. Mas os Pesos e Vieses estão atribuídos em qualquer outra aplicação que utilize uma rede neural.

A combinação de embedding, pesos e vieses nos LLMs é o que resulta em modelos com bilhões ou trilhões de parâmetros.

A escala de bilhões a trilhões

O número de parâmetros em um LLM cresce à medida que o modelo se torna mais capaz de capturar nuances da linguagem. O GPT-3, lançado em 2020, tinha centenas de bilhões de parâmetros. Modelos mais recentes podem ter trilhões de parâmetros!

Durante o processo de treinamento, as centenas de bilhões de parâmetros de um LLM de tamanho médio como o GPT-3 são atualizados dezenas de milhares de vezes. No total, isso soma na casa de quatrilhões de cálculos individuais. É por isso que treinar um LLM consome tanta energia e poder computacional. Estamos falando de milhares de computadores especializados, com GPU de ultima geração e  de alta velocidade funcionando sem parar por meses. Por isso, se você ouvir alguém te dizendo para fazer a sua própria LLM, tente entender melhor o que querem te dizer.

Por que isso importa para Embeddings e Vector Database?

Entender parâmetros é fundamental para entender embeddings. Quando você usa o modelo text-embedding-3-large da Azure OpenAI para vetorizar os documentos da sua organização, você está aproveitando toda a inteligência codificada nesses parâmetros. São bilhões de ajustes finos feitos durante o treinamento, para transformar suas palavras em coordenadas precisas no espaço vetorial.

Quanto mais parâmetros um modelo de embedding tem, mais rico e contextualizado é o espaço vetorial que ele cria. Isso significa que documentos semanticamente relacionados ficam mais próximos no espaço vetorial, e a busca por similaridade no banco de dados vetorial se torna mais precisa.

Como embeddings são criados

Embedding é um método para representar vetores de dados, e não etá limitado somente à texto, pode-se utilizar também para imagens e áudios. Diferentemente de outras técnicas de Machine Learning, os embeddings são aprendidos a partir dos dados por meio de algoritmos como redes neurais, em vez de exigir que especialistas humanos definam manualmente suas características.

O processo é direto. Modelos de embedding são redes neurais baseadas em transformers que transformam partes de documentos em uma representação numérica ou vetor. O conteúdo com significado ou semântica semelhante é mapeado para uma representação semelhante no espaço amostral.

No ecossistema Microsoft, os modelos disponíveis no Azure OpenAI incluem o text-embedding-3-small com 1.536 dimensões e o text-embedding-3-large com 3.072 dimensões. Para cenários multilíngues, o modelo multilingual-e5-large, desenvolvido pela própria Microsoft, suporta até 100 idiomas com 1.024 dimensões.

Um ponto crítico que você deve considerar é que os embeddings criados pelo modelo de um provedor não podem ser compreendidos por outro. Por exemplo, um embedding de um modelo OpenAI não é compatível com um da Anthropic e vice-versa. Cada modelo tem seu próprio algoritmo de embedding.

O que é um banco de dados vetorial?

Um banco de dados vetorial é um repositório especializado que armazena, gerencia e busca embeddings vetoriais de alta dimensão para permitir a busca por semelhança semântica. Os vctor databases indexam e armazenam embeddings densos e esparsos para recuperação rápida, e geralmente servem como uma base de conhecimento externa que um LLM pode consultar para fundamentar suas respostas em dados confiáveis e mitigar o risco de alucinações.

Ele vai muito além de um simples índice. Os bancos de dados de vetores fornecem recursos adicionais como gerenciamento de dados, tolerância a falhas, autenticação e controle de acesso, bem como um mecanismo de consulta. São plataformas robustas que se adaptaram ao momento do mundo e permitem armazenamento vetorial em seus ambientes.

Um diferencial importante é a busca híbrida. A pesquisa híbrida combina os pontos fortes da busca em vetores e da pesquisa por palavras-chave. A vantagem da busca em vetores é encontrar informações conceitualmente semelhantes à consulta de pesquisa, mesmo que não haja correspondências de palavra-chave no índice. A vantagem da pesquisa por palavras-chave é a precisão, com a capacidade de aplicar classificação semântica opcional que melhora a qualidade dos resultados iniciais.

Entre os principais players do mercado estão Pinecone, Weaviate e FAISS… Bancos de dados tradicionais também evoluíram, como o próprio SQL Server 2025, PostgreSQL com a extensão PGVector e Cosmos DB. Todos estes SGDB já oferecem suporte nativo a vetores, permitindo que os projetos tenham capacidade vetorial sem migrar toda sua infraestrutura existente.

Busca vetorial

Agora que já sabemos o que são os vetores de embeddings e armazenamos eles em vector databases, a próxima pergunta lógica é: como encontrar o mais relevante entre milhares deles?

É ai que entra a busca vetorial Ela é uma técnica que encontra dados similares representando-os como vetores numéricos de alta dimensão. O conceito fundamental envolve transformar dados em um espaço vetorial em que a distância geométrica entre vetores indica sua semelhança semântica.

Existem três métricas principais para medir essa proximidade:

• Similaridade de cosseno: mede o cosseno do ângulo entre dois vetores para determinar se eles apontam em uma direção semelhante, independentemente de sua magnitude. Uma pontuação de 1 indica vetores idênticos, enquanto –1 indica vetores opostos. É uma escolha comum para espaços de embedding normalizados, como os dos modelos OpenAI;
• Distância Euclidiana: a métrica mais comum, representa a distância em linha reta entre dois pontos vetoriais;
• Produto escalar: considera tanto o ângulo quanto a magnitude dos vetores. É equivalente à similaridade de cosseno para vetores normalizados, mas geralmente é mais eficiente em termos computacionais.

E os algoritmos de busca?

Para encontrar os vetores mais próximos, o algoritmo padrão é o kNN (k-Nearest Neighbors). A busca pelos k vizinhos mais próximos é a operação central por trás da busca por similaridade vetorial. Dado um vetor de consulta, ela encontra os k vetores no banco de dados que são mais próximos, de acordo com uma métrica de distância escolhida. Igual é feito com o algoritmo de machine learning, só que para vetores.

O problema é que o kNN exato, em escala, é caro computacionalmente. O kNN exato compara um vetor de consulta com todos os vetores do conjunto de dados para garantir que ele retorne as correspondências mais próximas possíveis. Se você tem milhões de valores no seu vetor, toda consulta faz um scan e calcula a distância para todos estes milh’ões de valores. É preciso, mas caro em termos computacionais, e a latência cresce linearmente com o tamanho do índice.

Em produção, então, o padrão acabou sendo uma variação mais level, o ANN (Approximate Nearest Neighbor). A busca aproximada do vizinho mais próximo diminui um pouco da precisão para obter ganho de velocidade, restringindo a busca a um subconjunto promissor de vetores. Na prática, o recall de ANN é suficientemente alto para que a maioria dos sistemas de busca vetorial de produção o utilize por padrão.

Para resumir tudo em uma única sentença

Os parâmetros são o conhecimento. Os embeddings são como esse conhecimento é expresso matematicamente. E o vector database é onde esse conhecimento fica armazenado, indexado e disponível para consulta dentro da sua organização.

Bons estudos!

Imagem de capa gerada no M365: Capa premium para blog técnico Microsoft. Fundo azul petróleo escuro, iluminação cinematográfica, visual sofisticado e futurista. Grande espaço vetorial tridimensional no centro contendo milhares de pontos luminosos organizados em clusters semânticos. Conexões neurais em azul elétrico, laranja vibrante e rosa neon. Fluxos de dados entrando pela esquerda transformando documentos em embeddings; fluxo saindo pela direita representando busca semântica, RAG e agentes de IA. Núcleo central brilhante simbolizando inteligência semântica. Elementos visuais remetendo a embeddings, vector databases, similarity search, semantic retrieval, knowledge discovery e IA generativa. Painéis holográficos laterais com matrizes vetoriais, clusterização e busca KNN. Estilo Microsoft Design moderno, premium, executivo, extremamente limpo, alta densidade informacional, sem aparência de marketing genérico. Título grande: “EMBEDDINGS e VECTOR DATABASE”.

O post Embeddings e Vector Database – Como os LLMs representam e encontram conhecimento apareceu primeiro em Diego Nogare.