Ir para o conteúdo PET Sistemas de Informação Ir para o menu PET Sistemas de Informação Ir para a busca no site PET Sistemas de Informação Ir para o rodapé PET Sistemas de Informação
  • International
  • Acessibilidade
  • Sítios da UFSM
  • Área Restrita

Aviso de Conectividade Saber Mais

Início do conteúdo

Embeddings: Traduzindo Linguagem em Números



A história da computação é, em grande parte, a história da busca humana voltada a fazer as máquinas compreenderem sua linguagem. Por décadas, os computadores foram excelentes em cálculos matemáticos e processamento de planilhas, mas não eram capazes de lidar com as sutilezas, ironias e ambiguidades da linguagem humana. Para um computador clássico, a palavra “banco” em “banco de praça” e “banco financeiro” era exatamente a mesma coisa, uma sequência idêntica de caracteres ASCII. 

A tecnologia que permitiu o surgimento de sistemas como o ChatGPT, tradutores em tempo real e motores de busca semântica chama-se embeddings. Eles representam uma mudança de paradigma, já que ensinar gramática e dicionários para as máquinas foi deixado de lado, e a ideia de transformar a comunicação em Geometria surgiu. Ao modificar conceitos e fazê-los em formato de listas numéricas, cria-se uma ponte direta entre a comunicação humana e a lógica binária dos processadores. Para entender os embeddings, é necessário primeiro abandonar a ideia de palavras como textos e passar a vê-las como coordenadas em um mapa. Pode-se fazer uma analogia com uma folha de papel, um objeto bidimensional. Imagine que fosse necessário organizar palavras com base em duas características, quão “animais” elas são e quão “domésticas” elas são via um plano cartesiano. Nesse papel, “Cachorro” e “Gato” estariam muito próximos no canto superior direito (altamente animais e altamente domésticos). “Lobo” estaria no alto, mas à esquerda (altamente animal, pouco doméstico). “Sofá” estaria na base, à direita. O nome que se dá a essa proximidade espacial é similaridade semântica.

Os embeddings modernos fazem exatamente isso, mas em vez de duas dimensões, eles utilizam centenas ou milhares delas. Cada dimensão do vetor captura uma característica e significado diferente do texto, pode ser o gênero, a polaridade emocional, o tempo verbal, a formalidade, entre inúmeras outras características sutis que o próprio modelo de inteligência artificial descobre sozinho durante o treinamento. Quando um modelo lê bilhões de parágrafos na internet, ele percebe que certas palavras são similares e aplicadas a conceitos e situações parecidas e, através de complexos cálculos neurais, ajusta as coordenadas numéricas para que palavras de significado semelhantes terminem vizinhas nesse espaço multidimensional.

Nesta representação visual, é possível notar claramente como a tecnologia de embedding organizaria as palavras caso fosse utilizado um vetor de 3 dimensões. Nesse caso, ‘banana’ e ‘maçã estariam próximas, e distantes de animais, como ‘cachorro’ .

Hoje, é impossível conceber a Inteligência Artificial avançada sem esse mecanismo de vetorização. Os embeddings deixaram de ser apenas um protótipo de tecnologia para se tornarem uma das ferramentas mais utilizadas no dia de hoje, alguns exemplos podem ser vistos em sistemas como RAG, sistemas de recomendação e buscas por imagem. 

Em Sistemas RAG (Retrieval Augmented Generation), grandes corporações usam embeddings para permitir que IA “leia” todos os seus documentos internos. Os PDFs, planilhas e e-mails da empresa são vetorizados e armazenados em bancos de dados vetoriais. Quando um funcionário faz uma pergunta, o sistema transforma a pergunta em um vetor, busca os documentos que estão espacialmente mais próximos e usa essa informação para gerar a resposta. 

Na Recomendação Hiper-Personalizada, plataformas de e-commerce e streaming não apenas criam embeddings de produtos ou filmes, mas também criam vetorizações dos usuários. Se o seu vetor de gosto musical aponta para a mesma direção de uma banda indie recém-lançada, o algoritmo cruza essas coordenadas e faz a recomendação no aplicativo.  

Já na busca por imagem, modelos multimodais modernos criaram um espaço vetorial compartilhado. Eles conseguem alinhar matematicamente a foto de um gato e o texto “foto de um gato” na mesma região do espaço. É isso que permite que, ao digitar “cachorro correndo na praia” em um aplicativo de galeria no celular, a foto apareça, mesmo que ela jamais tenha recebido qualquer tipo de etiqueta de texto manual.

Apesar de ser uma tecnologia transformadora, principalmente quando se fala em sistemas de LLMs e de recomendação, ainda são observados problemas éticos e sociais na aplicação da tecnologia, que se tornaram o foco da melhoria. O mais visível e debatido é o Viés Algorítmico. Como os embeddings são moldados estatisticamente pelos textos produzidos pela humanidade e depositados na internet ao longo de décadas, eles refletem e amplificam os preconceitos sociais, raciais e de gênero. Historicamente, modelos não calibrados associaram matematicamente ocupações de engenharia e ciência aos vetores masculinos, e profissões de cuidado e assistência aos femininos. Limpar a geometria desses espaços sem prejudicar a tecnologia linguística do modelo continua sendo um desafio a ser resolvido.

Outro problema é a falta de interpretabilidade. Por mais que a geometria espacial em três dimensões seja utilizada para fins educacionais, os embeddings reais operam em espaços de 1.000 ou 4.000 dimensões. Quando um algoritmo de busca comete um erro ou um modelo fornece uma associação bizarra, é quase impossível para um engenheiro abrir o espaço geométrico, apontar para a dimensão número 482 do vetor e dizer, “Aqui está o erro lógico”. A máquina entende o espaço, mas esse espaço é incompreensível para o cérebro humano.

Por fim, o futuro aponta para a hiper-personalização e a consolidação de modelos multimodais nativos, onde texto, som, imagens e até dados genéticos poderão conviver e ser comparados no mesmo espaço geométrico. Ao traduzir a linguagem em números, os embeddings provaram que o significado não é feito apenas de letras empilhadas, mas de distâncias e relações.


Autor: Gabriel Vargas Saueressig

Referências Bibliográficas:

Divulgue este conteúdo:
https://ufsm.br/r-791-3722

Publicações Recentes