Como os embeddings transformam o seu catálogo de produtos num radar de concursos

Imagine um fabricante de gases medicinais a perder um concurso para uma central de oxigénio hospitalar num país vizinho porque o anúncio nunca diz "central de oxigénio". Dizia "unidade de geração PSA, concentração a 93%, com train de compressores redundante". O seu alerta por palavra-chave estava definido para "oxigénio" e "gás medicinal". O comprador usou o termo de engenharia. O alerta ficou silencioso. O concurso fechou. Um concorrente ganhou trabalho no valor de mais do que todo o orçamento anual de marketing desse fabricante, e ninguém na equipa alguma vez viu o anúncio.

Este é o modo de falha silencioso da pesquisa por palavra-chave na contratação pública. As palavras com que vende quase nunca são as palavras com que um comprador redige um concurso. Os embeddings corrigem isto ao corresponder pelo significado em vez das letras.

Porque é que os alertas por palavra-chave continuam a perder os seus melhores concursos

Os compradores públicos nos grandes portais (o TED da UE, o PNCP brasileiro, o UNGM da ONU, o pipeline do Banco Mundial e dezenas de sistemas nacionais) não escrevem para serem encontrados pelos fornecedores. Escrevem para serem juridicamente precisos. O resultado é uma lacuna de vocabulário que a correspondência por palavra-chave não consegue atravessar:

Pode remendar isto com listas de palavras-chave cada vez mais longas. Na prática, essas listas tornam-se ingeríveis: demasiado estreitas e perde os concursos com termo de engenharia, demasiado amplas e afoga-se no ruído irrelevante dos contratos de limpeza. Nenhuma configuração acerta em ambas ao mesmo tempo, porque o problema não são as palavras-chave. É que as letras são a unidade errada de comparação.

O que é realmente um embedding

Um embedding é uma lista de números (um vetor) que representa o significado de um pedaço de texto. Um modelo de embedding moderno lê "unidade de geração PSA, concentração a 93%" e "central de oxigénio medicinal" e coloca ambos quase no mesmo ponto num espaço de alta dimensão, porque aprendeu, a partir de enormes quantidades de texto, que descrevem a mesma coisa. "Catering de bolos de aniversário" aterra longe.

Assim que o texto é um vetor, "este concurso é relevante para este produto?" torna-se uma questão de geometria: a que distância estão os dois vetores? A medida padrão é a similaridade do cosseno, uma pontuação que vai de cerca de 0 (sem relação) a 1 (essencialmente o mesmo significado). Nenhuma palavra-chave partilhada é necessária. O modelo corresponde o conceito.

Essa única mudança é o que transforma um catálogo estático num radar em direto.

Do catálogo ao radar: como funciona o pipeline

A mecânica é menos misteriosa do que parece. O fluxo tem quatro fases.

1. Vetorize o seu catálogo, uma vez. Cada linha de produtos torna-se uma curta passagem descritiva: o que é, o que faz, as especificações e normas que cumpre, os setores que serve. Uma linha de gases medicinais poderia ler-se "central de concentração de oxigénio, tecnologia PSA, pureza de 93% a 95%, norma de rede EN ISO 7396-1, para hospitais e clínicas". Codificamos cada passagem num vetor e guardamo-la. Esta é a sua impressão digital, e só muda quando a sua oferta muda.

2. Vetorize cada concurso que entra. À medida que os anúncios chegam dos portais (o TED publica bem mais de meio milhão de anúncios por ano, por isso este é um verdadeiro problema de volume), cada um é codificado da mesma forma. Título, objeto, anexos técnicos, códigos CPV: tudo alimenta o vetor.

3. Pontue o encaixe. Cada vetor de concurso é comparado com cada vetor de produto por similaridade do cosseno. O produto com a pontuação mais alta determina a relevância do concurso para si. Um concurso que menciona a sua especificação exata pontua alto mesmo sem nenhuma palavra-chave partilhada; um anúncio genérico de catering pontua baixo mesmo que por acaso contenha a palavra "oxigénio" numa cláusula de primeiros socorros.

4. Ordene e defina limiares. As pontuações permitem-lhe ordenar por encaixe e cortar a longa cauda. Em vez de 4000 anúncios em bruto, vê os 20 que realmente se parecem com o seu negócio, ordenados pelo grau de correspondência.

A propriedade crucial: isto é favorável à abrangência. O concurso PSA-versus-oxigénio que os alertas por palavra-chave perderam pontua alto aqui, porque o modelo sabe que as duas expressões significam a mesma coisa.

Atravessar a barreira da língua gratuitamente

O benefício mais subestimado é a correspondência multilingue. Os modelos de embedding modernos são treinados em muitas línguas e mapeiam significados equivalentes para vetores próximos, independentemente da língua. "Oxygen plant" em inglês, "central de oxigénio" em português e "central de oxígeno" em espanhol aterram grosso modo na mesma região do espaço vetorial.

Para um exportador isto é transformador. Descreve o seu catálogo uma vez, numa única língua. O sistema depois corresponde-o a:

Sem listas de palavras-chave traduzidas. Sem manutenção por país. O significado atravessa a fronteira por si só, que é exatamente o que um exportador que examina a África, a América Latina, o Médio Oriente e a Europa precisa.

Porque a pontuação supera um sinalizador de sim ou não

Um alerta binário de "correspondência encontrada" não lhe diz nada sobre se vale a pena passar uma manhã com o documento. Uma pontuação de similaridade, associada a uma breve explicação da IA sobre por que correspondeu, permite a um gestor de propostas triar em segundos em vez de minutos.

Uma configuração prática é assim:

Afine os limiares ao seu apetite. Um consultor que cobre vários clientes pode defini-los generosamente; uma PME focada pode mantê-los apertados. De qualquer forma, a pontuação é um botão, não um muro, o que é o oposto de uma lista de palavras-chave que só pode alongar.

Uma breve ressalva honesta: os embeddings são muito bons na relevância, não nas regras de elegibilidade rígidas. Um concurso pode ser uma correspondência semântica perfeita e continuar fechado para si nos limiares de volume de negócios, nas certificações ou na geografia. A pontuação coloca rapidamente os concursos certos à sua frente. Um humano (ou uma verificação de elegibilidade subsequente) ainda decide se concorre.

Como a trinta põe isto a funcionar

Este é o motor por baixo do fluxo trinta. Carrega o seu catálogo uma vez, nós vetorizamo-lo, e a partir daí cada novo anúncio nos portais que seguimos é codificado, pontuado face aos seus produtos e ordenado. Em vez de pesquisar, abre um fluxo diário de concursos correspondidos, cada um com uma pontuação de encaixe e uma razão de uma linha para ter surgido, na sua língua, retirado de fontes redigidas em várias outras.

A falha PSA-versus-oxigénio que abriu este artigo é precisamente o tipo de concurso que um radar baseado no significado apanha e que um alerta por palavra-chave nunca apanhará. O objetivo é simples: parar de vasculhar portais, e começar a ler uma lista curta que já sabe o que vende.

Perguntas frequentes

Partilhar este artigo

Reference

Artigos relacionados