O problema da deduplicação: um concurso, cinco portais

Abra lado a lado um punhado de ferramentas de monitorização de concursos e procure o mesmo grande contrato de infraestruturas, e há uma boa probabilidade de a oportunidade idêntica surgir quatro ou cinco vezes, cada uma com um título ligeiramente diferente, um número de referência diferente e uma data de publicação diferente. Isto não é um erro de nenhum sistema em particular. É uma característica estrutural da forma como a contratação pública é publicada, e é um dos problemas menos glamorosos mas de maior consequência na construção de um fluxo de concursos utilizável.

Para uma equipa de contratação, os duplicados não são um mero incómodo menor. Consomem tempo de análise, distorcem as contagens da carteira, e tornam fácil não reparar que dois anúncios que apontam para o mesmo contrato subjacente têm informação de prazo diferente, uma das quais está desactualizada.

Porque é que o mesmo concurso acaba por aparecer em todo o lado

Um único contrato público pode legitimamente surgir em vários canais oficiais ao mesmo tempo. Uma entidade adjudicante nacional publica o anúncio no seu próprio portal interno, porque a lei local o exige. Se o valor do contrato ultrapassar o limiar europeu pertinente, a mesma entidade é também obrigada a publicar no TED, muitas vezes através de um anúncio traduzido ou reformatado gerado automaticamente a partir do sistema nacional. As plataformas sectoriais, os quadros de anúncios dos bancos de desenvolvimento e os agregadores comerciais que recolhem fontes públicas captam então o anúncio uma terceira, quarta e quinta vez, republicando-o por vezes com o seu próprio número de referência interno e um resumo reformatado.

Cada uma destas publicações é legítima. Nenhuma está errada por existir. O problema está inteiramente do lado do consumo: um fornecedor que tenta construir uma carteira limpa a partir de muitas fontes sobrepostas e formatadas de forma independente.

Porque é que a correspondência simples não funciona

A primeira abordagem óbvia, fazer corresponder o número de referência oficial do concurso, parece fiável e, na maioria dos casos, não é. Os portais nacionais usam muitas vezes uma convenção de numeração, o TED atribui o seu próprio número de publicação separado ao mesmo anúncio, e os agregadores geram frequentemente o seu próprio identificador interno que não tem qualquer relação com nenhum dos dois. A correspondência de títulos sai-se ainda pior: o mesmo contrato pode ler-se como uma frase exacta na língua de origem no portal nacional e uma paráfrase livremente traduzida no TED, com a versão de um agregador cortada ou reformulada de novo para a sua própria formatação.

Os desencontros de datas agravam o problema. Um anúncio pode ser inicialmente publicado no portal nacional, alterado uma semana depois com um prazo prolongado, e captado por um agregador ou na versão original ou na versão alterada, sem sinal fiável que indique qual é a actual.

Em que consiste de facto a resolução de identidade

Limpar isto exige tratar a deduplicação como um problema de resolução de identidade, e não como uma simples correspondência de cadeias de caracteres. Isso significa combinar vários sinais mais fracos num juízo confiante, em vez de depender de um campo único. O nome e a localização da entidade adjudicante, normalizados para ter em conta a variação ortográfica e as diferenças de designação administrativa, formam uma âncora. O valor estimado do contrato, quando presente em vários anúncios, é um sinal forte quando corresponde de perto, mesmo que os números de referência difiram por completo. As datas de publicação e de prazo, tendo em conta o desfasamento de tradução e de processamento entre um anúncio surgir num portal nacional e o mesmo anúncio surgir no TED dias depois, ajudam a estabelecer uma cronologia, e não um único ponto fixo.

A semelhança semântica entre as descrições importa mais do que a correspondência de texto exacta, uma vez que duas versões traduzidas ou resumidas de forma independente do mesmo âmbito de trabalho raramente partilharão uma formulação idêntica, mas descreverão os mesmos entregáveis, quantidades e localização subjacentes em termos reconhecidamente semelhantes. Combinar estes sinais, em vez de depender de qualquer um deles estar perfeitamente limpo, é o que permite a um sistema afirmar com real confiança que dois anúncios são a mesma oportunidade subjacente, e não duas oportunidades semelhantes por coincidência.

O custo de errar em qualquer dos sentidos

A deduplicação comporta risco em ambos os lados. Fundir de forma demasiado agressiva, tratando contratos genuinamente diferentes como duplicados porque partilham um comprador e um valor semelhante, e um fornecedor perde silenciosamente a visibilidade sobre oportunidades reais. Fundir de forma demasiado conservadora, e o fluxo enche-se de anúncios quase idênticos que desperdiçam tempo de análise e inflacionam as métricas da carteira sem acrescentar sinal real. Nenhum destes modos de falha é aceitável para uma equipa que depende do fluxo para tomar rapidamente decisões de concorrer ou não concorrer.

O problema das alterações assenta em cima disto. Quando um verdadeiro duplicado é correctamente identificado, o sistema precisa também de determinar qual a versão que contém o prazo e a especificação actuais, e fazer emergir essa versão em vez de uma média ou, pior, a mais desactualizada.

Um fluxo limpo, não cinco sobrepostos

Construir e manter uma deduplicação fiável em dezenas de portais nacionais, no TED e em agregadores de terceiros é exactamente o tipo de trabalho de infraestrutura pouco glamoroso que determina se uma ferramenta de monitorização de concursos é de facto utilizável no dia a dia. A TRINTA lê aquilo que uma empresa vende e faz emergir diariamente concursos correspondentes a partir de fontes oficiais, resolvidos até uma única entrada por oportunidade real, para que uma equipa de contratação analise uma carteira limpa em vez de desemaranhar à mão cinco fluxos sobrepostos.