Le problème de la déduplication : un appel d'offres, cinq portails

Ouvrez côte à côte une poignée d'outils de suivi des appels d'offres et recherchez le même grand contrat d'infrastructure, et il y a de fortes chances que l'opportunité identique apparaisse quatre ou cinq fois, chacune avec un titre légèrement différent, un numéro de référence différent et une date de publication différente. Ce n'est pas un bug dans un système donné. C'est une caractéristique structurelle de la manière dont la commande publique est publiée, et c'est l'un des problèmes les moins glamour mais les plus lourds de conséquences dans la construction d'un flux d'appels d'offres exploitable.

Pour une équipe de passation de marchés, les doublons ne sont pas un simple désagrément mineur. Ils grignotent le temps d'examen, faussent les comptages de pipeline, et font qu'il est facile de manquer que deux annonces pointant vers le même contrat sous-jacent comportent des informations de délai différentes, dont l'une est périmée.

Pourquoi le même appel d'offres se retrouve partout

Un seul contrat public peut légitimement apparaître sur plusieurs canaux officiels à la fois. Une autorité contractante nationale publie l'avis sur son propre portail national, parce que la loi locale l'exige. Si la valeur du contrat franchit le seuil européen pertinent, la même autorité est aussi tenue de publier sur TED, souvent par un avis traduit ou reformaté généré automatiquement à partir du système national. Les plateformes sectorielles, les tableaux d'avis des banques de développement et les agrégateurs commerciaux qui aspirent les sources publiques reprennent ensuite l'avis une troisième, quatrième et cinquième fois, le republiant parfois avec leur propre numéro de référence interne et un résumé reformaté.

Chacune de ces publications est légitime. Aucune n'a tort d'exister. Le problème est entièrement du côté de la consommation : un fournisseur qui tente de construire un pipeline propre à partir de nombreuses sources qui se chevauchent et sont formatées indépendamment.

Pourquoi la correspondance simple ne fonctionne pas

La première approche évidente, faire correspondre le numéro de référence officiel de l'appel d'offres, semble fiable et ne l'est en majorité pas. Les portails nationaux utilisent souvent une convention de numérotation, TED attribue son propre numéro de publication distinct au même avis, et les agrégateurs génèrent fréquemment leur propre identifiant interne qui n'a aucun rapport avec l'un ou l'autre. La correspondance de titres s'en tire encore plus mal : le même contrat peut se lire comme une phrase exacte dans la langue source sur le portail national et une paraphrase librement traduite sur TED, avec la version d'un agrégateur rognée ou reformulée à nouveau pour son propre formatage.

Les décalages de dates aggravent le problème. Un avis peut être initialement publié sur le portail national, modifié une semaine plus tard avec un délai prolongé, et repris par un agrégateur soit à la version originale soit à la version modifiée, sans signal fiable indiquant laquelle est à jour.

En quoi consiste réellement la résolution d'identité

Nettoyer cela exige de traiter la déduplication comme un problème de résolution d'identité plutôt que comme une simple correspondance de chaînes de caractères. Cela signifie combiner plusieurs signaux plus faibles en un jugement confiant plutôt que de s'appuyer sur un champ unique. Le nom et la localisation de l'autorité contractante, normalisés pour tenir compte des variations d'orthographe et des différences de dénomination administrative, forment un point d'ancrage. La valeur estimée du contrat, lorsqu'elle est présente sur plusieurs annonces, est un signal fort lorsqu'elle correspond étroitement, même si les numéros de référence diffèrent entièrement. Les dates de publication et de délai, en tenant compte du décalage de traduction et de traitement entre l'apparition d'un avis sur un portail national et l'apparition du même avis sur TED quelques jours plus tard, aident à établir une chronologie plutôt qu'un point fixe unique.

La similarité sémantique entre les descriptions compte davantage que la correspondance de texte exacte, car deux versions traduites ou résumées indépendamment du même périmètre de travail partageront rarement une formulation identique mais décriront les mêmes livrables, quantités et localisation sous-jacents en des termes similaires reconnaissables. Combiner ces signaux, plutôt que de dépendre de la parfaite propreté de l'un d'eux, est ce qui permet à un système d'affirmer avec une réelle confiance que deux annonces sont la même opportunité sous-jacente plutôt que deux opportunités semblables par coïncidence.

Le coût de l'erreur dans les deux sens

La déduplication comporte un risque des deux côtés. Fusionnez trop agressivement, en traitant des contrats véritablement différents comme des doublons parce qu'ils partagent un acheteur et une valeur similaire, et un fournisseur perd silencieusement la visibilité sur de réelles opportunités. Fusionnez trop prudemment, et le flux se remplit d'annonces quasi identiques qui gaspillent le temps d'examen et gonflent les métriques de pipeline sans ajouter de signal réel. Aucun de ces modes d'échec n'est acceptable pour une équipe qui s'appuie sur le flux pour prendre rapidement des décisions de soumission ou de non-soumission.

Le problème des modifications vient s'ajouter à cela. Lorsqu'un véritable doublon est correctement identifié, le système doit aussi déterminer quelle version porte le délai et les spécifications actuels, et faire remonter cette version plutôt qu'une moyenne ou, pire, la plus périmée.

Un flux propre, pas cinq qui se chevauchent

Construire et maintenir une déduplication fiable à travers des dizaines de portails nationaux, TED et des agrégateurs tiers est exactement le genre de travail d'infrastructure peu glamour qui détermine si un outil de suivi des appels d'offres est réellement utilisable au quotidien. TRINTA lit ce qu'une entreprise vend et fait remonter chaque jour les appels d'offres correspondants issus de sources officielles, résolus jusqu'à une seule entrée par opportunité réelle, de sorte qu'une équipe de passation de marchés examine un pipeline propre au lieu de démêler à la main cinq flux qui se chevauchent.