Aller au contenu principal
Version: Actuel

Boîte à outils pour la qualité des données

info

Cette page présente plusieurs erreurs courantes de qualité des données que vous pouvez repérer et corriger dans votre jeu de données grâce à des techniques de recherche créatives et/ou aux outils de qualité des données existants. Les problèmes de qualité des données sont regroupés par catégorie.

Pour obtenir plus d'aide sur la qualité des données, consultez les ressources suivantes :

Sommaire​

Numéros de catalogue et autres identifiants​

Numéros de catalogue en double​

Problème : Le même numéro de catalogue est utilisé plusieurs fois dans votre jeu de données. (Ce problème peut être intentionnel ou non, selon les politiques de votre collection. Il est généralement préférable de ne pas dupliquer les numéros de catalogue lorsque cela est possible).

Solution : Utilisez l'outil de gestion des numéros de catalogue en double pour afficher, modifier et/ou fusionner les doublons. Notez que seuls les utilisateurs disposant de droits d'administrateur peuvent utiliser cet outil.

Dates​

Date future (non encore survenue)​

Problème : La date de collecte du spécimen (souvent indiquée dans le champ eventDate) est une date future.

Solution : Il existe deux façons de repérer les enregistrements présentant ce problème :

Méthode 1 :

  1. Accédez au formulaire de recherche d'enregistrements de votre collection.
  2. Dans le champ de tri (« Sort By »), sélectionnez « Date ». Ensuite, choisissez l'ordre décroissant (« descending ») dans la deuxième liste déroulante.

Capture d'écran du tri par date décroissante

  1. Cliquez sur « Display Table » (Afficher le tableau). Une fois la page chargée, les dates les plus récentes apparaîtront en haut du tableau. Modifiez ces enregistrements en cliquant sur le lien dans la colonne « Symbiota ID » (tout à gauche).
astuce

Cliquez sur l'icône (case et flèche) située à droite du numéro Symbiota ID pour ouvrir l'enregistrement dans une nouvelle fenêtre. Ainsi, vous n'aurez pas besoin de relancer votre recherche après avoir modifié chaque enregistrement.

Méthode 2 :

  1. Accédez à la page de recherche publique de votre portail. On y accède généralement depuis la page d'accueil en sélectionnant « Search » (Rechercher) ou « Search Collections » (Rechercher des collections) dans le menu d'en-tête.
  2. Si vous arrivez sur une liste de collections, cochez la case « Select/Deselect all collections » (Sélectionner/Désélectionner toutes les collections) pour tout désélectionner, puis cochez la case correspondant à votre collection. Cliquez sur le bouton « Search » (Rechercher). Si vous n'êtes pas redirigé vers une liste de collections, passez à l'étape 3.
  3. Dans la section « Critères de collecte » (ou « Événement de collecte »), saisissez la date du jour dans le premier champ « Date de collecte » (ou « Date de début de collecte ») et « 9999-12-31 » dans le second champ (ou « Date de fin de collecte »).
  4. Si une section « Collections » apparaît sur la page de recherche, cochez la case « Sélectionner/Désélectionner toutes les collections » pour désélectionner toutes les collections, puis cochez la case correspondant à votre collection. Si la page de recherche ne comporte pas de section « Collections », c'est que vous avez normalement déjà sélectionné votre collection à l'étape 2.
  5. Cliquez sur le bouton « Affichage en liste » (ou sur le bouton « Rechercher », s'il est présent).
  6. Les résultats de la recherche afficheront tous les spécimens dont la date de collecte est postérieure à la date du jour. Vous pouvez consulter et modifier ces notices en cliquant sur le lien « Détails complets de la notice » situé sous le résumé du spécimen, puis en cliquant sur le lien « Éditeur d'occurrence » dans la fenêtre contextuelle qui s'ouvre.

Capture d'écran du lien vers l'éditeur d'occurrence depuis l'affichage public

Date anormalement ancienne​

Problème : La date de collecte du spécimen (souvent indiquée dans le champ eventDate) se situe en dehors de la plage de dates historiques attendue. Cette plage dépend de l'institution, mais il est peu probable que la plupart des collections contiennent des spécimens datant d'avant 1600.

Solution : Consultez les méthodes décrites dans la section Date future (non encore atteinte), mais apportez les modifications suivantes :

Méthode 1 :

À l'étape 2, sélectionnez « croissant » (ascending) dans la deuxième liste déroulante du champ de tri (Sort By). Vous souhaiterez probablement aussi exclure les enregistrements sans date en sélectionnant « Date » dans le champ personnalisé 1 (Custom Field 1) et « IS NOT NULL » (n'est pas vide) dans la deuxième liste déroulante. Cela supprimera de vos résultats de recherche les dates vides qui, autrement, apparaîtraient au début de votre liste triée par ordre croissant.

Méthode 2 :

À l'étape 3, saisissez « 0001-01-01 » dans le premier champ de date de collecte (ou champ de date de début de collecte) et la date la plus ancienne jugée possible pour votre collection (par ex. « 1700-01-01 ») dans le second champ (ou champ de date de fin de collecte).

Date d'identification antérieure à la date de collecte​

Problème : La date d'identification du spécimen (champ dateIdentified) est antérieure à sa date de collecte (champ eventDate).

Solution : Ce problème ne peut pas être détecté à l'aide des outils du portail Symbiota. Pour repérer les enregistrements concernés, téléchargez vos données depuis la page de recherche publique, sous forme de fichier de sauvegarde, ou via une exportation depuis le formulaire de recherche d'enregistrements. Vous pouvez ensuite utiliser un tableur pour comparer le champ dateIdentified au champ eventDate (voir les instructions pour Excel ici).

Les valeurs d'année, de mois et de jour ne correspondent pas à la date​

Problème : Les valeurs d'année (year), de mois (month) et de jour (day) de l'événement ne correspondent pas à la date de l'événement (eventDate) fournie. Pour les spécimens conservés, la date de l'événement correspond souvent à la date de collecte.

Solution : Ce problème ne peut pas être détecté à l'aide des outils du portail Symbiota. Pour repérer les enregistrements concernés, téléchargez vos données depuis la page de recherche publique, sous forme de fichier de sauvegarde, ou effectuez une exportation depuis le formulaire de recherche d'enregistrements. Vous pouvez ensuite utiliser un tableur pour comparer le champ dateIdentified au champ eventDate (voir les instructions pour Excel ici).

Géographie​

Les coordonnées sont égales à zéro​

Problème : Les valeurs de latitude et/ou de longitude fournies sont égales à 0.

Solution :

  1. Accédez au formulaire de recherche d'enregistrements de votre collection.
  2. Dans le champ personnalisé 1 (Custom Field 1), sélectionnez « Decimal Latitude » (Latitude décimale) dans le premier menu déroulant, sélectionnez « EQUALS » (Égal à) dans le second menu déroulant, puis saisissez 0 dans le champ vide. 3. Modifiez individuellement les enregistrements erronés en cliquant sur le lien dans la colonne « Symbiota ID » (tout à gauche), ou modifiez toutes les entrées par lots à l'aide de l'outil de modification par lots (Batch Editing Tool).
  3. Répétez les étapes 2 et 3 pour le champ « Decimal Longitude » (Longitude décimale). Vous pouvez également rechercher les enregistrements affichant une valeur de 0 pour la latitude et la longitude en ajoutant un critère de recherche personnalisé supplémentaire. Pour ce faire, cliquez sur l'icône en forme de crayon à droite de « Custom Field 1 » (Champ personnalisé 1) et configurez les paramètres de « Custom Field 2 » (Champ personnalisé 2) en conséquence.

Les coordonnées ne correspondent pas à l'unité géographique indiquée​

Problème : Les coordonnées fournies ne se situent pas dans les limites géographiques du pays, de l'État et/ou du comté indiqués.

Solution : Ce problème ne peut pas être identifié actuellement à l'aide des outils du portail Symbiota. Nous recommandons d'utiliser l'API de géocodage inverse du GBIF pour vérifier la cohérence entre les coordonnées et le pays, ou simplement de publier vos données sur le GBIF et de consulter les indicateurs de qualité des données de votre jeu de données.

Métadonnées de géoréférencement sans géoréférencement associé​

Problème : Des champs de métadonnées relatifs aux coordonnées — tels que coordinateUncertaintyInMeters, georeferenceProtocol, georeferenceSources, georeferencedBy, georeferenceRemarks et geodeticDatum — sont renseignés, mais aucune coordonnée n'est présente. Cette situation est parfois intentionnelle, notamment lorsque les champs georeferencedBy et georeferenceRemarks servent à indiquer qu'une notice n'a pas été géoréférencée volontairement. Toutefois, il est rare que les autres champs de métadonnées puissent être utilisés sans coordonnées associées (c.-à-d. decimalLatitude, decimalLongitude ou verbatimCoordinates).

Problème :

  1. Accédez au formulaire de recherche de notices pour votre collection. 2. Dans le champ personnalisé 1, sélectionnez « Decimal Latitude » (Latitude décimale) dans le premier menu déroulant et « IS NULL » (Est nul) dans le second.
  2. Cliquez sur l'icône en forme de crayon à droite du champ personnalisé 1 pour ajouter un autre champ personnalisé.
  3. Dans le champ personnalisé 2, sélectionnez le champ de métadonnées de géoréférencement que vous souhaitez comparer (voir la liste des suggestions ci-dessus) et sélectionnez « IS NOT NULL » (N'est pas nul) dans le second menu déroulant.
  4. Cliquez sur « Display Table » (Afficher le tableau). Modifiez les enregistrements erronés en cliquant sur le lien dans la colonne « Symbiota ID » (tout à gauche).
astuce

Cliquez sur l'icône représentant une case et une flèche à droite du numéro « Symbiota ID » pour ouvrir l'enregistrement dans une nouvelle fenêtre. Ainsi, vous n'aurez pas besoin de relancer votre recherche après avoir modifié chaque enregistrement.

Altitude improbable​

Problème : Les valeurs d'altitude sont soit trop élevées (> 17 000 m), soit trop basses (-11 000 m) pour être possibles sur Terre.

Solution :

  1. Accédez au formulaire de recherche d'enregistrements pour votre collection.
  2. Effectuez l'une des actions suivantes :
  • Altitude minimale : Dans le champ personnalisé 1, sélectionnez « Elevation Minimum » (Altitude minimale) dans le premier menu déroulant, sélectionnez « LESS THAN » (Inférieur à) dans le second menu déroulant, et saisissez -11000 dans le champ vide.
  • Altitude maximale : Dans le champ personnalisé 1, sélectionnez « Elevation Maximum » (Altitude maximale) dans le premier menu déroulant, sélectionnez « GREATER THAN » (Supérieur à) dans le second menu déroulant, et saisissez 17000 dans le champ vide.
  1. Cliquez sur « Display Table » (Afficher le tableau). Modifiez les enregistrements erronés en cliquant sur le lien dans la colonne « Symbiota ID » (tout à gauche).

Latitudes/Longitudes avec un signe incorrect​

Problème : Le signe de la latitude (decimalLatitude) ou de la longitude (decimalLongitude) ne correspond pas au signe ou à l'hémisphère du pays indiqué. Par exemple, toutes les longitudes aux États-Unis devraient être négatives.

Solution : Ce problème ne peut pas être identifié actuellement à l'aide des outils du portail Symbiota. Nous recommandons d'utiliser l'API de géocodage inverse du GBIF (GBIF Reverse Geocoding API) pour vérifier la cohérence entre les coordonnées et le pays, ou simplement de publier vos données sur le GBIF et de consulter les indicateurs de qualité des données de votre jeu de données.

Coordonnées invalides​

Problème : Les coordonnées sortent des plages ou des formats acceptés ; par exemple, decimalLatitude et decimalLongitude dépassent respectivement les intervalles [-90, 90] et [-180, 180]. Le champ verbatimCoordinates doit contenir des valeurs valides exprimées en degrés décimaux, en degrés et minutes décimales, ou en degrés, minutes et secondes.

Solution : Certains types de coordonnées invalides peuvent être identifiés à l'aide du formulaire de recherche d'enregistrements.

  1. Accédez au formulaire de recherche d'enregistrements pour votre collection.
  2. Effectuez l'une des actions suivantes :
  • Dans le champ personnalisé 1 (« Custom Field 1 »), sélectionnez « Decimal Latitude » dans le premier menu déroulant, « LESS THAN » (inférieur à) dans le second, et saisissez -90 dans le champ vide.
  • Dans le champ personnalisé 1, sélectionnez « Decimal Latitude » dans le premier menu déroulant, « GREATER THAN » (supérieur à) dans le second, et saisissez 90 dans le champ vide.
  • Dans le champ personnalisé 1, sélectionnez « Decimal Longitude » dans le premier menu déroulant, « LESS THAN » (inférieur à) dans le second, et saisissez -180 dans le champ vide.
  • Dans le champ personnalisé 1, sélectionnez « Decimal Longitude » dans le premier menu déroulant, « GREATER THAN » (supérieur à) dans le second, et saisissez 180 dans le champ vide.
  1. Cliquez sur « Display Table » (Afficher le tableau). Modifiez les enregistrements erronés en cliquant sur le lien dans la colonne « Symbiota ID » (tout à gauche).

Valeurs géographiques de niveau inférieur fournies, mais absence de niveau supérieur​

Problème : Des valeurs géographiques de niveau inférieur (par ex. comté, État/province) sont présentes, mais aucune valeur de niveau supérieur (par ex. pays) n'est fournie.

Solution : Ce problème peut être rapidement identifié et corrigé à l'aide des outils de nettoyage géographique. Notez que vous devez disposer des droits d'administrateur pour utiliser ces outils.

Incohérence entre les valeurs d'altitude minimale et maximale​

Problème : La valeur de l'altitude minimale (minimumElevationInMeters) est supérieure à celle de l'altitude maximale (maximumElevationInMeters). Solution : Ce problème ne peut pas être identifié à l'aide des outils du portail Symbiota. Pour localiser les enregistrements présentant ce problème, téléchargez vos données depuis la page de recherche publique, sous forme de fichier de sauvegarde, ou effectuez une exportation depuis le formulaire de recherche d'enregistrements. Vous pouvez ensuite utiliser un tableur pour comparer les champs minimumElevationInMeters et maximumElevationInMeters.

Incohérence entre les valeurs de pays (country) et de code pays (countryCode)​

Problème : Les valeurs fournies pour le pays (country) et le code pays (countryCode) ne correspondent pas.

Solution : Ce problème ne peut pas être identifié à l'aide des outils du portail Symbiota. Pour localiser les enregistrements présentant ce problème, téléchargez vos données depuis la page de recherche publique, sous forme de fichier de sauvegarde, ou effectuez une exportation depuis le formulaire de recherche d'enregistrements. Vous pouvez ensuite utiliser un tableur pour comparer les combinaisons uniques de pays et de code pays afin de repérer les incohérences (voir les instructions pour Excel ici).

Système géodésique de référence (Datum) manquant​

Problème : Le système géodésique de référence (datum) est un élément clé d'un spécimen correctement géoréférencé, mais cette information est souvent laissée en blanc. Bien que l'on suppose généralement qu'il s'agit du système « WGS84 », cette information doit être ajoutée et explicitement indiquée.

Solution :

  1. Accédez au formulaire de recherche d'enregistrements de votre collection.
  2. Dans le champ personnalisé 1, sélectionnez « Geodetic Datum » (Système géodésique) dans la première liste déroulante et « IS NULL » (est vide) dans la seconde.
  3. Cliquez sur l'icône en forme de crayon à droite du champ personnalisé 1 pour ajouter un autre champ personnalisé.
  4. Dans le champ personnalisé 2, sélectionnez « Decimal Latitude » (Latitude décimale) dans la première liste déroulante et « IS NOT NULL » (n'est pas vide) dans la seconde.
  5. Modifiez individuellement les enregistrements erronés en cliquant sur le lien dans la colonne « Symbiota ID » (tout à gauche), ou modifiez toutes les entrées par lots à l'aide de l'outil de modification par lots (Batch Editing Tool).

Incohérence des termes géographiques​

Problème : Un enregistrement contient des termes géographiques de niveau inférieur (par ex. : État/Province, comté) qui n'existent pas au sein du ou des termes géographiques de niveau supérieur fournis. Par exemple : pays = Canada et État/Province = Sussex. Il n'existe pas de province nommée Sussex au Canada.

Solution : Ce problème peut être rapidement identifié et corrigé à l'aide des outils de nettoyage géographique (geography cleaning tools). Notez que vous devez disposer des droits d'administrateur pour utiliser ces outils.

Latitude ou longitude manquante​

Problème : Un enregistrement contient une valeur de latitude mais pas de valeur de longitude, ou inversement.

Solution :

  1. Accédez au formulaire de recherche d'enregistrements de votre collection.
  2. Dans le champ personnalisé 1, sélectionnez « Decimal Latitude » (Latitude décimale) ou « Decimal Longitude » (Longitude décimale) dans la première liste déroulante et « IS NOT NULL » (n'est pas vide) dans la seconde.
  3. Cliquez sur l'icône en forme de crayon à droite du champ personnalisé 1 pour ajouter un autre champ personnalisé. 4. Dans le champ personnalisé 2, sélectionnez « Decimal Longitude » (ou « Decimal Latitude », selon celui qui diffère de ce que vous avez saisi dans le champ personnalisé 1) dans la première liste déroulante, et « IS NULL » dans la seconde.
  4. Modifiez les enregistrements erronés en cliquant sur le lien dans la colonne « Symbiota ID » (tout à gauche).

Noms d'unités géographiques mal orthographiés​

Problème : Les noms d'unités géographiques (par ex. pays, État/province, comté) sont mal orthographiés, ce qui empêche une correspondance correcte avec les listes géographiques existantes.

Solution : Ce problème peut être rapidement identifié et corrigé à l'aide des outils de nettoyage géographique. Notez que vous devez disposer de droits d'administrateur pour utiliser ces outils.

Taxonomie​

Noms taxonomiques mal orthographiés ou invalides​

Problème : Les noms scientifiques sont mal orthographiés, ce qui empêche une correspondance correcte avec les bases de données taxonomiques.

Solution : Ce problème peut être rapidement identifié et corrigé à l'aide des outils de nettoyage taxonomique. Notez que vous devez disposer de droits d'administrateur pour utiliser ces outils.

Hiérarchie taxonomique supérieure inconnue​

Problème : Il peut manquer des informations sur la hiérarchie taxonomique supérieure pour certaines espèces.

Solution : Ce problème ne survient dans les portails Symbiota que si vous avez des noms scientifiques qui ne figurent pas dans le thésaurus taxonomique. Vous pouvez utiliser les outils de nettoyage taxonomique pour importer automatiquement des noms depuis le Catalog of Life ou d'autres ressources dans le thésaurus (cette possibilité dépend du portail), ou contacter l'administrateur de votre portail pour ajouter les noms manquants au thésaurus.

Autres problèmes​

Encodages de caractères incorrects​

Problème : Des incohérences de données surviennent lorsque des encodages de caractères incorrects sont utilisés lors de la manipulation ou du transfert des données. Ce problème se produit lorsque des jeux de données sont ouverts, téléchargés ou importés entre différentes plateformes logicielles, entraînant des erreurs d'interprétation et des textes illisibles. Par exemple, des caractères spéciaux tels que des accents ou des symboles peuvent être mal affichés, ce qui nuit à la lisibilité et à l'exactitude des données (par ex. Carl Linné).

Solution : Il n'existe pas d'outils de recherche transversale permettant de repérer les symboles mal affichés dans tous les champs, mais vous pouvez effectuer des recherches dans certains champs spécifiques. Par exemple :

  1. Accédez au formulaire de recherche d'enregistrements de votre collection.
  2. Dans le champ personnalisé 1 (« Custom Field 1 »), sélectionnez le champ à rechercher dans la première liste déroulante, choisissez « CONTAINS » (contient) dans la seconde, puis saisissez le caractère mal converti (par ex. : é) dans le champ de saisie. Cette page propose un tableau utile répertoriant les problèmes courants d'encodage des caractères. Vous pouvez effectuer des recherches en utilisant les valeurs de la colonne « Actual » (réelles) et les remplacer par celles de la colonne « Expected » (attendues). Par exemple, si vous pensez que le caractère « ë » est présent dans un champ donné, vous devrez effectuer une recherche sur « ë ».
  3. Modifiez les enregistrements erronés un par un en cliquant sur le lien dans la colonne « Symbiota ID » (tout à gauche), ou modifiez toutes les entrées par lot à l'aide de l'outil de modification par lot.

Fins de ligne incorrectes​

Problème : Lors du transfert de fichiers texte entre des systèmes Unix/Linux et DOS/Windows, les fins de ligne peuvent devenir incohérentes. Les systèmes Unix/Linux utilisent généralement des caractères de saut de ligne (LF), tandis que les systèmes DOS/Windows utilisent des combinaisons de retour chariot (CR) et de saut de ligne (LF). Cette incompatibilité peut entraîner l'apparition de caractères supplémentaires dans les données, provoquant des anomalies visuelles et des erreurs de traitement.

Solution : Il est peu probable que cela pose problème pour les données déjà importées dans un portail Symbiota. Il est toutefois possible que des symboles erronés (¶) subsistent. Dans ce cas :

  1. Accédez au formulaire de recherche d'enregistrements de votre collection.
  2. Dans le champ personnalisé 1 (Custom Field 1), sélectionnez un champ de recherche dans la première liste déroulante (par exemple, Locality), choisissez « CONTAINS » (contient) dans la seconde liste, et saisissez ¶ dans le champ vide.
  3. Modifiez individuellement les enregistrements erronés en cliquant sur le lien dans la colonne « Symbiota ID » (tout à gauche), ou modifiez par lots toutes les entrées contenant ce symbole à l'aide de l'outil de modification par lots (Batch Editing Tool).

Nombre d'individus (individualCount) invalide​

Problème : La valeur du champ individualCount peut ne pas correspondre à un nombre entier positif cohérent.

Solution :

  1. Accédez au formulaire de recherche d'enregistrements de votre collection.
  2. Dans le champ personnalisé 1 (Custom Field 1), sélectionnez « Individual Count » dans la première liste déroulante, choisissez « LESS THAN » (inférieur à) dans la seconde liste, et saisissez 1 dans le champ vide.
  3. Modifiez les enregistrements erronés en cliquant sur le lien dans la colonne « Symbiota ID » (tout à gauche).

Une autre méthode consiste simplement à parcourir le tableau pour les entrées où « Individual Count » n'est pas nul (IS NOT NULL) et à repérer visuellement les incohérences.

Valeurs BasisOfRecord non normalisées​

Problème : Les valeurs du champ BasisOfRecord ne correspondent pas au vocabulaire contrôlé recommandé. Bien que l'utilisation de termes normalisés dans ce champ ne soit pas strictement obligatoire, elle améliore la découvrabilité et l'interopérabilité de vos données. Les valeurs actuellement acceptées pour le champ BasisOfRecord (nature de l'enregistrement) incluent : MaterialEntity, PreservedSpecimen, FossilSpecimen, LivingSpecimen, MaterialSample, Event, HumanObservation, MachineObservation, Taxon, Occurrence, MaterialCitation.

Notez que l'utilisation de variantes dans la ponctuation ou les majuscules pour ces valeurs (par exemple, « Preserved Specimen » au lieu de « PreservedSpecimen ») est déconseillée.

Solution :

  1. Accédez au formulaire de recherche d'enregistrements (Record Search Form) pour votre collection.
  2. Dans le champ personnalisé 1 (Custom Field 1), sélectionnez « Basis of Record » dans la première liste déroulante, sélectionnez « NOT EQUALS » (différent de) dans la seconde, et saisissez « PreservedSpecimen » dans le champ vide.
  3. Cliquez sur l'icône en forme de crayon située à droite du champ personnalisé 1 pour ajouter un autre champ personnalisé.
  4. Dans le champ personnalisé 2 (Custom Field 2), sélectionnez « Basis of Record » dans la première liste déroulante, sélectionnez « NOT EQUALS » dans la seconde, et saisissez « FossilSpecimen » dans le champ vide.
  5. Répétez les étapes 3 et 4 pour toutes les autres valeurs valides de BasisOfRecord susceptibles d'être présentes dans votre collection.
  6. Modifiez les enregistrements erronés individuellement en cliquant sur le lien dans la colonne « Symbiota ID » (tout à gauche), ou modifiez toutes les entrées par lot à l'aide de l'outil de modification par lot (Batch Editing Tool).

Enregistrements​

Atelier : Nettoyage des données pour un impact maximal​