Ajouter des processeurs à un jeu de données

Les processeurs sont des outils qui peuvent être utilisés pour modifier, améliorer ou enrichir les données d’un jeu de données. Dans la plateforme OpenDataSoft, les processeurs sont répartis en 4 catégories différentes :

  • processeurs pour les traitements géographiques,

  • processeur pour le traitement des dates,

  • processeurs pour les transformations de texte,

  • processeurs pour les traitements génériques.

Pour ajouter un processeur à un jeu de données :

  1. Dans l’onglet Traitement, cliquez sur le bouton Ajouter un processeur.

  2. Choisissez le processeur à ajouter au jeu de données.

  3. À l’aide de la documentation correspondant au processeur choisi, renseignez les paramètres appropriés pour configurer le processeur.

Remarque

Vous devez peut-être cliquer en dehors de la zone du processeur une fois les paramètres configurés, pour vous assurer que le processeur et les modifications qu’il déclenche sont pris en compte et appliqués au jeu de données.

Remarque

Quel que soit le processeur, utilisez toujours les identifiants techniques des champs à traiter, jamais les labels.

Processeurs géographiques

Les processeurs géographiques sont divisés en 4 catégories, en fonction du but recherché :

  • Géocodeurs : pour convertir une adresse lisible par l’homme en un point géo. Il existe 10 géocodeurs.

  • Processeur de jointure géo : pour récupérer des formes géo à partir de codes normalisés, pour des divisions administratives spécifiques de pays. Le processeur de jointure géographique supporte plusieurs pays, chacun d’entre eux possédant ses propres codes d’indexation comme le code postal, l’état ou l’identifiant régional, etc.

  • Processeur Récupérer les divisions administratives : pour récupérer le nom, le code et la forme géo des divisions administratives spécifiques d’un pays comprenant un point géo.

  • Convertisseurs et fonctions : pour simplifier, convertir ou normaliser des données géographiques, ou effectuer des calculs à partir de ces données. Il existe 7 processeurs dans cette catégorie.

Géocodeurs

Nom

Description

Disponibilité

Géocoder avec la BAN

Géocoder des adresses en France grâce au service de Base d’Adresses Nationale (BAN)

Par défaut

Géocoder avec Google

Géocoder des adresses en format texte en utilisant l’API de géocodage Google

À la demande

Géocoder avec ArcGIS

Géocoder des adresses en format texte en utilisant l’API de géocodage ArcGIS

Par défaut

Géocoder avec PDOK

Géocoder des adresses aux Pays-Bas en utilisant le service PDOK

À la demande

Code Pays vers Coordonnées Géo

Produire une coordonnée géo avec un code pays ISO

Par défaut

Code INSEE vers Coordonnées Géo

Produire une coordonnée géo avec un code INSEE français

Par défaut

Adresse IP vers Coordonnées Géo

Géocoder une adresse IP

Par défaut

Code Postal vers Coordonnées Géo

Produire une coordonnée géo avec un code postal français

Par défaut

what3words

Produire une adresse 3 mots avec des coordonnées géographiques

À la demande

Récupérer les coordonnées d’une adresse 3 mots

Convertir une adresse 3 mots en coordonnées géographiques

À la demande

Processeur de jointure géo

Nom

Description

Disponibilité

Jointure géographique

Récupérer les formes géo des divisions administratives d’un pays et d’un référentiel spécifié

Par défaut

Processeur Récupérer les divisions administratives

Nom

Description

Disponibilité

Récupérer les divisions administratives

Récupérer les informations associées aux divisions administratives avec un point géo

Par défaut

Convertisseurs et fonctions

Nom

Description

Disponibilité

Convertir des Degrés

Convertir des coordonnées géographiques en degrés, minutes, secondes vers des coordonnées WGS84

Par défaut

Normaliser le Système de Projection

Remplacer un point géo par sa représentation WGS84

Par défaut

WKT et WKB en GeoJSON

Convertir un objet géométrique vectoriel en WKT ou WKB en un objet GeoJson

À la demande

Simplifier les formes géo

Simplifier une forme géo afin de réduire le temps de traitement et la taille du jeu de données

Par défaut

Masquage géographique

Offrir une protection de la vie privée en indiquant la position approximative d’un lieu géographique dans un rayon donné

Par défaut

Calcule la distance

Calculer la distance entre 2 coordonnées

Par défaut

Créer un point géo

Créer un champ point géo à partir d’un champ latitude et d’un champ longitude

Par défaut

Processeurs de dates

Nom

Description

Disponibilité

Normaliser une Date

Normaliser un format de date qui n’est pas automatiquement compris par la plateforme

Par défaut

Définir le fuseau horaire

Définir un fuseau horaire pour un champ datetime

Par défaut

Processeurs de texte

Nom

Description

Disponibilité

Concaténer du Texte

Concaténer 2 champs

Par défaut

Décoder les entités HTML

Décoder les entités HTML d’un texte, afin de les transformer en code HTML valide

Par défaut

Extraire du HTML

Extraire du HTML d’un tag HTML afin de ne conserver que le contenu textuel

Par défaut

Extraire du Texte

Extraire une partie d’une valeur de champ à l’aide d’une expression régulière

Par défaut

Extraire les URL

Extraire les URL du contenu HTML ou texte

Par défaut

Normaliser les valeurs Unicode

Normaliser le contenu Unicode à l’aide de la composition par équivalence canonique (NFC)

Par défaut

Normaliser une URL

Normaliser une valeur de champ pour obtenir une URL valide

Par défaut

Remplacer le Texte

Remplacer une valeur de champ textuel par un texte choisi

Par défaut

Remplacer via Expression Régulière

Remplacer une partie supprimée d’une valeur de champ à l’aide d’une expression régulière

Par défaut

Séparer le Texte

Séparer la valeur d’un champ et en extraire une partie dans un nouveau champ.

Par défaut

Processeurs génériques

Nom

Description

Disponibilité

Ajouter un Champ

Ajouter un champ vide dans un jeu de données

Par défaut

Copier un Champ

Copier une valeur de champ d’un champ à un autre

Par défaut

Supprimer enregistrement par ID

Supprimer un enregistrement d’un jeu de données , sur la base de son ID unique

Par défaut

Déplier le tableau JSON

Transposer les lignes contenant un tableau JSON en plusieurs lignes

Par défaut

Expression

Écrire des expressions complexes à l’aide de valeurs de champ

Par défaut

Extraire la plage de bits

Extraire une plage de bits arbitraire à partir d’un contenu hexadécimal

À la demande

Extraire d’un objet JSON

Extraire des valeurs d’un champ contenant un objet JSON

Par défaut

Fichier

Récupérer des images depuis des URL

Par défaut

Joindre des Jeux de Données

Joindre 2 jeux de données pour récupérer un champ spécifié dans un jeu de données

Par défaut

Tableau JSON vers multivalué

Extraire des valeurs multiples d’un tableau JSON et les concaténer dans un champ multivalué

Par défaut

Ignorer des enregistrements

Ignorer des enregistrements d’un jeu de données

Par défaut

Transformer les colonnes de booléens en champs multivalués

Transformer des valeurs réelles de champs booléens en un champ à valeurs multiples

Par défaut

Transposer des champs

Transformer des labels en valeurs de champ

Par défaut