Collecte de données

Trois méthodes sont proposées pour ajouter des données à un jeu de données :

  • en téléchargeant un fichier local et statique sur la plateforme ;

  • en connectant la plateforme à un service distant (par ex. une API, un système d’information géographique, un FTP, etc.) : cela permet à la plateforme de récupérer ce que le service distant contient tout en restant synchronisé avec ;

  • en collant les données et en les téléchargeant sur la plateforme.

Important

Avant de collecter des données, et en particulier, des fichiers pour la plateforme, vérifiez les formats pris en charge par la plateforme OpenDataSoft (voir Formats pris en charge).

Téléchargement d’un fichier

Cette méthode consiste à télécharger directement un fichier sur la plateforme, afin d’associer un fichier statique à un nouveau jeu de données.

  1. Dans Catalogue > Jeux de données, cliquez sur le bouton Nouveau jeu de données.

  2. Cliquez sur le bouton Ajouter une source.

  3. Cliquez sur le bouton Ajouter un fichier.

  4. Choisissez le fichier à télécharger sur la plateforme.

  5. Dans la fenêtre de sélection de fichiers, cliquez sur le bouton Ouvrir.

Avertissement

La limite de taille d’un fichier est de 240 Mo. Si vos fichiers sont trop volumineux, vous pouvez les compresser avant de les télécharger sur la plateforme (voir Formats de fichiers compressés pris en charge).

Remarque

Après les étapes 1 et 2, vous pouvez simplement glisser et déposer le fichier, plutôt que de suivre l’intégralité de la procédure de sélection de fichiers.

Collecte de données distantes via une URL

Cette méthode consiste à connecter la plateforme à :

  • un serveur distant via son URL pour importer les fichiers stockés sur ce serveur distant ;

  • ou à une source de données distante qui expose ses données sur une API.

Remarque

Ces connexions à la plateforme permettent l’automatisation de la mise à jour des données en planifiant et en envoyant des données en temps réel (consultez Maintenir les données à jour).

Connexion à un serveur distant

  1. Dans Catalogue > Jeux de données, cliquez sur le bouton Nouveau jeu de données.

  2. Cliquez sur le bouton Ajouter une source.

  3. Dans le champ Saisir une URL, saisissez l’URL du serveur distant sur lequel les fichiers sont stockés.

OpenDataSoft prend en charge les protocoles suivants :

  • http et https, qui permettent d’accéder à un fichier simple (par ex. http://example.org/mydata.csv) ;

  • ftp et ftps, qui permettent d’accéder à un fichier simple (par ex. ftp://example.org/my_dir/mydata.csv) ou à un répertoire (par ex. ftp://example.org/my_dir/). L’utilisation d’un répertoire est souvent la solution privilégiée quand il s’agit d’automatiser les mises à jour incrémentielles entre le système d’information d’un client et la plateforme. Tous les fichiers contenus dans le répertoire doivent être au même format et avoir le même schéma (par ex. des fichiers CSV dont les titres de colonne sont identiques). En cas d’automatisation, lors de la publication du jeu de données, les nouveaux fichiers et les fichiers mis à jour sont récupérés depuis l’emplacement distant et sont traités. Grâce à la stratégie de dédoublonnement native d’OpenDataSoft, les enregistrements identiques ne sont pas traités deux fois (voir la documentation relative aux champs spéciaux).

Important

Lors de la synchronisation depuis un emplacement FTP distant, OpenDataSoft conserve un cache persistant et ne nettoie pas automatiquement les fichiers absents du répertoire distant. Veuillez contacter l’assistance OpenDataSoft pour tout besoin de nettoyage.

Avertissement

Nous ne prenons pas en charge le protocole sftp, qui est complètement différent du protocole ftps.

Connexion à une API

  1. Dans Catalogue > Jeux de données, cliquez sur le bouton Nouveau jeu de données.

  2. Cliquez sur le bouton Ajouter une source.

  3. Dans le champ Saisir une URL, saisissez l’URL du serveur de l’API.

OpenDataSoft prend en charge nativement les API suivantes :

Important

Contactez l’équipe de support pour activer ces connecteurs sur votre domaine.

Remarque

OpenDataSoft peut également développer et intégrer des APIs web spécifiques. Notre toolkit dédié permet de développer des connecteurs performants et sécurisés supportant le traitement incremental des fichiers.

Options du connecteur

Options disponibles pour la configuration d’un connecteur

Collage des données

Cette méthode consiste à coller des données au format CSV. Elle est privilégiée pour effectuer des tests rapides.

  1. Dans Catalogue > Jeux de données, cliquez sur le bouton Nouveau jeu de données.

  2. Cliquez sur le bouton Ajouter une source.

  3. Dans la section Coller les données, saisissez ou collez des données au format CSV.

  4. Cliquez sur le bouton Envoyer les données.