Collecte de données

Trois méthodes sont proposées pour ajouter des données à un jeu de données :

  • en téléchargeant un fichier local et statique sur la plateforme ;

  • en connectant la plateforme à un service distant (par exemple, une API, un système d'information géographique, un FTP, etc.) : cela permet à la plateforme de récupérer ce que le service distant contient tout en restant synchronisé avec ;

  • en collant les données et en les téléchargeant sur la plateforme.

Important

Avant de collecter des données, et en particulier, des fichiers pour la plateforme, vérifiez les formats pris en charge par la plateforme Opendatasoft (voir Formats pris en charge).

Téléchargement d'un fichier

Cette méthode consiste à charger un fichier sur la plateforme, afin d'associer un fichier statique à un nouveau jeu de données.

Note

La limite de taille d'un fichier est de 240 Mo. Si votre fichier est trop volumineux, vous pouvez le compresser avant de le charger sur la plateforme. Pour plus d'informations, consultez Formats de fichiers compressés pris en charge.

  1. Dans Catalogue > Jeux de données, cliquez sur le bouton Nouveau jeu de données.

  2. Cliquez sur le bouton Ajouter une source.

  3. Cliquez sur le bouton Ajouter un fichier.

  4. Choisissez le fichier à charger sur la plateforme.

  5. Dans la fenêtre de sélection de fichiers, cliquez sur le bouton Ouvrir.

Avertissement

Les métadonnées ne sont pas retirées des fichiers chargés. Les tags peuvent exposer des informations sensibles, telles que des données de géolocalisation ou des informations sur l'appareil.

Veillez à retirer les métadonnées que vous souhaitez garder confidentielles avant de charger des fichiers.

Collecte de données distantes via une URL

Cette méthode consiste à connecter la plateforme à :

  • un serveur distant via son URL pour importer les fichiers stockés sur ce serveur distant ;

  • ou à une source de données distante qui expose des enregistrements de données sur une API.

Remarque

Quand vous collectez des données via une URL, un bouton "Ajouter des en-têtes" est disponible dans la section Configuration de la source. Ce bouton permet d'ajouter des en-têtes HTTP (par exemple, des clés d'API). Une fenêtre s'ouvre lorsque vous cliquez dessus, vous invitant à saisir une clé et une valeur pour chaque nouvel en-tête.

Remarque

Ces connexions à la plateforme permettent l'automatisation de la mise à jour des données en planifiant ou en envoyant des données en temps réel (voir Maintenir les données à jour).

Connexion à un serveur distant

  1. Dans Catalogue > Jeux de données, cliquez sur le bouton Nouveau jeu de données.

  2. Cliquez sur le bouton Ajouter une source.

  3. Dans le champ Saisir une URL, saisissez l'URL du serveur distant sur lequel les fichiers sont stockés.

Opendatasoft prend en charge les protocoles suivants :

  • HTTP et HTTPS, qui permettent d'accéder à un fichier unique (par exemple, http://example.org/mydata.csv) ;

  • FTP et FTPS, qui permettent d'accéder à un fichier unique (par exemple, ftp://example.org/my_dir/mydata.csv pour FTP ou ftps://example.org/my_dir/mydata.csv pour FTPS) ou à un répertoire (par exemple, ftp://example.org/my_dir/ pour FTP, ftps://example.org/my_dir/ pour FTPS). L'utilisation d'un répertoire est souvent la solution privilégiée quand il s'agit d'automatiser les mises à jour incrémentielles entre le système d'information d'un client et la plateforme. Tous les fichiers contenus dans le répertoire doivent être au même format et suivre le même schéma (par exemple, des fichiers CSV dont les titres de colonne sont identiques). En cas d'automatisation, lors de la publication du jeu de données, les nouveaux fichiers et les fichiers mis à jour sont récupérés depuis l'emplacement distant et sont traités. Grâce à la stratégie de dédoublonnement native d'Opendatasoft, les enregistrements identiques ne sont pas traités deux fois (voir la documentation relative aux champs spéciaux).

Important

Lors de la synchronisation depuis un serveur distant, Opendatasoft conserve un cache persistant et ne nettoie pas automatiquement les fichiers absents du répertoire distant. Pour tout besoin de nettoyage, cliquez sur "Nettoyer le cache" à droite de la ressource.

Avertissement

Nous ne prenons pas en charge le protocole SFTP, qui est complètement différent du protocole FTPS.

Connexion à une API

  1. Dans Catalogue > Jeux de données, cliquez sur le bouton Nouveau jeu de données.

  2. Cliquez sur le bouton Ajouter une source.

  3. Dans le champ Saisir une URL, saisissez l'URL du serveur de l'API.

Opendatasoft prend en charge nativement les API suivantes :

Important

Contactez l'équipe de support pour activer ces connecteurs sur votre domaine.

Collage des données

Cette méthode consiste à coller des données au format CSV. Elle est privilégiée pour effectuer des tests rapides.

  1. Dans Catalogue > Jeux de données, cliquez sur le bouton Nouveau jeu de données.

  2. Cliquez sur le bouton Ajouter une source.

  3. Dans la section Coller les données, saisissez ou collez des données au format CSV.

  4. Cliquez sur le bouton Envoyer les données.

Une fois le jeu de données créé, la plateforme affiche automatiquement une interface d'édition pour ce jeu de données. Ce dernier est accessible à tous les utilisateurs disposant des permissions appropriées ("Créer un nouveau jeu de données" ou "Éditer tous les jeux de données"). Cette interface d'édition vous permet de traiter les données, de configurer les jeux de données et leurs visualisations, ainsi que de gérer la publication du jeu de données. Toutefois, suite à la configuration d'un jeu de données, vous devez commencer par configurer sa source pour vous assurer que les données sont parfaitement lisibles et compréhensibles par la plateforme.