Data sourcen

Er zijn 3 verschillende methodes om data aan een dataset toe te voegen:

  • door een statisch, lokaal bestand te uploaden in het platform

  • door het platform te verbinden met een service op afstand (bijv. een API, een geografisch informatiesysteem, een FTP, enz.): hierdoor kan het platform ophalen wat in de service op afstand staat terwijl u er gesynchroniseerd mee blijft.

  • door data te plakken en deze te uploaden in het platform

Belangrijk

Alvorens data op te halen en vooral bestanden in het platform, controleer de formaten die ondersteund worden door het Opendatasoft-platform (zie Ondersteunde formaten).

Een bestand uploaden

Deze methode bestaat erin dat een bestand rechtstreeks wordt geüpload in het platform om zo een statisch bestand te koppelen aan een nieuwe dataset.

  1. Klik in Catalogus > Datasets op de knop Nieuwe dataset.

  2. Klik op de knop Een bron toevoegen.

  3. Klik op de knop Een bestand uploaden.

  4. Kies het bestand dat in het platform moet worden geüpload.

  5. Klik op de knop Openen in het venster waar bestanden kunnen worden geselecteerd.

Opgelet

Een bestand mag maximaal 240 MB groot zijn. Wanneer uw bestand te groot is, kan u het comprimeren alvorens het in het platform te uploaden (zie Ondersteunde gecomprimeerde bestandsformaten).

Opmerking

Het is mogelijk om het bestand na stappen 1 en 2 gewoon te slepen en te plakken in plaats van de volledige bestandselectieprocedure te volgen.

Data op afstand sourcen via een URL

Deze methode bestaat erin dat het platform wordt verbonden met:

  • ofwel een server op afstand via zijn URL om bestanden die opgeslagen zijn op deze server op afstand te importeren

  • of een databron op afstand waarin data records worden blootgesteld over een API

Opmerking

Wanneer data wordt gesourced via een URL, is er een knop "Headers toevoegen" beschikbaar in de rubriek Sourceconfiguratie: hiermee kunnen HTTP headers worden toegevoegd (bijv. API sleutels). Wanneer op deze knop wordt geklikt, wordt er een venster geopend: vermeld voor elke nieuwe header een sleutel en een waarde.

Opmerking

Deze verbindingen met het platform maken de automatisering van de data-update mogelijk, door real-time data te plannen of te pushen (zie Data up-to-date houden).

Verbinden met een server op afstand

  1. Klik in Catalogus > Datasets op de knop Nieuwe dataset.

  2. Klik op de knop Een bron toevoegen.

  3. Schrijf in het vakje Voer een URL in de URL van de server op afstand waar de bestanden zijn opgeslagen.

Opendatasoft ondersteunt de volgende protocols:

  • HTTP en HTTPS die links zijn naar één enkel bestand (bijv. http://example.org/mydata.csv)

  • FTP en FTPS die links zijn naar één enkel bestand (bijv. ftp://example.org/my_dir/mydata.csv voor FTP, ftps://example.org/my_dir/mydata.csv voor FTPS) of een directory (bijv. ftp://example.org/my_dir/ voor FTP, ftps://example.org/my_dir/ voor FTPS). Het gebruik van een directory is vaak de favoriete oplossing om incrementele updates tussen het informatiesysteem en het platform te automatiseren. Alle bestanden in de directory moeten hetzelfde formaat en schema hebben (bijv. CSV-bestanden met dezelfde kolomtitels). In geval van automatisering, wanneer de dataset wordt gepubliceerd, worden nieuwe en bijgewerkte bestanden opgehaald van de locatie op afstand en verwerkt en dankzij de oorspronkelijke deduplicatiestrategie van Opendatasoft worden gelijkaardige records niet twee keer verwerkt (zie Documentatie over speciale velden).

Belangrijk

Wanneer er wordt gesynchroniseerd vanuit een FTP-locatie op afstand, behoudt Opendatasoft een persistente cache en snoeit het niet automatisch ontbrekende bestanden uit de directory op afstand. Gelieve contact op te nemen met het Support Team van Opendatasoft indien u wil dat er een opkuis wordt uitgevoerd.

Opgelet

We ondersteunen het SFTP-protocol niet dat volledig verschillend is van het FTPS-protocol.

Verbinden met een API

  1. Klik in Catalogus > Datasets op de knop Nieuwe dataset.

  2. Klik op de knop Een bron toevoegen.

  3. Schrijf in het vakje Voer een URL in de URL van de API

Opendatasoft ondersteunt van nature de volgende API's:

Belangrijk

Neem contact op met uw lokaal support team om deze connectoren geactiveerd te krijgen op uw domein.

Opmerking

Opendatasoft kan ook klantspecifieke Web API's ontwikkelen en integreren. De connectiviteits-toolkit van Opendatasoft maakt het mogelijk om performante en beveiligde connectoren te ontwikkelen die incrementele dataverwerking ondersteunen.

Data plakken

Deze methode bestaat erin dat data geplakt worden in een CSV-formaat. Deze methode is het nuttigst voor snelle tests.

  1. Klik in Catalogus > Datasets op de knop Nieuwe dataset.

  2. Klik op de knop Een bron toevoegen.

  3. Schrijf of plak in de ruimte Data plakken data in een CSV-formaat

  4. Klik op de knop Data versturen.

Eenmaal een nieuwe dataset is aangemaakt, geeft het platform automatisch een bewerkingsinterface weer voor die dataset. Deze is toegankelijk voor elke gebruiker met de juiste toelatingen (hetzij "Dataset aanmaken" of "Dataset bewerken"). Deze bewerkingsinterface laat toe de gegevens te verwerken, de datasets en de weergaves ervan te configureren, alsook het publiceren van de dataset te beheren. Het eerste dat evenwel moet gebeuren na het aanmaken van een nieuwe dataset is om de bron ervan te configureren om er voor te zorgen dat de gegevens perfect worden gelezen en begrepen door het platform.