Data sourcen

Er zijn 3 verschillende methodes om data aan een dataset toe te voegen:

  • door een statisch, lokaal bestand te uploaden in het platform

  • door het platform te verbinden met een service op afstand (bijv. een API, een geografisch informatiesysteem, een FTP, enz.): hierdoor kan het platform ophalen wat in de service op afstand staat terwijl u er gesynchroniseerd mee blijft.

  • door data te plakken en deze te uploaden in het platform

Belangrijk

Alvorens data op te halen en vooral bestanden in het platform, controleer de formaten die ondersteund worden door het Opendatasoft-platform (zie Ondersteunde formaten).

Een bestand uploaden

Deze methode bestaat uit het uploaden van een bestand in het platform om een statisch bestand aan een nieuwe dataset te koppelen.

Notitie

De groottelimiet voor een bestand is 240 Mb. Wanneer uw bestand te groot is, kunt u het comprimeren alvorens het te uploaden naar het platform. Voor meer informatie, zie Ondersteunde gecomprimeerde bestandformaten.

  1. Klik in Catalogus > Datasets op de knop Nieuwe dataset.

  2. Klik op de knop Een bron toevoegen.

  3. Klik op de knop Een bestand uploaden.

  4. Kies het bestand dat in het platform moet worden geüpload.

  5. Klik op de knop Openen in het venster waar bestanden kunnen worden geselecteerd.

Waarschuwing

Metadata worden niet gestript uit geüploade bestanden. De tags kunnen gevoelige informatie blootstellen, zoals geolocatiegegevens of informatie over het toestel.

Alvorens bestanden te uploaden, zorg ervoor dat u metadata stript die u privé wilt houden.

Data op afstand sourcen via een URL

Deze methode bestaat erin dat het platform wordt verbonden met:

  • een server op afstand via zijn URL om bestanden die opgeslagen zijn op deze server op afstand te importeren, of

  • een databron op afstand waarin data records worden blootgesteld over een API

Opmerking

Wanneer data wordt gesourced via een URL, is er een knop "Headers toevoegen" beschikbaar in de rubriek Sourceconfiguratie: hiermee kunnen HTTP headers worden toegevoegd (bijv. API sleutels). Wanneer op deze knop wordt geklikt, wordt er een venster geopend: vermeld voor elke nieuwe header een sleutel en een waarde.

Opmerking

Deze verbindingen met het platform maken de automatisering van de data-update mogelijk, door real-time data te plannen of te pushen (zie Data up-to-date houden).

Verbinden met een server op afstand

  1. Klik in Catalogus > Datasets op de knop Nieuwe dataset.

  2. Klik op de knop Een bron toevoegen.

  3. Schrijf in het vakje Voer een URL in de URL van de server op afstand waar de bestanden zijn opgeslagen.

Opendatasoft ondersteunt de volgende protocols:

  • HTTP en HTTPS die links zijn naar één enkel bestand (bijv. http://example.org/mydata.csv)

  • FTP en FTPS die links zijn naar één enkel bestand (bijv. ftp://example.org/my_dir/mydata.csv voor FTP, ftps://example.org/my_dir/mydata.csv voor FTPS) of een directory (bijv. ftp://example.org/my_dir/ voor FTP, ftps://example.org/my_dir/ voor FTPS). Het gebruik van een directory is vaak de favoriete oplossing om incrementele updates tussen het informatiesysteem en het platform te automatiseren. Alle bestanden in de directory moeten hetzelfde formaat en schema hebben (bijv. CSV-bestanden met dezelfde kolomtitels). In geval van automatisering, wanneer de dataset wordt gepubliceerd, worden nieuwe en bijgewerkte bestanden opgehaald van de locatie op afstand en verwerkt en dankzij de oorspronkelijke deduplicatiestrategie van Opendatasoft worden gelijkaardige records niet twee keer verwerkt (zie Documentatie over speciale velden).

Belangrijk

Wanneer er gesynchroniseerd wordt vanuit een server op afstand, behoudt Opendatasoft een persistente cache en snoeit het niet automatisch ontbrekende bestanden uit de directory op afstand. Indien u wil dat er een opkuis wordt uitgevoerd klik dan rechts van de bron op "Cache verwijderen".

Opgelet

We ondersteunen het SFTP-protocol niet dat volledig verschillend is van het FTPS-protocol.

Verbinden met een API

  1. Klik in Catalogus > Datasets op de knop Nieuwe dataset.

  2. Klik op de knop Een bron toevoegen.

  3. Schrijf in het vakje Voer een URL in de URL van de API

Opendatasoft ondersteunt van nature de volgende API's:

Belangrijk

Neem contact op met uw lokaal support team om deze connectoren geactiveerd te krijgen op uw domein.

Data plakken

Deze methode bestaat erin dat data geplakt worden in een CSV-formaat. Deze methode is het nuttigst voor snelle tests.

  1. Klik in Catalogus > Datasets op de knop Nieuwe dataset.

  2. Klik op de knop Een bron toevoegen.

  3. Schrijf of plak in de ruimte Data plakken data in een CSV-formaat

  4. Klik op de knop Data versturen.

Eenmaal een nieuwe dataset is aangemaakt, geeft het platform automatisch een bewerkingsinterface weer voor die dataset. Deze is toegankelijk voor elke gebruiker met de juiste toelatingen (hetzij "Dataset aanmaken" of "Dataset bewerken"). Deze bewerkingsinterface laat toe de gegevens te verwerken, de datasets en de weergaves ervan te configureren, alsook het publiceren van de dataset te beheren. Het eerste dat evenwel moet gebeuren na het aanmaken van een nieuwe dataset is om de bron ervan te configureren om er voor te zorgen dat de gegevens perfect worden gelezen en begrepen door het platform.