Een catalogus harvesten¶

Harvesters bieden beheerders een manier om op gemakkelijke wijze een groot aantal datasets aan te maken en te updaten door deze vanuit een externe bron te importeren, zoals een CSW catalogus of een ArcGIS service.

De twee belangrijkste gebruiksvormen van harvesters zijn:

Bootstrap uw portaal met datasets uit een bestaand portaal
Houd uw datasets gesynchroniseerd met een externe service

De harvester zal datasets aanmaken, hun metadata en bronnen updaten, deze gesynchroniseerd houden en publiceren.

Een harvester aanmaken¶

Om met harvesters te starten, klik op het menu harvesters* in uw back-office en vervolgens op **Voeg harvester toe. Er zal u worden gevraagd om het type portaal te kiezen dat u wil harvesten en een naam voor uw harvester te kiezen.

Wanneer dit gebeurd is, klik op Maak harvester aan en u wordt doorgestuurd naar het configuratieformulier van de harvester. Aangezien dit afhangt van het type harvester, verwijzen we naar elke harvesterpagina onderaan voor meer gedetailleerde instructies.

Sommige opties zijn beschikbaar voor elke type harvester, zoals:

Update bij verwijdering: wanneer de brondatasets worden verwijderd op het geharveste portaal, worden deze ook verwijderd op het Opendatasoft-portaal. Zo niet is het mogelijk dat u datasets heeft die niet langer beschikbaar zijn op de externe service (bijv. wanneer ze verwijderd zijn uit de externe service).
Download bronnen: download bronnen in plaats van deze via een URL te koppelen. Deze optie laat u toe uw datasets los te koppelen van het portaal op afstand door permanent alle vereiste data te kopiëren op het Opendatasoft-platform. Zo niet zullen uw datasets gekoppeld zijn aan de externe service en zullen deze voor elke publicatie via hun URL toegang hebben tot datasets op afstand.
Beperk zichtbaarheid: zorgt ervoor dat de zichtbaarheid van geharveste datasets beperkt is. Zo niet zullen ze de standaard zichtbaarheid hebben van uw portaal.
Standaard metadata, Inspireer metadata, DCAT metadata: laten u toe om sommige metadata in elke geharveste dataset op te heffen. Nuttig wanneer u het thema of de uitgever wil forceren in plaats van diegene te gebruiken die gebruikt wordt op de externe dienst.

Eenmaal u klaar bent met het configureren van de harvester, kan u klikken op de knop Voorbeeldweergave om deze op een aantal datasets te testen. Wanneer u enkele titels en omschrijvingen ziet die correct lijken, is alles goed ingesteld. Zo niet, controleer uw configuratie dan nog eens.

Een harvester runnen¶

Het harvestingproces kan vrij lang zijn op externe diensten met vele datasets of met grote datasets. Daarom wordt het opgesplitst in twee fasen.

Allereerst zal de harvester verbinding maken met de service op afstand en alle datasets ontdekken die deze bevat. Vervolgens zal voor elke dataset op afstand die hij vindt een verwijderde dataset worden aangemaakt. Deze datasets zullen alle beschikbare metadata en bronnen bevatten (als URL's of als bestanden, afhankelijk van de optie "download bronnen"). Dit gebeurt wanneer u op de knop Start harvester klikt.
Vervolgens zal hij alle geharveste datasets verwerken en publiceren. Deze stap kan enige tijd in beslag nemen. Dit gebeurt wanneer u klikt op de knop Publiceer.

Geharveste datasets bewerken¶

Alvorens deze te publiceren, kan u de metadata van de geharveste datasets wijzigen. Op de datasetpagina (informatietabblad) kan u metadata manueel opheffen door te klikken op Opheffen en uw eigen waarde toe te voegen. Deze opheffing wordt behouden, zelfs wanneer u uw harvester heropstart.

Een harvester verwijderen¶

Wanneer u een harvester verwijdert door op de knop Verwijder harvester te klikken, kan u kiezen tussen het behouden van de geharveste domeinen (deze zullen als regelmatige datasets behouden worden in uw catalogus) of deze te verwijderen met de harvester.

Wanneer u ervoor kiest om deze te behouden, denk er dan aan dat u deze één voor één zal moeten behandelen om daarna de publicatie ervan ongedaan te kunnen maken of te kunnen verwijderen en dat ze zullen worden gedupliceerd wanneer u een andere harvester opnieuw aanmaakt op dezelfde externe service.

Harvestertypes¶

Portalen¶

Diensten¶

Opmerking

Tenzij anders staat aangegeven, gebruiken alle harvesters standaard HTTPS, maar ondersteunen ze ook HTTP wanneer dit aangegeven wordt in de meegeleverde URL.

De FTP-harvester gebruikt standaard FTPS (expliciete modus op poort 21), maar ondersteunt ook FTP wanneer dit aangegeven wordt in de meegeleverde URL of wanneer FTPS niet wordt ondersteund door de server op afstand.

Planning¶

Vanuit de configuratiepagina van een harvester is het mogelijk om ervoor te zorgen dat deze op periodieke basis werkt. Scroll hiervoor naar beneden op de pagina en klik op "Stel terugkerende runs in". U kan de harvester elke dag runnen of de dagen van de week of de dagen van de maand kiezen waarop deze zal runnen. Wel moet u altijd het tijdstip van de dag kiezen wanneer deze moet runnen omdat hij niet meer dan één keer per dag kan runnen.

De periodieke run zal enkel worden geactiveerd wanneer de harvester minstens één keer heeft gerund.

Op het einde van een geplande run zal de publicatie van alle door de harvester reeds gepubliceerde datasets ongedaan worden gemaakt maar zullen niet-gepubliceerde datasets of nieuwe datasets niet automatisch worden gepubliceerd.