Datasets publiceren

Een dataset heeft een speciale levenscyclus. Deze begint in de back-office (niet-gepubliceerd). U configureert de bronnen, de processors, de veiligheid en vervolgens publiceert u deze. De dataset verschijnt in de front-office (overeenkomstig de veiligheidsregels). Wanneer u wijzigingen aanbrengt aan de dataset, worden deze gepusht naar de publicatieversie wanneer u klikt op de knop publiceer. U kan te allen tijd een dataset verwijderen via de actie verwijderen,

Acties

  • Publiceer: Ervoor zorgen dat de wijzigingen van de dataset live worden. De duur van deze actie kan verschillen. Dit hangt af van het feit of alleen metadata werden gewijzigd of het datasetschema is gewijzigd.

  • Verwijderen: hierdoor wordt de dataset uit de catalogus verwijderd en worden alle records gewist. In sommige gevallen kunnen data verloren gaan (real time zonder herstel, specifieke connectoren).

  • Afbreken: hiermee wordt een bevel afbreken gestuurd naar het verwerkingsproces. Hierdoor blijft de dataset in een zuivere maar onvolledige status (niet alle records werden verwerkt).

Statussen

Het verwerken van datasets verloopt asynchroon om de beste prestaties te waarborgen en om ervoor te zorgen dat er geen interferentie is met andere verwerkingstaken. Tijdens de verwerkingstaak kan de dataset verschillende statussen bereiken.

  • In wachtrij geplaatst: er wordt gewacht tot de verwerkingstaak hervat kan worden.

  • Verwerken: records worden geëxtraheerd uit de connector, processors worden toegepast en het resultaat wordt beschikbaar gesteld via de OpenDataSoft API. Het aantal records neemt toe tijdens deze stap.

  • Verwijderen: de dataset wordt verwijderd uit de API.

  • Verwerking afbreken: het bevel afbreken werd naar het platform gestuurd. Binnen de volgende minuut zal de verwerking van de dataset worden stopgezet.

  • Limiet bereikt: de gebruiker die de verwerkingstaak heeft gelanceerd bereikte zijn toegelaten quotum. Hij neemt één van de limieten over (van het domein, de groep van de gebruiker).