Processors aan een dataset toevoegen

Processors zijn tools die gebruikt kunnen worden om de data van een dataset te wijzigen, te verbeteren of te verrijken. In het Opendatasoft-platform worden processors ondergebracht in 4 verschillende categorieën:

  • Processors voor geografische mapping

  • Processors voor gegevensverwerking

  • Processors voor teksttransformaties

  • Processors voor generische operaties

Om een processor aan een dataset toe te voegen:

  1. Klik in het tabblad Verwerken op de knop Een processor toevoegen

  2. Kies de processor die aan de dataset moet worden toegevoegd.

  3. Vul met behulp van de documentatie van de gekozen processor, de juiste parameters in om de processor in te stellen.

  4. (optioneel) Klik op het icoon bewerken icon-edit om de processor een nieuwe naam te geven. Deze stap kan bijzonder nuttig zijn wanneer een groot aantal processoren op een dataset worden toegepast, waaronder meerdere processoren van hetzelfde type (bijv. meerdere Expression-processoren die op een dataset worden toegepast een nieuwe naam geven om gemakkelijker te weten welke nu juist welke uitdrukking bevat).

Opmerking

Eenmaal de parameters zijn geconfigureerd, kunt u buiten het processorvakje klikken om ervoor te zorgen dat de processor en de wijzigingen die deze veroorzaakt, worden geregistreerd en toegepast op de dataset.

Opmerking

Gebruik altijd de technische identifiers van de velden die moeten worden verwerkt en nooit de labels, ongeacht de processor.

Geografische processoren

Geografische processors worden onderverdeeld in 4 categorieën, afhankelijk van wat geprobeerd wordt te realiseren:

  • Geocoders: om een adres dat door mensen kan worden gelezen om te zetten naar een geopoint.

  • GeoJoin processor: om geoshapes uit genormaliseerde codes voor landenspecifieke administratieve afdelingen terug te vinden. De GeoJoin-processor ondersteunt verschillende landen, die elk afzonderlijke indexatiecodes heeft, zoals postcode, staat of regio identifier, enz.

  • Retrieve Administrative Divisions processor: om de naam, code en geografische vorm op te halen van landenspecifieke afdelingen die een geografisch punt omvatten.

  • Converters and functions: om geografische gegevens te vereenvoudigen, te converteren of te normaliseren of om berekeningen uit te voeren die erop gebaseerd zijn.

Geocoders

Naam

Omschrijving

Beschikbaarheid

Geocode with ArcGIS

Volledige tekstadressen van geocodes door gebruik te maken van ArcGIS Geocoding API

Standaard

Geocode with BAN (France)

Geocode-adressen in Frankrijk door de Base d'Adresses Nationale (BAN) service te gebruiken

Standaard

Geocode with Google

Volledige tekstadressen van geocodes door gebruiken van de Google Geocoding API

Op verzoek

Geocode with PDOK

Geocode-adressen in Nederland door gebruik te maken van de PDOK service

Op verzoek

Geocode with the Census Bureau (USA)

Geocode-adressen in de VS door het Census Bureau te gebruiken

Op verzoek

Get coordinates from a 3 word address

Zet een adres met 3 woorden om in geografische coördinaten

Op verzoek

IP address to geo coordinates

Geeft een geografische code van een IP-adres

Standaard

Nominatim geocoder

Volledige tekstadressen van geocodes door gebruik te maken van gegevens van OpenStreetMap

Op verzoek

what3words

Genereert een adres in drie woorden met geografische coördinaten

Op verzoek

De GeoJoin-processor

Naam

Omschrijving

Beschikbaarheid

Geojoin

Haalt geografische vormen van administratieve afdelingen op voor een welbepaald land en referentie

Standaard

De Retrieve Administrative Divisions Processor

Naam

Omschrijving

Beschikbaarheid

Retrieve administrative divisions

Haalt informatie van administratieve afdelingen op met een geografisch punt

Standaard

Converters en functies

Naam

Omschrijving

Beschikbaarheid

Compute geo distance

Berekent de afstand tussen 2 coördinaten

Standaard

Convert degrees

Zet een coördinaat in graden, minuten, seconden om naar WGS84-coördinaten

Standaard

Create geo point

Maakt een veld "geografisch punt" aan op basis van een veld "lengtegraad" en van een veld "breedtegraad"

Standaard

Decode a Google polyline

Een geëncodeerde Google polyline omzetten naar een GeoJSON LineString

Op verzoek

GeoHash to GeoJSON

GeoHash-waarden omzetten naar GeoJSON

Op verzoek

Geomasking

Biedt privacybescherming door een geografische locatie binnen een specifieke straal te benaderen

Standaard

Normalize projection reference

Vervangt een geografisch punt met zijn WGS84-tegenhanger

Standaard

Polygon filtering

Punten verwijderen die niet in een polygon zitten

Op verzoek

Simplify geo shape

Vereenvoudigt een geografische vorm om de verwerkingstijd en de omvang van de dataset te verkleinen

Standaard

WKT and WKB to GeoJSON

Zet een vector geometrie voorwerp dat weergegeven wordt in WKT of WKB om in een GeoJson-voorwerp

Op verzoek

Datumverwerkers

Naam

Omschrijving

Beschikbaarheid

Normalize date

Normaliseert een datumformaat dat niet automatisch begrepen wordt door het platform

Standaard

Set timezone

Definieert een tijdzone voor een datum/tijd-veld

Standaard

Tekstverwerkers

Naam

Omschrijving

Beschikbaarheid

Concatenate text

Voegt 2 velden samen

Standaard

Decode HTML entities

Decodeert HTML-entiteiten uit een tekst om deze om te zetten naar geldige HTML.

Standaard

Extract HTML

Extraheert HTML uit een HTML-tag om enkel de tekstuele context te behouden

Standaard

Extract text

Extraheert een deel van een veldwaarde met behulp van een regelmatige uitdrukking

Standaard

Extract URLs

Extraheert URL's uit HTML of tekstinhoud

Standaard

Normalize unicode values

Normaliseer Unicode-content door gebruik te maken van de Normalization Form Canonical Composition (NFC)

Standaard

Normalize URL

Normaliseert een veldwaarde om een geldige URL te bekomen

Standaard

Replace text

Vervangt een tekstueel veld door een gekozen tekst

Standaard

Replace via regular expression

Vervangt een verwijderd deel van een veldwaarde met behulp van een regelmatige uitdrukking

Standaard

Split text

Splitst een veldwaarde en extraheert een deel ervan in een nieuw veld

Standaard

Generische processoren

Naam

Omschrijving

Beschikbaarheid

Add a field

Voegt een nieuw leeg veld toe in een dataset

Standaard

Copy a field

Kopieert een veldwaarde vanuit een veld naar een ander veld

Standaard

Deduplicate multivalued fields

Gedupliceerde waarden in een veld met meerdere waarden verwijderen

Standaard

Delete record by ID

Verwijdert een bestaand record op basis van zijn uniek ID uit een dataset

Standaard

Expand JSON array

Zet rijen die een JSON-array bevatten om in verschillende rijen

Standaard

Expand multivalued field

De waarde die in een veld met meerdere waarden zitten, omvormen tot verschillende records.

Standaard

Expression

Schrijft complexe uitdrukkingspatronen met behulp van veldwaarden

Standaard

Extract bit range

Extraheert een arbitrair bit-bereik uit een hexadecimale of binaire inhoud

Op verzoek

Extract from JSON

Extraheert waarden uit een veld dat een JSON-voorwerp bevat

Standaard

File

Haalt afbeeldingen uit URL's

Standaard

Join datasets

Voegt 2 datasets samen om een welbepaald veld in een dataset terug te vinden

Standaard

JSON array to multivalued

Extraheert meerdere waarden uit een JSON-array en voegt deze samen in een veld met meerdere waarden

Standaard

Meta expression

Een uitdrukking op meerdere velden toepassen

Op verzoek

Skip records

Slaat records uit een dataset over

Standaard

Transform boolean columns to multivalued field

Zet ware waarden uit boolean velden om in een veld met meerdere waarden

Standaard

Transpose columns to rows

Transformeert labels in veldwaarden

Standaard