Data Engineer

Voor onze eindklant, het Kadaster, zoeken wij een Data Engineer

Je bent verantwoordelijk voor het bouwen van de dataoplossingen op het platform. Je werkt in een klein team intensief samen met de overige teamleden. Je hebt daarbij een hoge mate van zelfstandigheid. Daarnaast heb je de vrijheid en verantwoordelijkheid om mee te denken met nieuwe toepassingen, die het dataplatform van Databricks kunnen verrijken. Jouw rol in één zin: de ruwe data in het dataplatform, werkbaar maken (d.m.v. tools als PowerBI).

De opdracht

Start opdracht 17-03-2025

Duur opdracht 6 maanden met optie op verlenging 2 x 6 mnd

Uren per week 32-40

Locatie Apeldoorn / Remote

Tarief € 85 - € 95

LETOP: De opdrachtgever stelt dat vanwege de inhoud en rol van deze opdracht, deze niet door een ZZP'er als ondernemer uitgevoerd kan worden. Payroll, zelfstandigenverloning (OptingIn) of detachering zijn wel mogelijk. Vraag gerust naar de opties.

Jouw rol als Data Engineer

Kort gezegd zorg jij ervoor als data engineer in een Databricks-platformbeheerteam dat de omgeving stabiel, veilig, kostenefficiënt en gebruiksvriendelijk is, zodat data scientists, data analisten en engineers er optimaal gebruik van kunnen maken.

Verantwoordelijkheden

• Migreren van verschillende soorten data naar het platform.


• Meedenken met nieuwe toepassingen die het dataplatform kunnen verrijken.


• Bedenken welk testtype de voorkeur heeft en kun het vervolgens ontwerpen en toepassen.


• Ondersteunen teams met oplossingen op hun vragen.


• Lezen en maken van LLD’s (low level designs).

Een data engineer binnen een platformbeheerteam dat Databricks beheert, heeft een veelzijdige rol die zich richt op zowel de infrastructuur als de ontwikkeling van data-oplossingen. De belangrijkste taken zijn:

Beheer en optimalisatie van Databricks-infrastructuur

• Onderhouden en configureren van Databricks-clusters (autoscaling, compute-resources, netwerkconfiguratie).


• Beheren van Unity Catalog.


• Optimaliseren van kosten en performance (cluster policies en job-scheduling).

Automatisering en CI/CD

• Opzetten en beheren van Infrastructure as Code (IaC) voor Databricks-omgevingen (Terraform).


• Automatiseren van deployment pipelines voor notebooks en jobs.


• Versiebeheer en monitoring van Databricks-code en assets.

Ondersteuning van data teams

• Samenwerken met data scientists en data engineers om ETL/ELT-pipelines efficiënter te maken.


• Adviseren over best practices in Databricks (bijv. Delta Lake-optimalisatie, gebruik van Photon Engine).


• Troubleshooting en ondersteuning bij performance issues en foutopsporing.

Security en Compliance

• Beheren van toegangscontrole (bijv. via Unity Catalog, SCIM-integratie, RBAC).


• Implementeren van audit logging en monitoring (bijv. via Azure Monitor, Databricks SQL audit logs).


• Zorgen voor data governance en naleving van security policies (GDPR, ISO27001).

Integraties en API-beheer

• Koppelen van Databricks met externe databronnen.


• Beheren van API-integraties en data-uitwisseling met andere systemen.


• Onderhouden en ontwikkelen van custom connectors of Databricks Jobs API-implementaties.

Taken

• Ontwerpen valideren aan de hand van de best practises van Microsoft en de kadaster richtlijnen.


• Landingszone beschikbaar stellen aan diverse platformteams.


• Platformteams ondersteunen en begeleiden bij vragen en kennisopbouw.


• Ontwikkelen en implementeren van oplossingen.


• Assisteren bij troubleshooting en probleemoplossing.


• Documenteren van oplossingen en best practices.

Achtergrond

Het Kadaster registreert en verstrekt gegevens over de ligging van vastgoed in Nederland en de daarmee samenhangende rechten, zoals eigendom en hypotheek. Als zelfstandig bestuursorgaan is dat onze wettelijke taak. Onze gegevens bieden houvast bij het onderzoeken van maatschappelijke vraagstukken, of het nu gaat om de beste route voor een nieuwe snelweg, actuele ontwikkelingen op de woningmarkt of het in beeld brengen van leegstand.

Belangrijkste tooling / methoden

• Microsoft Azure Cloud


• Databricks


• Bouwen van dataoplossingen op het platform


• Agile werken


• ServiceNow


• Projectmatig werken


• Kennis van Python

Eisen

• Je bent gedurende de looptijd van het project in loondienst van een intermediair, payroll of anderszins


• Je hebt een Bachelor- of masterdiploma in computerwetenschappen, informatica, of een gerelateerd vakgebied


• Je hebt minimaal 3 jaar ervaring in een vergelijkbare functie als Data Engineer


• Je hebt minimaal 3 jaar ervaring in SQL, Python (PySpark, Scala of Java is een pré)


• Je weet op welke manieren je (big) data kunt opslaan en welke tools je daarvoor gebruikt


• Overige Azure certificeringen zijn een pluspunt


• Bekendheid met overheid compliance-normen zoals ISO 27001, GDPR, AVG en andere relevante voorschriften


• Minimaal Nederlandse taalniveau B2

Toelichting op de eisen en wensen

Het opstellen van een gerichte offerte met een passend CV en motivatie voor een specifieke opdracht kan lastig zijn, zeker met digitale en geautomatiseerde selectieprocessen die gebruikmaken van een puntensysteem: hoe meer punten, hoe groter de kans op een interview. Onze kennis van het "data" werkveld en onze zelfontwikkelde AI-matchingtool helpt hierbij door de match nauwkeurig te bepalen en gerichte aanbevelingen te doen om het CV en de motivatie optimaal af te stemmen op de eisen van de opdracht. Zo vergroot je jouw kans op een succesvolle en scorende offerte!

Sluiting aanvraag dinsdag 4 maart om 10.00 uur

Geselecteerde CV's/reacties worden benaderd door OptimaData uiterlijk 4 maart voor 12.00 uur

Gezamenlijk offerte samenstellen op dinsdagmiddag 4 maart (online)

Deadline indienen offerte bij het Kadaster donderdag 6 maart om 23:59

Interviews met het Kadaster vinden plaats op 13 maart via MS Teams

Reageren

Heb je interesse in deze rol als Data Engineer bij het Kadaster en deze opdracht samen met Multi-platform (open source) Database dienstverlener OptimaData aan te vliegen? Reageer dan met je CV in Word, uurtarief in euro's en een korte gerichte motivatie in het Nederlands, kortom een onderbouwd en niet te ontwijken voorstel! Let goed op de eisen in de vraag, wij kunnen zonder voldoen aan alle eisen NIET indienen, wees daarvan bewust.

Als wij je hebben geselecteerd gaan we je benaderen en samen de definitieve aanbieding voorbereiden. Zo zullen we ook samen het eindtarief bepalen in volledige transparantie.

Heb je vragen over deze opdracht of over OptimaData, aarzel niet en stuur een reactie via deze site.

Contactgegevens
Bedrijfsnaam: OptimaData B.V.
Contactpersoon: Edco Wallet
Adres: IJsselmeerweg 1
Postcode/plaats: 1411 AA NAARDEN
Email: edco@optimadata.nl