DTL015 – Apache airflow en het gebruik van open source tools

Airflow: Apache Airflow is een platform om workflows te organiseren. Workflows kunnen bijvoorbeeld zijn, het periodiek hertraininen van je modellen, overzetten van data van en naar verschillende systemen of het draaien van rapporten. Het zorgt ervoor dat je eenvoudig de afhankelijkheden van een workflow in de gaten kunt houden en actie kunt onderenemen als er iets mis gaat.

Airflow wordt veel gebruikt in Data Science / Big Data projecten omdat het data pijplines kan maken die bijvoorbeeld data laten stromen van een datawarehouse naar een data lake in de cloud, of algoritmes met regelmaat kan laten draaien.

Airflow is deel van de Apache community en dus open source. De Dataloog spreekt met Fokko Driesprong, die een belangrijke bijdrage levert aan Airflow en onderhand committer is van het product. We spreken over cases waar hij Airflow heeft ingezet, zoals het doen van aanbevelingen in de welbekende NPO Start app, of het leiden van data naar de Cloud.

We spreken over de ook over de specifieke punten die het gebruik van open source tools met zich mee brengt. We konen erachter dat niet ieder bedrijf het in zich heeft om open source te implementeren, aldus Fokko. En niet onbelangrijk, de kettingvraag hoe je voorkomt dat open source open sores wordt.

Uiteraard zijn de shownotes weer op de www.Dataloog.nl pagina te vinden.

 

Fokko Driesprong

Fokko Driesprong, Data Engineer bij GoDataDriven. Geboren en getogen in Fryslân. Behaalde zijn masterdiploma in gedistribueerde systemen aan de Universiteit van Groningen. Gepassioneerd software ontwikkelaar en houdt van het oplossen van (big)data problemen dmv open source software. Helpt bedrijven met het automatiseren van hun infrastructuur en het inrichten van hun datastromen. Committer op het Apache Airflow project and heeft code geschreven voor ondere andere Apache {Spark, Flink, Superset, Druid, Avro, Parquet, …}. In zijn vrij tijd is hij graag op pad met vrienden, en vindt hij het leuk om alles in en rond het huis slim te maken (in tegenstelling tot zijn vriendin).

 

 

Shownotes

Politie mag mensen dwingen telefoon unlock met vinger afdruk

https://www.nu.nl/internet/5766453/politie-mag-verdachte-dwingen-telefoon-met-vingerafdruk-te-ontgrendelen.html

cambridge analytics https://nl.wikipedia.org/wiki/Cambridge_Analytica

 

 

https://www.nrc.nl/nieuws/2014/06/30/veel-ouderen-liggen-na-een-val-langer-dan-24-uur-1395300-a659388

Oproep lex om iets te doen aan vallende bejaarden die dagen liggen

https://www.linkedin.com/feed/update/urn:li:activity:6507192386047746048/

Lex presenteert

http://www.uva.nl/test/shared-content/subsites/amsterdam-business-school/en/events/events/speaker-events/march-2019/how-big-data-innovates-finance.html

Big Data Landscape

Atomic jobs

Bolke de Bruin ING

 

Kubernetes

Container

Apachi Flink

CVE

Engineering culture