datajournalism.tools

Nieuw: toolbox vol datajournalistieke tools voor beginners

Tools 21/11/2017

Volgens datajournalist Steve Doig kun vrijwel alle datajournalistiek uitvoeren met niets anders dan Excel. Dat is misschien waar, toch kan het goed zijn om meer gereedschappen toe te voegen aan je gereedschapskist. Datajournalism.tools helpt beginners in de datajournalistiek op weg.

De website is een initiatief van de Hogeschool Utrecht en Datajournalistiek.nl. Op datajournalism.tools vindt je meer dan 50 beginners vriendelijke data tools. De website is bedoeld voor absolute beginners en moet de drempel die datajournalistiek met zich mee kan brengen verlagen. Niet alleen kunnen datajournalistieke starters gebruiksvriendelijke tools vinden; de gereedschappen zijn gesorteerd op functie; en de site bevat links naar tutorials en voorbeelden. Alles bij elkaar een ideaal startpunt voor het vinden van het data gereedschap dat bij je past.

Hoe het werkt

Geef bij stap 1 aan welk niveau je hebt: no experience als dit de eerste datajournalistieke ervaring wordt; some experience als je bekend bent met spreadsheets; of kies voor a lot of experience als Excel geen geheimen voor je heeft en je bekend bent met HTML of statistiek.
datajournalism.tools1

Bij stap 2 kies je wat je precies wilt gaan doen: zoek je een tool om data te vinden – collect data; wil je data opschonen – clean data; of liever analyseren, analyse of visualiseren – visualise? Voor al deze onderdelen van het datajournalistieke werkproces zijn er tools aanwezig in de toolbox.

datajournalism.tools2

Tools delen

Nadat je jouw datajournalistieke ervaring en de functie van de tool die je zoekt hebt aangegeven, geeft de website je een overzicht van tools die volgens ons bij jou passen. Deze selectie kun je gemakkelijk delen, doordat de door jou gekozen opties – niveau en functie – worden toegevoegd aan de URL. Zie hier bijvoorbeeld een link naar datajournalistieke tools voor beginners zonder ervaring die data willen analyseren.

Tools toevoegen

Als je wilt kun je datajournalistieke tools die je mist, voorleggen aan het team. Let wel: alle gereedschappen op datajournalism.tools zijn gratis en beginnersvriendelijk. Het kan zijn dat bekende tools ontbreken omdat ze of niet gratis zijn, of niet geschikt voor beginners. Zijn er toch nog tools die volgens jou ontbreken? Gebruik dan dit formulier.

wet openbaarheid bestuur

Wat elke beginnende wobber moet weten

Tutorials, WOB 24/03/2016

De overheid maakt beleid en voert dat uit, in opdracht van het volk. Als opdrachtgevers kunnen burgers via de Wet openbaarheid van bestuur (Wob) dat beleid en de uitvoering daarvan controleren: wat je moet weten voor je een Wob-verzoek indient.

Probeer, voor je een Wob-verzoek indient, eerst alle andere mogelijkheden om aan de informatie te komen die je nodig hebt. Denk niet alleen aan bellen of e-mailen: misschien is de informatie via het buitenland beschikbaar.

Met een Wob-verzoek vraag je ‘documenten’ openbaar te maken die eerder niet openbaar waren. Controleer dus goed of de informatie die je vraagt niet eerder gepubliceerd is: wellicht heeft iemand anders vergelijkbaar onderzoek gedaan, of zelfs een vergelijkbaar Wob-verzoek ingediend.

Moet je echt wobben om de informatie te krijgen? Bedenk dan dat de informatie die je opvraagt ‘lang houdbaar’ moet zijn. Wob-procedures kunnen lang duren.

Voorbereiding

Voor je een Wob-verzoek indient, is het goed om je te verdiepen in de wet. Dat de wet voorschrijft dat het volk recht heeft op informatie, betekent niet dat de overheid daar graag aan meewerkt. Door met zorg je verzoek op te stellen, verklein je de kans van slagen van eventuele obstructie.

Bestuursorganen

Volgens de wet mag je ministeries, provincies, gemeenten, waterschappen en publiekrechtelijke bedrijfsorganisaties; en de bestuursorganen die onder hun verantwoordelijkheid vallen, wobben. Op de website Woberator.nl wordt een bestuursorgaan omschreven als “alles wat als ‘overheid’ besluiten kan nemen”.

Als je jouw Wob-verzoek indient bij de verkeerde instantie, dan moeten zij je verzoek doorsturen naar het juiste loket. In de praktijk levert dat vaak vertraging op. Bedenk dus goed wie jouw vragen kan beantwoorden. Houd er rekening mee dat dit soms ook een strategische afweging kan zijn: welk bestuursorgaan heeft waarschijnlijk de minste weerzin tegen openbaring van de informatie?

Beleid

De informatie die je opvraagt moet over een ‘bestuurlijke aangelegenheid’ gaan. Dat betekent dat het betrekking moet hebben op het maken, voorbereiden of uitvoeren van beleid. Het is belangrijk om deze bestuurlijke aangelegenheid te vermelden in je wob-verzoek: je hebt recht op informatie om bestuur te kunnen toetsen. Dat verband met een bestuursaangelegenheid wil je dus duidelijk vermelden.

Documenten

De wet beschrijft een document als ‘een schriftelijk stuk of ander materiaal dat gegevens bevat’. Dit betekent dat de documenten die je opvraagt ook video’s, computerprogramma’s, brieven, databases, foto’s of geluidsfragmenten kunnen zijn. Om te voorkomen dat je uitgeprinte Excelsheets opgestuurd krijgt, kun je vragen om de documenten in ‘de natuurlijke vorm’.

Schrijftips Wob-verzoek

Je kunt je verzoek op allerlei manieren indienen: per e-mail, brief, fax of tijdens een telefoongesprek. Omdat het goed is bewijs te hebben van het indienen van je verzoek, is het indienen per post of mail het handigst. Ook is discussie over de verzenddatum zo onmogelijk.

Bij het schrijven van een Wob-verzoek is het goed om je ogen op ‘de prijs’ te houden: de e-mail of brief die je schrijft, beïnvloedt het succes van je verzoek. Houd daarom rekening met het volgende:

  1. Sluit niets uit
    Als je een verzoek indient weet je niet, wat je niet weet. Door slim gebruik te maken van het woord ‘waaronder’, sluit je toch niets uit. “Graag ontvang ik alles betreffende A waaronder, (lijstje met subonderdelen) X, Y, en Z.”
  2. Anticipeer op obstructies
    Aanval is de beste verdediging. Is het mogelijk dat een instantie jouw verzoek weigert op grond van privacy-overwegingen? Leg dan uit waarom de privacy niet geschonden wordt, of dat je niet om de privacygevoelige onderdelen van de informatie vraagt. Let op, er zijn uitzonderingen op de weigergronden. Zo gelden privacy-overwegingen niet voor het ‘ambtshalve functioneren’. Andersgezegd: het privéleven van bijvoorbeeld ambtenaren valt onder deze weigergrond, hun professionele (wan)prestaties niet.
  3. Wob als milieu-activist
    Normaliter moet de instantie waar jij wobt binnen 28 dagen een besluit nemen. Die periode kan een keer verlengd worden met nog eens 28 dagen. Maar dankzij het verdrag van Aarhus zijn die termijnen korter voor milieu-activisten.

Leg je Wob-verzoek voor aan een expert

Voordat je je verzoek indient, kun je er naar laten kijken door een ervaren collega of wob-expert. Zo kunnen ze jouw verzoek nog iets bijschaven, of helpen bij het pareren van weigeringsgronden. Natuurlijk kun je ook inspiratie putten uit de wob-verzoeken van anderen.

Verzoek ingediend, en nu?

Na uiterlijk twee keer 28 dagen – 56 dagen – moet je antwoord hebben gekregen: een afwijzing, gedeeltelijke afwijzing of toewijzing. Als je verzoek geheel of gedeeltelijk is afgewezen, of je denkt dat je niet alle informatie hebt gekregen, kun je bezwaar maken. Mocht dit een van je eerste Wob-verzoeken zijn, dan kan het slim zijn om met een ervaren wobber of Wob-expert te overleggen. Voor het aantekenen van een bezwaar is het belangrijk dat je de wet goed kent.

Mocht je wel documenten hebben ontvangen, kijk dan niet gek op van weggelakte alinea’s. Op basis van een van de verschillende weigergronden kan de overheid besluiten bepaalde informatie ‘weg te lakken’. Zo kan een document wel openbaar gemaakt worden, zonder bijvoorbeeld privacy te schenden. Maar kijk altijd kritisch naar de informatie die je hebt, en naar de informatie die je niet hebt. Eerder dit jaar noemde RTL nieuws adjunct-hoofdredacteur Pieter Klein het ministerie van Justitie het ‘ministerie van zwarte stiften‘:

Uit alles blijkt dat het ministerie van zwarte stiften, ontwijkend juridisch proza en halve waarheden, weer eens z’n stinkende best heeft gedaan om net niet snoeihard te liegen, maar de werkelijkheid wel stelselmatig geweld aan heeft gedaan.

Nog meer Wob

De documentaire Woberator door Stichting Dat Zou Jij Wel Willen Weten uit 2010 is nog altijd een prima bron. Al zijn de legesheffingen die in de docu worden genoemd, in 2013 verboden door de Hoge Raad.

Andere interessante links over de Wob:

Deze blogpost verscheen eerder bij het Stimuleringsfonds voor de Journalistiek.

Bevrijd data uit een PDF met Tabula

Tutorials 02/01/2016

Er is heel veel data in de wereld opgesloten in PDF’s. Handig omdat PDF’s op vrijwel alle verschillende apparaten te lezen zijn. Onhandig voor journalisten die de data uit zo’n PDF willen gebruiken. Daarom een mini-handleiding voor het bevrijden van data uit PDF’s met Tabula.

Waarom Tabula?

Er zijn verschillende manieren en gereedschappen om data uit PDF’s te bevrijden. In deze tutorial gebruik ik Tabula, omdat het gebruiksvriendelijk; open-source (gratis!); en geschikt voor Windows en iOS is.

Tabula installeren

Surf naar Tabula.technology en download de software. Je downloadt Tabula in een zip-bestand. Tabula ‘woont’ in deze map, dus bewaar de map op een logische plek.

01 Website Tabula

Let op: als je Windows of Linux gebruikt, heb je een installatie van Java nodig. Tijdens de installatie merk je vanzelf of je Java al op je computer hebt geïnstalleerd. Mocht dat niet het geval zijn, dan kun je Java hier downloaden.

Tabula gebruiken

Klik in de map die je net gemaakt heb op Tabula. Als het goed is opent je browser een nieuw venster met Tabula. Als dat niet gebeurt, open dan zelf een webbrowser (Chrome, Firefox, Safari, Internet Explorer of een andere browser…) en typ http://localhost:8080 in als URL. Daar is Tabula!

In de startblokken

Voor we Tabula kunnen gebruiken, hebben we een PDF nodig met data erin. Voor dit voorbeeld gebruik ik het rapport Shocking Waves van de Wereldbank. Het gaat over klimaatverandering als directe bedreiging voor de allerarmsten wereldwijd. Je kunt het rapport Shocking Waves hier downloaden. Mocht je direct aan de slag willen met je eigen PDF’s, dan kan dat natuurlijk ook. Nu we een PDF-bestand hebben met tabellen erin, kunnen we beginnen: open Tabula.

uploaden pdf
PDF uploaden

Na het openen van Tabula, kun je direct een PDF uploaden. Meestal gaat dat in een keer goed, soms krijg je een foutmelding, bijvoorbeeld: “Sorry, your file upload could not be processed.”. Probeer dan eerst je scherm te verversen: zo nu en dan staat je PDF daarna bovenaan de lijst. Als dit niet zo is, probeer de PDF dan opnieuw te uploaden.

autodetect
Auto-detect

Na het uploaden gaat Tabula zelf op zoek naar tabellen: dat blijkt uit het draaiende icoontje voor “autodetect tables”. Omdat Tabula nog niet zo snel is, ben je vaak sneller klaar als je zelf tabellen selecteert.

selecteer tabel
Selecteer een tabel

In het rapport Shocking Wave staat op pagina 63 tabel 2.1. Ga naar pagina 63 van de PDF of pagina 82 van de miniaturen. (Dit verschil in paginanummer ontstaat doordat de miniaturen alle pagina’s mee tellen.) Klik in de juiste pagina en selecteer de tabel.

Je zult zien dat de tabel doorloopt op pagina 64. Gelukkig is dat geen enkel probleem voor Tabula. Ga naar de volgende pagina, en selecteer ook dat deel van de tabel. Klik daarna op op de groene ’Preview & Export Extracted Data’-knop rechtsboven de PDF.

Check de data

In het volgende scherm kun je de data zoals je die zou gaan exporteren bekijken. Maak van deze mogelijkheid gebruik, en controleer de data en de opmaak van de tabel zorgvuldig.

Verkeerde data geselecteerd?
Gebruik de ‘revise selections’-knop om een andere tabel te selecteren.

export0

Ziet de data er anders uit dan verwacht?
Misschien helpt het als Tabula op een andere manier de data uit de PDF haalt. Tabula kan namelijk op twee manieren data uit de PDF halen. Met de stream-methode kijkt Tabula naar de witruimte tussen de kolommen. De lattice-methode kijkt juist naar de lijnen tussen kolommen. Afhankelijk van de opmaak van de tabel werkt de Lattice of Stream methode beter. Halverwege de zijbalk links in beeld kun je wisselen tussen de methodes, tegelijkertijd zie je direct de nieuwe preview.

export 1Een andere mogelijkheid is dat Tabula de kop van de tabel niet goed herkent. In het Shocking Waves rapport heeft tabel 0.1 op pagina 15 (pagina 34 van de miniaturen) bijvoorbeeld koppen over meerdere rijen. Dat is voor Tabula moeilijker om te lezen. Selecteer in zo’n geval de tabel zonder de koppen: de kans is groot dat Tabula de data dan wel kan exporteren. De bovenste rijen kun je er dan later handmatig toevoegen in bijvoorbeeld Excel.

moeilijke koprij

Exporteer de data

Als de preview er goed uitziet, kun je data exporteren. Dat kan op verschillende manieren: kopieer de tabel naar je klembord; of exporteer de tabel als CSV, TSV, JSON, zip of CSV’s of Script.

Klembord

export3

CSV
export4

Voor de meeste doeleinden is een CSV export het beste. Als je de data in Excel of Google Spreadsheets wilt bewerken of analyseren, exporteer de data dan zeker als CSV. Lees hier hoe je CSV-bestanden importeert in een spreadsheet.

Veel succes!

Deze blogpost verscheen eerder bij het Stimuleringsfonds voor de Journalistiek.
Databorrel

#Databorrel: minder data, meer GIS en toffe visualisaties

Datavisualisatie 04/12/2015

Of we zin hadden in een databorrel. Nou, dat hadden we wel. En dus was er op de eerste donderdagavond in december zomaar een databorrel: data onder de dom. Georganiseerd door Frédérik Ruys, enthousiast bezocht door vele anderen. Een kleine samenvatting van de avond: biertjes, wijntjes en maar liefst 8 lightning talks over minder data, meer GIS en toffe visualisaties.

Read More

Waarheid en Schoonheid

Recept voor waarheid en schoonheid

Journalistiek 10/10/2015

Meer dan 800 onderzoeksjournalisten bezochten de Global investigative Journalism Conference (GIJC15) in Lillehammer, Noorwegen. Verhaalideeen, gereedschappen, technieken en best practices werden gedeeld. Journalist Morten Frich tweette over een sessie waar het geheim van succesvolle onderzoeksjournalistiek werd gedeeld. Een recept voor succes, waarheid en schoonheid in zeven stappen. Read More

Nobody likes anybody - FiveThirtyEight

Hoe parafraseer je een infographic?

Journalistiek 15/04/2015

FiveThirtyEight hoofdredacteur Nate Silver riep Vox op het matje: die redactie zou wel infographics herplaatsen, maar niet linken naar de bron. Een boze tweet leidde tot een uitgebreide uitleg over hoe je infographics parafraseert.

Nobody likes anybody - FiveThirtyEight

De infographic in kwestie, kijk voor de gehele grafiek op FiveThirtyEight. :)

Het gedoe gaat om de herplaatsing door Vox van een infographic die oorspronkelijk verscheen bij het FiveThirtyEight artikel ‘Clinton Begins The 2016 Campaign, And It’s A Toss-up‘. Volgens Nate Silver is het niet voor het eerst dat Vox infographics hergebruikt:

Yo, @voxdotcom: Y’all should probably stop stealing people’s charts without proper attribution. You do this all the time, to 538 & others.

— Nate Silver (@NateSilver538) 13 april 2015

Read More