Meten van interventies

Goede metingen geven inzicht in hoeveel incidenten er binnen de organisatie plaatsvinden en wat de aard is van incidenten. Ze geven aanleiding tot een onderbouwde dialoog over cyberveiligheid: Waar zijn er mogelijkheden voor verbetering en hoe kunnen middelen het beste worden ingezet? Het helpt ook om vast te stellen waar de grootste problemen hun oorzaak hebben. Ontstaan er onveilige situaties door onvoldoende kennis of nalatig gedrag? Liggen de problemen bij fouten door medewerkers of verouderde IT-systemen?

Het is belangrijk om de effecten van een interventie te kunnen evalueren om zo de meerwaarde van de interventies aan te kunnen tonen. Daarbij moet worden bepaald wat effectief voor u betekent: wanneer bent u tevreden, welke doelen wilt u behalen? Het ontwikkelen en implementeren van een interventie die zich richt op een specifieke gedraging kost veel aandacht en tijd. Het inzetten van die interventies die effectief zullen zijn, is daarom zeer gewenst. Tegelijkertijd zijn geen twee organisaties hetzelfde, waardoor het altijd om maatwerk gaat.

Voorbeelden van vragen die met een effectiviteitsmeting beantwoord zouden moeten worden zijn:

  • Wordt de interventie gebruikt?
  • Wat vinden de medewerkers van de interventie?
  • Wat zijn de effecten van de interventies? (Denk hierbij ook aan ongewenste of onverwachte effecten.)
  • Levert de interventie het gewenste resultaat op?

Omdat het moeilijk is om op directe wijze de effecten van interventies te achterhalen, levert het gebruik van indirecte meetmethoden een goed alternatief. Een indirecte meetmethode kijkt op een overkoepelend niveau naar cybersecurity binnen de organisatie: het door de tijd volgen van aard, omvang en frequentie van incidenten en het verloop hiervan registeren is hierbij essentieel.

Grofweg kunnen drie methoden worden onderscheiden om effecten te meten:

1)    Zelfrapportage

De gebruikers, zoals IT-professionals, managers of medewerkers worden ondervraagd en geven zelf aan wat zij denken, wat zij weten en hoe zij handelen. Dit kan mondeling of schriftelijk. Gebruikelijke methoden zijn vragenlijsten, interviews (individueel) en focusgroepen (in groepsverband).

2)    Observatie

Het observeren van gedrag is objectiever dan zelfrapportage. Waar zelfrapportage meestal over gedrag uit het verleden gaat en vertekend kan worden doordat mensen geen perfect geheugen hebben, wordt bij observatie het daadwerkelijke gedrag bekeken in real time. Observaties kunnen worden uitgevoerd op drie verschillende manieren:

  • Observeren van natuurlijk handelen. Het observeren hoe mensen in hun natuurlijke omgeving handelen, zonder deze te beïnvloeden.
  • Situaties ensceneren. Het observeren wat mensen doen in situaties die gecreëerd zijn om bepaalde gedragskeuzes uit te lokken.
  • Dagboekmethode. Deze methode hangt tussen observatie en vragenlijst in. Hier houden mensen een dagboek bij waarin zij gedrag gedurende een bepaalde periode noteren.

3)    Loggen

Loggen is het automatisch registreren van gegevens over bepaalde (veiligheids)indicatoren via het IT-systeem. Denk hierbij aan het aantal meldingen van cyberincidenten, de lengte van wachtwoorden of het aantal onregelmatigheden van een bepaalde type. Voor het loggen van gegevens moeten IT-systemen geconfigureerd worden om deze informatie te registreren, op te slaan en inzichtelijk te maken. Hierbij kan het gaan om het loggen van specifieke gegevens, maar ook om bijvoorbeeld websitestatistieken.