Zo’n beetje alle testorganisaties waar wij onze neuzen hebben laten zien, zijn bezig met het verzamelen van metrieken. Het senior management vermoedt op basis van de cijferverzameling te kunnen sturen. De holy grail van de metrieken: op basis ervan kunnen plannen, begroten, begrijpen en verbeteren.

Wie zich verdiept in de testmetrieken ziet een berg van mogelijk te meten kentallen en statistieken. Bijvoorbeeld metrieken die een indruk geven van de kwaliteit van een eindproduct, van planningen of van de effectiviteit van een testproject. Of de hoeveelheid bevindingen per testsoort, de testkosten in verhouding tot de totale projectkosten of de verhouding van de doorlooptijden per testfase. De kunst van goede metrieken is niet zozeer het verzamelen als wel het gebruik ervan. Wie zonder na te denken over de te bereiken doelen gegevens gaat verzamelen, kan zich de moeite beter besparen.

Natuurlijk zijn metrieken er om inzicht te verkrijgen in de kwaliteit van bijvoorbeeld een testsoort, verbeterdoelstellingen te meten of om te bepalen of KPI’s zijn behaald. Maar metrieken zijn ook stuk voor stuk argumenten! Om het belang van testen aan te tonen (ja, moet nog steeds…) of om de hoge testkosten te verklaren.

Metrieken van het ketentesten stemmen vaak treurig. Enorme kostenoverschrijdingen, niet-gehaalde planningen en forse doorlooptijden. Op dit terrein kunnen metrieken gebruikt worden om de partijen (de ketenpartners) goed te informeren over de enorme verbeterpotentie. Het Chain Integration & Improvement (CHII) programma gebruikt metrieken om organisaties beter te laten samenwerken en per aandachtsgebied (CHII onderkent 15 gebieden in de ketensamenwerking) gerichte verbeterstappen te ondernemen. Metrieken om de samenwerking te verbeteren en de testorganisatie te promoten: geen geringe doelen! Wilt u meer informatie over CHII? Volg de publicaties op onze site!

Rob Smit
Senior Consultant

Is het eigenlijk nog een vraag? Het gebruik van ICT maakt onze samenleving kwetsbaar voor dramatische gebeurtenissen, zoals een totale verlamming van onze (informatie)samenleving. De maatschappelijke gevolgen van het falen van de ICT-infrastructuur zouden enorm zijn en niet alleen tot onoverzienbare financiële rampen kunnen leiden, maar zelfs mensenlevens kunnen kosten.

Al in 2004 heeft het Rathenau instituut een onderzoeksrapport uitgebracht waarin de kwetsbaarheid van de informatiesamenleving is bekeken vanuit de invalshoeken: techniek, economie, juridische aspecten en nationale veiligheid.

Vanuit technisch oogpunt bekeken is onze ICT sinds de euro-introductie van 2002 enorm veranderd. De technische mogelijkheden om systemen en processen te koppelen zijn enorm toegenomen, daarbij het risico op de koop toenemend dat fouten door een domino-effect in de ketens steeds groter worden en leiden tot een nationaal ICT-infarct. Ook de Nationale Ombudsman heeft hierover enkele pittige uitspraken gedaan.

De tweede invalshoek benadert het probleem vanuit de economie. Waar het Rathenau instituut vooral de nadruk legde op een goede en betrouwbare infrastructuur, zodat Nederland een goede vestigingsplaats voor bedrijven vormt, stel ik dat ICT en economie onlosmakelijk met elkaar zijn verbonden. Business en ICT zijn zodanig in elkaar vervlochten dat de experts het inmiddels niet meer over ICT hebben maar over BT, Business Technology. De economische schade van een ICT-infarct zou gemakkelijk miljarden euro’s kunnen bedragen.

De derde benadering legt vooral de nadruk op de strafrechtelijke opsporing en vervolging van mensen die misbruik maken van ICT, zeg maar de internet criminelen. Inmiddels een probleem van formaat en een enorme onkostenpost voor ons bedrijfsleven, lopend in de miljarden euro’s.

De vierde benadering ziet kwetsbaarheid vooral als een probleem van nationale veiligheid. Deze benadering is vergelijkbaar met de angst voor information warfare in de VS. In geval van oorlog zal de ICT-infrastructuur een belangrijk doelwit voor verstoring zijn, omdat de natie dan volledig wordt platgelegd. Het Rathenau instituut ziet dat van eenzelfde mate van verstoring als een verstoring van bijvoorbeeld het waterhuishoudingbeheer en de voedselvoorziening.

Er zijn met gemak meer kwalijke gevolgen te bedenken als onze ICT-infrastructuur zou falen. Mijn vrouw lag een maand geleden in het AMC aan allerlei (IT-)systemen gekoppeld en ze is op een zeer bijzondere hytech manier geopereerd. Ze is inmiddels weer thuis en aan de beterende hand, maar zonder ICT had ze het absoluut niet overleefd. In de gezondheidszorg speelt ICT (ook) een cruciale rol. Falende ICT betekent hier verlies van mensenlevens.

Ik durf te zeggen dat onze samenleving een ramp te wachten staat als we geen maatregelen nemen tegen de kwetsbaarheid van onze ICT. Het aan elkaar koppelen van systemen zou niet meer moeten mogen zonder te voldoen aan strenge regels, opgesteld door een overheid die een écht ICT-beleid heeft.

Reageren? Uw reactie is van harte welkom.

Rob Smit
Senior Consultant

Trend van dit jaar is de centralisatie van testdienstverlening. Vooral aspecten als kwaliteit, risicomanagement, kennis(borging), flexibiliteit en kostenverlaging zijn hot issues en de meest voorkomende redenen om zo’n centrale testorganisatie op te zetten.
Ik zie een centrale testorganisatie als een ideale vorm om expertise te verzamelen (in de eigen organisatie, maar zeker ook extern –bij de testleveranciers e.d.) om die vervolgens via services aan te bieden aan de interne organisatie.

Past in zo’n centrale testorganisatie een managed service ketentesten? Ik zou denken van wel! Op veel aspecten kan een centrale testorganisatie in de ketentest-dienstverlening een belangrijke rol spelen, zoals bij:
• Ketentest tooling (inrichten/ gebruik/ beheer)
• Keten testdata sets (samenstellen/ beheren)
• Opzetten rapportages, communicatie naar ketenpartners, metrieken opstellen
• Ketenkwaliteit bewustwording sessies (awareness) voor de ketenpartners
• Keten assessments uitvoeren
• Ketentest opleidingen
• Ketentest sjablonen opstellen en beheren
• Ketentestomgevingen (bouwen/ inrichten/ beheren)
• Ketentestgevallen specificatie
• Ketenrisicoanalyses (uitvoeren/ beheren)
• Ketenteststrategie (opstellen/ begroting/ planning)
• Ketentestdraaiboek (opstellen/ uitvoeren/ beheren)
• Ketentest uitvoering en afronding (evaluatie, borging in de organisatie)
• Keten testware beheer
• Ketentest bevindingenbeheer

En zo kan ik er nog velen opnoemen, services die zelfs prima als resultaatverplichte opdrachten kunnen worden uitgevoerd of uitgevoerd laten worden, onder regie van de centrale testorganisatie. De rol van de centrale testorganisatie wordt per dienst bepaald. Zo kan deze een bewakende c.q. regisserende rol hebben, maar bijvoorbeeld ook een puur ondersteunende, uitvoerende of controlerende rol.

Ik zie de centrale testorganisatie als mogelijke uitrolorganisatie van het gestructureerd ketentesten. Met zo’n aanpak kan worden aangetoond dat de methode goede resultaten oplevert, de testware goed beheerd kan worden en andere (deel)ketens kunnen aansluiten op de kennis en producten die door het project zijn opgesteld.

Als de ketenrisico’s verder reiken dan de project scope, dan heeft de centrale testorganisatie meer kans van slagen om de benodigde kennis en resources te krijgen dan het project. Deze Bottum-up benadering is bewezen in meerdere bedrijven en overheidsorganisaties. Een Top-down benadering, waarbij afstemming (ook kostenverdeling!) moet plaatsvinden met alle ketenpartners is vaak een kwestie van (heel) lange adem. En bij het gros van de organisaties liggen de prioriteiten nu heel anders.

Reageren? Uw reactie is van harte welkom.

Rob Smit
Senior Consultant

De Ketenrisicoanalyse (KRA) is een methode om met de kennishouders van alle ketenpartners de kwaliteit en de risico’s van de keten te analyseren. De uitkomst van een KRA vormt de basis van de ketenteststrategie. Als ketenconsultant doe ik regelmatig ketenrisicoanalyses, waarbij ik de groep van tevoren goed informeer over het gevaar van vingerwijzen.

Niemand vindt het leuk om gezien te worden als zwakke schakel in een keten. In een ketentest werkt dat natuurlijk net zo. De ketentestmanager of consultant die een KRA uitvoert moet op zijn hoede zijn dat niet iedereen naar 1 partij wijst als zijnde de plaats van de grootste risico’s. Grote kans namelijk dat die partij in de verdediging schiet en alle medewerking staakt. Einde KRA en begin van eindeloos gesteggel. Begin zo’n KRA dus met een uitleg over de werking van een keten en hoe iedereen afhankelijk is van het goed functioneren van de ander. Men deelt elkaars risico’s, met andere woorden. Dat inzicht verkrijgen is cruciaal voordat begonnen kan worden met het opzetten van een ketenteststrategie door middel van een ketenrisicoanalyse.

Wilt u meer weten over de KRA technieken? Of reageren? U bent van harte welkom!

Rob Smit
Senior Consultant