Auteur: Eduard Hartog

Het bestaande tracé tussen Schiedam en Hoek van Holland heeft een metamorfose ondergaan. Waar vroeger een gewone spoorlijn lag, ligt nu een moderne metro. De Hoekse Lijn rijdt vanaf september 2019, nadat in april 2017 de ombouw naar metro begonnen is. Hoewel het een bovengrondse verbinding is, zaten er toch flink wat uitdagingen in. Ga maar na: 40 kilometer spoor met twee brugverbindingen, acht stations waarvan zes nieuw en twee bestaand en ook een stuk spoor dat berijdbaar moet zijn voor zowel metro als treinvervoer.

In dit project was ik bij de gemeente Rotterdam verantwoordelijk voor het coördineren van testen en keuringen voor de baan en de stations. Naast het civiele werk was ook het aandeel van elektrotechnische installaties groot. Dat was dan ook de reden dat ik met mijn IT-achtergrond gevraagd was.

Hoe heb  ik gebruikgemaakt van technieken uit de IT en het testvak binnen een andere branche dan de IT? De lessen die ik hier geleerd heb, vormen de rode draad in dit artikel. Ik hoop dat vakgenoten inspiratie op doen voor hun opdrachten zeker als die opdrachten buiten het IT-domein vallen. De technieken heb ik toegepast op verschillende onderdelen en momenten van de opdracht. Het gaat dan om technieken zoals het opzetten en gebruiken van dashboards, risico-gebaseerd werken, aantonen van eisen (bewijsvoering) en het aantonen van volledigheid.

Binnen het project ben ik verantwoordelijk geweest voor het coördineren van de validatie en verificatie van alle producten van de gemeente Rotterdam, zoals de stationsinstallaties, maar ook civiele onderdelen zoals bruggen, spoor, bovenleiding en stations. In dit artikel bespreek ik opdracht in drie fasen:

• Fase 1 gaat over de coördinatie van de testen
• Fase 2 richt zich op de bewijsvoering ofwel: functioneert alles volgens eis?
• Fase 3 richt zich op de juistheid en volledigheid van de dossiers.

Fase 1: Coördineren van testen

In de eerste fase ging het vooral om het coördineren van de testen. In dit geval hield dat in om als eerste de communicatielijnen af te spreken. Wie dient informatie aan te leveren en in welk formaat? Zeker gezien het feit dat gemeente Rotterdam diende samen te werken aan zowel de ontvangende als de leverende kant. Aan de ontvangende kant werkte gemeente Rotterdam samen met meerdere onderaannemers die allen apart hun resultaten aanleverden via de verschillende directievoerders (deelprojectleiders). Daarnaast diende gemeente Rotterdam de resultaten door te leveren aan het projectbureau die alle contracten integraal beheerste.

Nadat de communicatielijnen enigszins duidelijk waren, ben ik begonnen met het deeldossier waarin ik de meeste risico’s zag, namelijk de technische installaties. Tegelijkertijd heb ik de voortgang van andere specifieke testen in beeld gebracht middels een dashboard. Hieronder wordt het dashboard getoond voor het monitoren van de eerste uit te voeren testen.

Aangezien tijdens verschillende momenten binnen het project andere testen zijn uitgevoerd, betekende dit ook dat op de dashboards andere informatie werd getoond. Op elk moment diende het dashboard te laten zien, wat op dat moment van belang was voor de projectmanager. Op verschillende momenten van het project had de projectmanager behoefte aan andere informatie. Zo reflecteerde het dashboard in een ander moment in het project de voortgang van de verschillende deeldossiers. Zie hieronder het dashboard waar per deeldossier een status is gegeven, zowel voor Test & Verificatie als ook de As-Built[1] status. ([1] ‘as-built’ wil zeggen dat de tekeningen aangepast zijn aan de situatie buiten.)

Dashboards geven de status en planning weer van de keuringen en testen voor de projectmanager. Daarom dient de informatie afgestemd te zijn op de behoefte van de projectmanager en die zal op verschillende momenten in het project anders zijn. Ofwel: dashboards groeien mee met het project.

Als voorbeeld heb ik een deel van de verificatiematrix van de stationsinstallaties opgenomen.

In dit overzicht staan alle producten verticaal terwijl horizontaal de stations weergegeven zijn. Indien van toepassing wordt er per product/station het testplannummer gegeven met de geplande testdatum of het testrapportnummer gecombineerd met de datum van testuitvoering. Met de kleur wordt aangegeven wat de status van de test is, zoals gepland, uitgevoerd, gefaald, et cetera.

Fase 2: Bewijsvoering

Waar ik me in de eerste fase vooral heb gericht op het uitvoeren van testen en keuringen, heb ik me in de tweede fase vooral gericht op het aantonen dat de producten voldeden aan de eisen, oftewel bewijsvoering. Aangezien elk deeldossier de controles op een andere wijze uitvoerde, heb ik ‘bewijsvoerings­schema’s’ opgesteld. Dit geeft inzicht in de wijze waarop de bewijsvoering binnen een deeldossier is uitgevoerd ten behoeve van de safety case en beheer.

Ik geef hier twee voorbeelden van, te weten stationsinstallaties en de baan.

Voorbeeld 1: Bewijsvoering Stationsinstallaties

In het project ben ik begonnen met de bewijsvoering van de stationsinstallaties, omdat vanuit andere projecten is gebleken dat bij installaties het grootste risico ligt en niet zozeer bij de civiele uitvoering. Ook binnen de installaties heb ik prioriteiten bepaald op basis van risico’s. Zo ben ik begonnen met elektrotechnische installaties (stationsborden) en niet met de werktuigbouwkundige installaties (wateraansluitingen).

Om de werking van de stationsinstallaties aan te tonen is er in het geval van de stationsinstallaties uitgegaan van teststappen zoals die ook binnen de testwereld bekend zijn: Factory Acceptance Test (FAT) en Site Acceptance Test (SAT). Ook binnen de installatiewereld zijn dit bekende teststappen.

In de praktijk is pragmatisch omgegaan met het slagen van een test. Eventuele bevindingen die bestonden na het uitvoeren van de FAT zijn overgeheveld naar de SAT. Tijdens de SAT zijn de bevindingen van de FAT één-voor-één gecontroleerd en indien het opgelost was, afgevinkt.

Bevindingen uit de SAT zijn uiteindelijk opgenomen op een restpuntenlijst die gebruikt is tijdens latere rondgangen, zodat de punten één-voor-één gecontroleerd en alsnog afgevinkt konden worden. De ingevulde (en ondertekende) FAT- en SAT-rapporten zijn in het bewijsvoeringsdossier opgenomen net als de ingevulde en afgevinkte restpuntenlijst.

Het testproces is hiermee niet zo strak als ik gewild zou hebben, maar in dit geval voldeed het.

In figuur 2 wordt het bewijsvoeringschema getoond van de stationsinstallaties. De aannemer voert FAT- en SAT-testen uit die één-voor-één aan moeten tonen dat de besteksposten (vergelijk: Requirements) gedekt zijn. De dekking van de besteksposten wordt bijgehouden in een verificatie­matrix. In enkele gevallen zijn er certificaten benodigd die eisen afdekken. In het geval alle posten van de verificatiematrix gedekt zijn, geeft de directievoerder (DV) een verklaring af per station dat de installaties gereed zijn.

Voorbeeld 2: Bewijsvoering Baan

Bij de bewijsvoering van de baan gaat het met name om het controleren van de metingen, zoals coördinaten van het spoor. Zie hiervoor figuur 3. De aannemer levert het dossier aan waarin de metingen en certificaten zijn geleverd. De directievoerder controleert dat de metingen binnen de marges vallen. De resultaten van deze controle zijn opgenomen in meetrapporten. De resultaten van alle meetrapporten worden samengevat in een keuringsrapport. Hierin zijn alle geaccepteerde onderdelen en afwijkingen opgenomen. De keuringsrapporten worden gebruikt om de verificatiematrix in te vullen. Ook in dit geval bevat de verificatiematrix de desbetreffende besteksposten. In het geval alle posten van de verificatiematrix gedekt zijn, geeft de directievoerder (DV) een verklaring af per deeltracé dat het stuk spoor bereden mag worden onder bepaalde voorwaarden en condities. In een enkel geval is er een notitie geschreven over een afwijking ten behoeve van ingebruikname.

Fase 3: Juistheid en volledigheid van dossiers

Om de volledigheid en juistheid van het dossier te controleren zijn de eerdergenoemde verificatiematrices gebruikt. Daarmee worden de keuringen en testen bijgehouden, maar tevens wordt gecontroleerd of alle tekeningen, berekeningen en onderhoudsvoorschriften aanwezig zijn met de juiste versies en dat de documenten kwalitatief voldoende zijn.

Nadat de aannemer een versie van het dossier oplevert aan de directievoerder, worden er controles uitgevoerd op juistheid en volledigheid. Deze zijn belangrijk zodat later beheer en onderhoud alle documenten up-to-date ter beschikking heeft. De controles richten zich op 4 onderdelen (zie figuur 4):

• inhoud: zijn de documenten juist; controle door de directievoerder als inhoudelijk expert;
• metadata: definitieve versies en ondertekeningen; controle door de documentcontroller;
• volledigheid: alle documenten aanwezig; controle door V&V manager;
• integraliteit: consistentie over de contracten heen; controle door het projectbureau.

De inhoudelijke controle ligt bij de directievoerder. Die beoordeelt de meetrapporten en testrapporten en stelt in voorkomende gevallen keuringsrapporten op (zie ook fase 2). De documentcontroller controleert hierna op de metadata zoals statussen, versies et cetera.

De volledigheidscontrole is in deze fase door mij uitgevoerd als V&V manager. Per deeldossier heb ik het contract gecontroleerd op testen/keuringen, tekeningen, berekeningen en onderhouds­voorschriften. Elk station en ieder baanvak heeft zo zijn eigen eisen. Bijvoorbeeld alleen Vlaardingen Oost en Vlaardingen Centrum hebben brandmeldinstallaties. Tevens zijn er ook verbanden tussen onderdelen die gebruikt kunnen worden om op volledigheid te controleren. Zo zijn bijvoorbeeld compensatielassen alleen nodig in het geval van een brug of viaduct. De controles dienden aan te tonen dat alle opgeleverde stukken naar tevredenheid opgeleverd waren van de directievoerder en dat het dossier volledig is.

Nadat bovenstaande controles uitgevoerd zijn en na correctie van mogelijke opmerkingen, wordt het dossier opgeleverd aan het projectbureau. Het projectbureau kijkt vooral naar de consistentie over de contracten heen (integraliteit) ofwel: werken de producten van de verschillende contracten goed met elkaar samen en passen ze goed op elkaar.

Hierna geef ik twee voorbeelden over de invulling van de volledigheidscontrole van de deeldossiers Baan en Stations.

Voorbeeld 1: Volledigheidscontrole Baan

In dit voorbeeld laat ik de opzet zien van een deel van de verificatiematrix voor Baan (zie figuur 5). Als eerste heb ik de baanvakken genomen zoals die zijn toegekend aan de verschillende stations. Daarnaast heb ik de mogelijke onderdelen opgesomd, zoals die langs en op de baan voorkomen. De mogelijke onderdelen heb ik uitgezet tegen de baanvakken. In enkele gevallen zijn onderdelen niet van toepassing. In dat geval zijn ze blauw opgenomen. In alle andere gevallen geef ik met een kleur aan wat de status van dat onderdeel voor dat baanvak aan: rood betekent documentatie mist nog, oranje betekent er komt nog een nalevering en groen betekent documentatie is volledig en juist beschikbaar.

Op het moment dat alle vakken groen (of blauw) zijn, betekent dit dat het dossier volledig geleverd is. Zolang er nog oranje vakken zijn, dienen er nog stukken aangeleverd te worden.

Voorbeeld 2: Volledigheidscontrole Stations

Voor wat betreft de civiele componenten van de stations, bleek dat het niet voldoende was om alleen de keuringen te controleren, maar ook dat de tekeningen ‘as-built’ gemaakt waren, de berekeningen beschikbaar en de onderhoudsvoorschriften aanwezig waren.

In de verificatiematrix heb ik hiervoor de stations opgenomen met daarbij de benodigde componenten. Per component heb ik daarnaast vier kolommen opgenomen om de status van de vier soorten benodigde documenten bij te houden. De vier soorten benodigde documenten zijn: keuringen, berekeningen, tekeningen en onderhoudsvoorschriften.

Tekeningen en berekeningen zijn in principe al beschikbaar vóórdat er gebouwd wordt. Er dient dus vooral gecontroleerd te worden dat de documenten de ‘as-built’ situatie weergeven.
Onderhoudsvoorschriften zijn typisch documenten die na het bouwen opgeleverd worden, terwijl keuringen vooral documenten zijn die opgesteld worden tijdens de bouw. Keuringen omvatten bijvoorbeeld de controle dat de funderingspalen op de juiste wijze geheid zijn en niet beschadigd.

Een en ander heb ik in een verificatiematrix geplaatst. Hieronder een voorbeeld van enkele componenten voor de stations Schiedam Nieuwland en Vlaardingen Oost.

In de verificatiematrix geef ik de status van een component per station weer via verschillende kleuren. In figuur 6 betekent groen dat het document beschikbaar is en voldoet. Bovendien is aangegeven in welke map het document is opgenomen in het dossier. De kleur rood geeft aan dat het document nog ontbreekt, zoals dat in figuur 6 het geval is met de keuringen van het beton van het viaduct. Donderblauw geeft aan dat het desbetreffende document niet geleverd hoeft te worden voor dat component. In figuur 6 blijkt dat voor funderingspalen geen onderhoudsvoorschriften geleverd hoeven te worden. Er dienen echter wel berekeningen en tekeningen gemaakt te zijn.

Aangezien er acht stations zijn en er 86 componenten zijn voor de civiele constructie per station, is het duidelijk dat het enige tijd kost is om de status van een dossier te controleren. Daarnaast is het soms lastig te bepalen of iets voldoende aangeleverd is of niet. In dat geval heb ik dit nagevraagd bij de directievoerder. Indien dit onvoldoende was, diende de leverancier dit aan te passen en opnieuw te leveren.

Conclusie

In het project heb ik verschillende lessen uit het testvak en de IT gebruikt:

Zorg dat de communicatielijnen op orde zijn en richt ze eventueel opnieuw in
Aangezien je afhankelijk bent van de informatie en gegevens van andere partijen, is het belangrijk dat je goede banden onderhoud met de personen die dat op moeten leveren.

Pas het dashboard aan naar gelang de fase van het project
Tijdens het project is inzicht gegeven in de status en voortgang van keuringen en testen door middel van dashboards. De gebruikte dashboards tijdens het project geven de status van het testen en keuren weer. De projectmanager heeft op verschillende momenten andere informatie nodig. De dashboards dienen die informatie op een bruikbare wijze laten zien.

Begin met de meest risicovolle activiteiten het eerst in kaart te brengen
In testprojecten is het gebruikelijk de grootste risico’s het eerst te testen. Dit principe kun je doortrekken door tijdens het project de meest risicovolle activiteiten het eerst in kaart te brengen en uit te voeren.

Denk na over de wijze van bewijsvoering in het geval van controles buiten het IT-domein
Voor de correcte oplevering is het noodzakelijk dat gecontroleerd wordt dat alle eisen gedekt zijn. Aangezien de kwaliteit van ieder onderdeel op een andere wijze wordt gecontroleerd, dient goed nagedacht te worden hoe daarmee de eisen gedekt worden. In dit geval heb ik met behulp van bewijsvoeringsschema’s weergegeven hoe met behulp van certificaten, keuringen, controles, testen en andere documenten, de eisen van een onderdeel zijn gedekt.
Een belangrijk onderdeel van de bewijsvoering naast testen en keuren, is ook het reviewen van de documenten. Hierbij heeft elke rol zijn eigen focus meegekregen: inhoud, metadata, volledigheid en integraliteit.

Denk na hoe volledigheid gecontroleerd en/of aangetoond kan worden en tot hoever dat nodig is
Om de volledigheid van een dossier aan te tonen, heb ik gebruikgemaakt van verificatiematrices. Hierin staan alle componenten zoals die vanuit het contract geëist zijn. Aan de hand van de controle van de benodigde documenten per component, zijn de verificatiematrices ingevuld. Pas wanneer deze zaken beschikbaar zijn in het dossier en gecontroleerd op juistheid, kan het dossier overgedragen worden aan de beheerorganisatie.
Ook is het belangrijk na te denken over wat volledigheid in het project precies inhoudt. Gaat het om de volledige levering of alleen van specifieke zaken? Valt onder volledigheid ook een controle van inhoud en metadata of wordt dat weggelaten?

Ik heb hierboven geschetst hoe ik verschillende aspecten heb uitgevoerd binnen het project Hoekse Lijn; een project met zowel civiele als installatietechnische aspecten. Hierbij kwamen mijn kennis en ervaring binnen de IT en het testvak bijzonder goed van pas. Ik heb beschreven wat de overeenkomsten en verschillen zijn tussen het testen/keuren van installaties en civiele onderdelen en welke lessen ik tijdens dit project heb geleerd. Hopelijk kan dit ter inspiratie dienen voor één van jouw volgende projecten.