Handreiking WARC-validatie voor webarchiefbestanden

Label Nationaal Archief 2021

Deze handreiking geeft voorlichting over beschikbare tools die gebruikt kunnen worden om de technische kwaliteit van webarchiefbestanden te controleren. 

Voor het archiveren van websites is het Web-ARChive of WARC-formaat ontwikkeld. Dit WARC-formaat is gepubliceerd als de internationale standaard ISO 28500. De Richtlijn archiveren overheidswebsites van het Nationaal Archief schrijft voor dat geharveste overheidswebsites in dit bestandsformaat worden bewaard. 

Om te controleren of een webarchiefbestand aan de standaard voldoet, kunnen validatietools gebruikt worden. Er zijn verschillende validatietools op de markt. Maar niet iedere tool is even handig, nuttig of geschikt. Om overheidsorganisaties op weg te helpen, heeft het Nationaal Archief een aantal tools onderzocht en met elkaar vergeleken. In deze handreiking delen we de beste oplossingen, gebaseerd op onze testervaringen.

Alles uitklappen

Deze handreiking helpt overheidsorganisaties bij het uitvoeren van technische kwaliteitscontroles in het webarchiveringsproces. 

Om de duurzame toegankelijkheid van webarchieven te waarborgen, moet een webarchiefbestand van goede kwaliteit zijn. Welke eisen essentieel zijn staat beschreven in de Richtlijn archiveren overheidswebsites. Een webarchief dat niet aan deze eisen voldoet, kan voor een deel of helemaal onbruikbaar zijn. 

Achteraf zijn fouten vaak moeilijk of niet meer te herstellen. Daarom is het belangrijk fouten op tijd op te sporen. Validatietools zijn daarbij een onmisbaar hulpmiddel. Met behulp van deze tools kan geverifieerd worden of een webarchiefbestand aan de WARC-standaard voldoet en dus technisch van goede kwaliteit is. 

Validatietools kunnen niet de inhoudelijke correctheid van webarchiefbestanden controleren. Noch controleren ze of het WARC-bestand kan worden weergegeven door rendersoftware. Als een WARC-bestand echter valide is bevonden, is de kans het grootst dat deze ook goed weergegeven kan worden. Voor een daadwerkelijke controle van de inhoud en weergave zijn dus nog aanvullende handmatige en visuele controles nodig. Ook deze inhoudelijke check is een vereist onderdeel van de periodieke kwaliteitscontrole die overheidsorganisaties moeten uitvoeren op gevormde webarchieven. Zie voor verdere informatie de paragrafen 4.8 en 5.15 van de Richtlijn archiveren overheidswebsites.

De handreiking kan gebruikt worden als een praktische bijlage bij de Richtlijn archiveren overheidswebsites

Om de validatietools in de praktijk toe te kunnen passen is kennis vereist van Linux, command-line interfaces (CLI) en het kunnen uitvoeren van Java en/of Python-applicaties. Om de validatie-uitkomsten goed te kunnen interpreteren is daarnaast ook enige kennis nodig van de Richtlijn archiveren overheidswebsites en de WARC-standaard ISO 28500. 

De handreiking is bedoeld voor overheidsorganisaties. Meer specifiek is de informatie gericht op:

  • Archiefbeheerders en/of IT-specialisten die de uitvoerende verantwoordelijkheid dragen voor de kwaliteitscontrole. 
  • Adviseurs die verantwoordelijk zijn voor (het organiseren van) de archivering van websites. Zoals documentaire informatieadviseurs, informatiemanagers en -beheerders, proces- of informatieanalisten, en adviseurs digitale archivering.
  • Projectleiders die de opdracht voor het archiveren van websites uitvoeren.
  • De informatie op deze startpagina kan ook dienen als een managementsamenvatting. En relevant zijn voor managers die verantwoordelijk zijn voor de informatie in werkprocessen en de bijbehorende informatiesystemen. Zij nemen de besluiten over de eisen en ontwerpen en zien erop toe dat deze besluiten worden uitgevoerd. Bijvoorbeeld de directeur Bedrijfsvoering of CIO. Managers gebruiken de rest van deze handreiking niet zelf, maar kunnen wel de opdracht geven het toe te passen.

Deze handreiking is van toepassing op WARC-validatie als onderdeel van de periodieke kwaliteitscontrole van webarchieven. De informatie is relevant op het moment dat een webarchiveringstrategie wordt ingericht. Dan wordt bepaald welke tools ingezet gaan worden. Het is daarbij aan te raden om de selectie van tools ieder jaar aan de hand van de informatie op deze webpagina te herijken en zo nodig bij te stellen. De markt voor WARC-validatietools ontwikkelt zich. En zo mogelijk ook de adviezen in deze handreiking. 

Het toepassen van de informatie kan in de praktijk nog vragen oproepen, problemen opleveren en tot nieuwe inzichten leiden. Met die praktijkervaringen wil het Nationaal Archief de handreiking verbeteren en eventueel uitbreiden. Vragen of suggesties voor verbeteringen of ervaringen uit de praktijk ontvangen we dan ook graag. Je kunt deze sturen via het contactformulier.

Disclaimer

De inhoud van deze handreiking is met grote zorg samengesteld. Gezien de snelle ontwikkeling van software kan het desondanks voorkomen dat informatie verouderd, achterhaald of onvolledig is. De handreiking bevat soms verwijzingen naar andere websites die niet door het Nationaal Archief worden onderhouden. Hoewel we uiterst selectief zijn ten aanzien van de sites waarnaar verwezen wordt, aanvaardt het Nationaal Archief geen aansprakelijkheid voor de inhoud en het functioneren daarvan.