De reis naar verificatie: vier fasen van het testen van apparaten | Teamadvies (2023)

Oliver Sowerby

Hoofd Chirurgische Technologieën

Als ontwikkelaar is het gevaarlijk om te veronderstellen dat alleen omdat iets voor jou werkt, het voor iedereen zal werken. Door uw apparaat in handen te geven van gebruikers die nog niet eerder met uw apparaat in aanraking zijn gekomen, kan dit een effectieve manier zijn om eventuele gebreken in het ontwerp aan het licht te brengen die u mogelijk niet had voorzien. Dit kan u mogelijk veel tijd en moeite besparen.

Een van de laatste activiteiten die dat wel zal doenbeslissen over het succes of falen van uw apparaat is ontwerpverificatie(DV), maar het is niet het hele beeld. Testen tijdens het hele ontwikkelingsproces is van cruciaal belang om uw ontwerp te informeren en uit te dagen, terwijl u er ook voor kunt zorgen dat een beter product de ontwerpverificatie binnengaat met een lager risico dat het niet aan de specificaties voldoet.

Simpel gezegd kunnen we het functionele testen tijdens de ontwikkeling opsplitsen in vier fasen, beginnend bij het begin met het bewijzen van concepten en eindigend met ontwerpverificatie. Deze blog brengt deze vier cruciale fasen in kaart, zodat u beter begrijpt wat u van de functionele testprocessen kunt verwachten.

1. Proof-of-concept-testen

DeHet doel van vroege testen is om te peilen welke concepten veelbelovend zijn en verder ontwikkeld moeten worden. Wanneer u begint met de ontwikkeling van medische hulpmiddelen, heeft u mogelijk verschillende ideeën die moeten worden geëvalueerd. Ze zullen waarschijnlijk bestaan ​​uit ruwe, ongeraffineerde uitvoeringsvormen of prototypes waarbij de uitkomst van testen eenvoudig en binair kan zijn: ze ‘werken’ of ze werken niet.

Concepten in deze fase kunnen ‘looks-like’ en ‘works-like’ prototypes zijn, of zelfs demonstrators die misschien niet op een geïntegreerd ontwerp lijken, maar wel kunnen bewijzen dat het haalbaar is. De ontwikkelingsaanpak van uw concept zal afhangen van wat u probeert te bewijzen en het type apparaat dat u wilt produceren.

In dit vroege stadium moet de documentatie licht zijn. Met de behoefte aan veranderings- en ontwikkelflexibiliteit is het onwaarschijnlijk dat u formele protocollen wilt schrijven. U zult echter nog steeds uw testaanpak en de resultaten moeten documenteren voor toekomstig gebruik en fundamentele traceerbaarheid. Afhankelijk van uw project kan het testen kwalitatief in plaats van kwantitatief zijn. Indien mogelijk moet u overwegen of de tests door meer dan één persoon worden uitgevoerd. Het is normaal dat u een voorkeur of vooroordeel heeft ten opzichte van uw eigen favoriete concept, dus het betrekken van een onafhankelijk iemand bij het testen zal waardevolle objectiviteit opleveren.

Beste adviezen:

• Laat uw concept vanaf het begin door een onafhankelijk persoon testen. Het kan nuttig zijn om meerdere collega's te hebben als uw aanspreekpunt om uw gezondheid te controleren en uw tests uit te dagen. Als er gebreken in uw concept zitten, kunt u deze het beste vroegtijdig ontdekken. Als andere mensen uw concept testen, vergroot u de kans dat u in dit stadium problemen ontdekt.
• Maak zoveel mogelijk foto's en video's van de tests. Bij gebrek aan gedetailleerde methoden kunnen afbeeldingen helpen de sfeer te bepalen en te verduidelijken wat je hebt gedaan, zodat je het later kunt bekijken en met anderen kunt delen.

In te vullen documenten:

• Technische nota inclusief de testaanpak en samenvatting van bevindingen
• Beeld- en videobibliotheek van testen
• Gebruikersfeedback, indien passend voor het concept

2. Proof-of-principle-testen

Zodra u tijdens de proof of concept-fase heeft bewezen dat de basisprincipes van uw product kloppen, kunt u nu de prestaties van uw apparaat testen aan de hand van enkele vroege specificaties. U kunt bijvoorbeeld kijken of uw apparaat een formulering kan afleveren om te observeren hoeveel en hoe snel dit gebeurt.

Naarmate je meer begint na te denken over de gedetailleerde functies van het apparaat, terwijl het nog volop in ontwikkeling is, omvat het testen van het principe van het bewijs een evenwicht tussen kwalitatieve en kwantitatieve tests, met een grotere nauwkeurigheid in de testbenaderingen. Ook al bevindt u zich nog in de ontwikkelingsfase, u moet zich bewust zijn van de komende formaliteiten, inclusief ontwerpverificatie. Dit betekent dat het in deze fase belangrijk is om de juiste balans tussen flexibiliteit en details te vinden om uw project op koers te houden terwijlde-risking om ongewenste verrassingen later te voorkomen.

Enkele vragen die u uzelf misschien wilt stellen zijn:

• Kan ik vertrouwen op mijn testgegevens?
  Als u bijvoorbeeld een sensor gebruikt om gegevens vast te leggen, moet u er zeker van zijn dat deze accuraat en nauwkeurig is. Het gebruik van een gekalibreerde sensor geeft u enig vertrouwen dat de geregistreerde gegevens accuraat zijn. Zorg er ook voor dat u begrijpt welke invloed op maat gemaakte testmallen en armaturen hebben op de metingen.
• Heeft de gebruiker invloed op de prestaties?
  Hoeveel van wat u ziet, is te danken aan de techniek of invloed van de gebruiker? Als u de prestaties van een apparaat probeert te beoordelen zonder rekening te houden met de invloeden van gebruikers, kunt u overwegen de gebruiker als variabele te verwijderen, bijvoorbeeld door geautomatiseerd of semi-automatisch testen.
• Hoeveel monsters moet ik testen?
  Als u beslissingen neemt die het ontwerp beïnvloeden of gegevens analyseert op basis van specificatielimieten, zelfs in dit vroege stadium, mogen deze niet gebaseerd zijn op de prestaties van een enkel monster. Het beslissen over het aantal monsters dat in dit stadium moet worden getest, moet pragmatisch zijn en gebaseerd zijn op verschillende factoren, waaronder: de beschikbaarheid van onderdelen, hoe representatief de onderdelen zijn, en of een goed gecontroleerd productieproces de juiste kwaliteit oplevert. onderdelen.
• Kan iemand anders herhalen wat ik heb gedaan?
  Voor deze tests moet een gedocumenteerde aanpak worden gegenereerd. Idealiter zou een andere competente operator de test op dezelfde manier moeten kunnen herhalen, en zou iedereen die later naar je werk kijkt, kunnen begrijpen wat je hebt gedaan.
• Is wat ik heb gedaan traceerbaar?
  Welk monster heb je getest? Waar komt het vandaan (bijvoorbeeld het productieproces, de constructiematerialen)? Waar is het nu? Wat was de ontwerprevisie? De traceerbaarheid van uw onderdelen en ontwerp is van cruciaal belang om u in staat te stellen ongebruikelijke of interessante resultaten te onderzoeken.

Op dit punt in de ontwikkeling kunnen uw tests en methoden worden gezien als een iteratieve stap richting ontwerpverificatie. Als ze correct worden uitgevoerd, kunnen ze worden gebruikt als bouwstenen voor latere formele testmethoden en protocollen.

Tijdens deze fase moet u ernaar streven gegevens en bewijsmateriaal te verzamelen waaruit blijkt dat uw apparaat, op basis van de huidige uitvoeringsvorm van het ontwerp, waarschijnlijk aan de functionele eisen zal voldoen. Het verwezenlijken van deze wilhelp de voortgang van uw apparaat naar de volgende ontwikkelingsfase te beperken.

Beste adviezen:

• Krijg input over uw testaanpak van collega's die waarschijnlijk betrokken zullen zijn bij uw verificatietestprogramma. Alles wat nu kan worden gedaan en in latere tests kan worden gebruikt, zal de ontwikkeling soepeler maken. Het zoeken naar onafhankelijke input kan ook nuttig zijn om te controleren of wat u van plan bent te doen het juiste niveau van controle en detail heeft voor deze fase van de ontwikkeling.
• Alles wat kan worden gedaan om het testen te versnellen, zonder de kwaliteit ervan in gevaar te brengen, kan ook nuttig zijn. Als er een eenvoudige installatie kan worden gebouwd die het testen aanzienlijk kan versnellen, is het de moeite waard om daar nu tijd in te investeren, vooral als de installatie nuttig kan zijn in toekomstige testfasen.
• Mogelijk stelt u de functionele vereisten van uw apparaat vast. Wanneer u dit doet, is het in gedachten houden van testbenaderingen een goede manier om te controleren of uw belangrijkste vereisten duidelijk, ondubbelzinnig en meetbaar / ‘testbaar’ zijn geschreven.
• Behoud de onafhankelijkheid tussen het ontwerp- en testteam. In dit stadium is het nog belangrijker dat een onafhankelijke persoon ook het ontwerp van het apparaat beoordeelt.

In te vullen documenten:

• (Concept) Product-/Functionele-Technische Eisspecificatie
• Testmethoden of gedocumenteerde methodeverklaringen
• Test rapporten)
• Vereisten voor eventuele rigs of armaturen

3. Verificatietests voorafgaand aan het ontwerp

Nu u verder bent in uw ontwikkeling, komt de ontwerpverificatie en het eventuele testwerk daarbinnen (DVT) steeds dichterbij. U moet op een formele manier nadenken over de prestaties van uw apparaat, vooral wanneer er meer substantiële gegevens worden verzameld, en overwegen of het apparaat waarschijnlijk aan zijn functionele vereisten zal voldoen.

Ontwerpverificatie kan een lang en duur proces zijn, dat bepalend is voor het succes of falen van uw apparaat. Als er tijdens de formele ontwerpverificatie problemen worden aangetroffen, kan het kostbaar zijn om deze op te lossen. Een goede manier om te beoordelen of uw apparaat gereed is voor DV, is door een pre-design verificatietestprogramma uit te voeren. Het uitvoeren van pre-DVT is niet verplicht, maar wel raadzaam.

Dit komt omdat vóór DVT:

• Brengt u in de mindset van de komende formaliteiten, inclusief statistische bemonsterings- en analysemethoden die vereist zullen zijn bij DVT. Tot nu toe was u wellicht gefocust op de belangrijkste prestatiekenmerken van apparaten tijdens het ‘verwachte’ of zelfs geïdealiseerde gebruik van een relatief klein aantal apparaatmonsters. Er kunnen ook andere vereisten zijn die u tot nu toe niet hebt getest, waaronder robuustheid tegen omgevingsinvloeden. Moet uw apparaat werken na een vrije val- of trillingstest? Als u een naaldinjectiesysteem of inhalator ontwikkelt, is het antwoord op die vraag waarschijnlijk ‘ja’. Als we naar alle vereisten van het apparaat kijken, kunnen er tests worden gestart waar nog niet over is nagedacht
• Is een van de laatste mogelijkheden om problemen met het apparaatontwerp op te sporen en aan te pakken – in feite een van de laatste en meest betekenisvolle oefeningen om de risico's bij het ontwerp te verkleinen. Niet alles klopt de eerste keer enwat werkte voor prototypesis misschien niet helemaal geschikt voor apparaten die in volume zijn vervaardigd. Dit kan het moment zijn waarop onvoorziene problemen zich voordoen. De scheiding tussen pre-DV en de formaliteiten van DV betekent dat u nog steeds reactief kunt zijn en deze problemen kunt aanpakken. De impact van het overslaan van deze oefening kan aanzienlijk zijn; Als u bijvoorbeeld heeft geïnvesteerd in pilottools, duizenden apparaten heeft geproduceerd en een formeel DV-testprogramma is gestart, kan elk probleem met de testmethoden of de apparaten zelf – hoe klein ook – zeer kostbaar blijken te zijn
• Kan aanpassingen maken voor niet-conforme monsters. Als u een apparaat heeft getest en het niet aan de acceptatiecriteria van de test voldoet, kunt u het probleem onderzoeken en oplossen en vervolgens de test opnieuw uitvoeren. Deze flexibiliteit zou eenvoudigweg niet aanwezig zijn in DV
• Kan u helpen ervoor te zorgen dat uw testmethoden, armaturen en apparatuur robuust en betrouwbaar genoeg zijn om klaar te zijn voor validatie van testmethoden. Het biedt de mogelijkheid om aan te tonen dat iemand die nieuw is bij het project of die niet betrokken is geweest bij de technische ontwikkeling, het project kan begrijpen en uitvoeren. Dit proces kan het testteam ook vertrouwd maken met de testmethoden, waardoor de weg wordt vrijgemaakt voor een vlottere toegang tot DVT
• Kan een belangrijk beslissingspunt voor een project zijn, waardoor belanghebbenden meer vertrouwen krijgen dat het project vooruitgang zal boeken. Meer testgegevens en ervaring met het beoordelen van uw apparaat kunnen uw vertrouwen vergroten dat het ontwerp en de implementatie ervan van hoog niveau zijn

Beste adviezen:

• Idealiter zou pre-DVT een product moeten omvatten dat zo dicht mogelijk bij de uiteindelijke uitvoeringsvorm ligt. Beperkingen op het gebied van de natuurlijke ontwikkeling kunnen er echter voor zorgen dat dit niet altijd mogelijk is. In deze gevallen zou het nog steeds mogelijk kunnen zijn om nuttige informatie te verzamelen uit pre-DVT met behulp van apparaten die zijn gemaakt met alternatieve productieprocessen. Houd echter altijd rekening met de voorbehouden die in deze scenario's moeten worden toegepast. Vraag uzelf af: hoeveel vertrouwen heb ik in de belangrijkste functionele testresultaten van minder representatieve monsters?
• Stel je voor dat je testdocumentatie wordt gecontroleerd, gezien dit vanuit een meer formele mindset. Zou een auditor blij zijn met wat er geschreven staat? Zijn ze duidelijk, ondubbelzinnig en gemakkelijk te volgen? Zijn ze beschrijvend genoeg om ongeacht de operator op dezelfde manier te worden uitgevoerd? Organiseer peer reviews om ervoor te zorgen dat dit het geval is. Door de kwaliteit van uw documentatie goed te krijgen, verloopt de overgang naar DV soepeler en worden fouten niet doorgevoerd en later opgepikt wanneer de impact ervan groter kan zijn.
• Zorg ervoor dat alle meetapparatuur geldige kalibratiecertificaten heeft. Vul indien nodig de IQ (Installatiekwalificatie) en OQ (Operationele Kwalificatie) in op apparatuur, mallen en armaturen om extra vertrouwen te geven in hun geschiktheid.
• Zorg ervoor dat u goedgekeurde sjablonen bij de hand hebt voordat u testmethode- en protocoldocumenten schrijft. Dit helpt bij het opbouwen van consistentie tussen documenten. Het is veel gemakkelijker om één enkele sjabloon aan te passen en te verfijnen dan meerdere methoden afzonderlijk te bewerken.
• Denk na over data-integriteit en daag uzelf uit. Zorg ervoor dat alle geregistreerde gegevens voldoen aan de wettelijke verwachtingen, vastgelegd in de ALCOA+-principes. De uitvoergegevens van uw testaanpak die bedoeld zijn voor DVT moeten toewijsbaar, leesbaar, gelijktijdig, origineel, nauwkeurig, compleet, consistent, duurzaam en beschikbaar zijn.
• Pre-DV hoeft niet slechts één keer te worden gedaan. Het kan om verschillende redenen worden herhaald, bijvoorbeeld als er problemen met de testmethode of het apparaat worden gemeld en aangepakt, of als er meer representatieve apparaatmonsters beschikbaar komen. Het herhalen van pre-DV naast het oplossen van problemen en de evolutie van de productie versterkt de waarde ervan als een risicoverminderingsoefening.

In te vullen documenten:

• Specificatie van product-/technische/functionele vereisten
• Pre-DV-testprotocol, inclusief een link naar de productvereisten en testacceptatiecriteria
• Testmethoden (idealiter zo ontwikkeld dat ze klaar zijn voor validatie)
• Pre-DV-testrapport(en)
• Vereisten voor eventuele rigs en armaturen
• Originele gegevensrecords

4. Ontwerpverificatie

Dit is het moment om te verifiëren dat u het apparaat correct hebt gemaakt en dat uw ontwerpuitvoer overeenkomt met uw ontwerpinvoer. Ontwerpverificatie is een formeel hoogtepunt van al het technische werk dat als onderdeel van het project is ondernomen – de ‘kers op de taart’. De resultaten worden ingediend als onderdeel van uw technisch dossier of ontwerpgeschiedenisdossier en zijn van invloed op de vraag of uw medische hulpmiddel op de markt komt.

Het grotere plaatje van ontwerpverificatie omvat niet alleen de belangrijkste functies en kenmerken, maar omvat ook de beoordeling van uw medicijnformulering, extraheerbare en uitloogbare stoffen, houdbaarheidsstudies en biocompatibiliteit. Een deel hiervan kan worden uitgevoerd door aangemelde instanties en gespecialiseerde testinstituten. Ontwerpverificatie is een grote hoeveelheid werk waarvan testen slechts een onderdeel kan zijn, dus de testaspecten kunnen worden behandeld in een afzonderlijk DVT-programma.

DVT zal, zeker voor de meeste apparaten voor medicijntoediening, het testen van veel apparaten gedurende meerdere dagen, weken of maanden vereisen.Als u in deze fase problemen met uw apparaat ontdekt, kan dit leiden tot grote vertragingen in het programma. Als u de belangrijkste aspecten van het ontwerp en de werking van uw apparaat tijdens de ontwikkeling ervan hebt getest, wordt het risico op problemen tijdens DVT aanzienlijk verminderd.

Beste adviezen:

• Voordat met DVT wordt begonnen, moeten de testmethoden worden gevalideerd. Dit betekent dat zij aantoonbaar data moeten opleveren die herhaalbaar en reproduceerbaar is. De acceptatiecriteria voor en de uitkomst van de validatie van de testmethode moeten worden gedocumenteerd. Validatie van de testmethode kan naast pre-DVT worden uitgevoerd.
• Zorg ervoor dat al uw DVT-operators zijn getraind in de methoden en protocollen waarmee zij geacht worden te werken. Neem de tijd om ervoor te zorgen dat operators de instructies en apparatuur echt hebben begrepen, inclusief het aantonen van hun bekwaamheid waar mogelijk. Pre-DVT is een andere mogelijkheid om een ​​rigoureuze training te garanderen.
• Zorg ervoor dat aan alle tests duidelijke acceptatiecriteria zijn toegewezen. Dit kunt u vastleggen in uw testmethode en protocol. Is het voor de lezer duidelijk hoe het resultaat van een geslaagde of mislukte test eruit ziet? Stel de doelpalen duidelijk vast, inclusief het maken van onderscheid tussen resultaten binnen apparaten (herhaalbaarheid) en resultaten tussen apparaten (reproduceerbaarheid). Zorg ervoor dat u eventuele vereiste statistische analyses duidelijk beschrijft.
• Zorg ervoor dat er een duidelijke traceerbaarheid is in uw DV-rapporten, van de gerapporteerde resultaten tot de brontestgegevens en -methoden. Dit maakt het voor een reviewer of auditor gemakkelijker om het proces van begin tot eind te volgen. Een goed rapport zorgt voor een evenwicht tussen alomvattend en beknopt zijn. Zorg ervoor dat precies de juiste hoeveelheid details beschikbaar is om een ​​duidelijk verhaal op te bouwen en ervoor te zorgen dat de lezer het werk kan begrijpen zonder naar al te veel andere documenten te hoeven verwijzen.
• Onthoud voor wie u het rapport schrijft; het is waarschijnlijk een toezichthouder, dus zorg ervoor dat je ze geeft wat ze nodig hebben. Bekijk de nieuwste wettelijke verwachtingen voor technische rapporten. Uw apparaat heeft misschien uitstekend gepresteerd, maar slechte rapportage, gegevensintegriteit of traceerbaarheid kunnen onnodig onderzoek en vertragingen met zich meebrengen.

In te vullen documenten:

• DV(T) Plan (indien van toepassing)
• DV(T)-protocol
• Testmethoden, gevalideerd
• Ontwerp verificatierapporten (testrapporten) en indien nodig een samenvattend rapport
• Originele gegevensrecords

Conclusie

Testen is een essentieel hulpmiddel bij de ontwikkeling van elk product. Het helpt u niet alleen om uw apparaat beter te maken, maar bewijst ook dat het werkt zoals het hoort. Testen om de kenmerken en functies van uw apparaat tijdens de ontwikkeling te bewijzen, zullen het bereiken van een succesvol product gemakkelijker maken.

Natuurlijk,testbenaderingen moeten mee evolueren met de ontwikkeling van apparatenDe truc is dus om een ​​testaanpak te gebruiken met de juiste balans tussen behendigheid en nauwkeurigheid voor de fase waarin u zich bevindt. Dit zorgt ervoor dat uw testen een krachtig hulpmiddel zijn om risico's te beperken, zonder de ontwikkelingsfasen te zwaar te belasten. Als u vooruitkijkt op wat er van de ontwerpverificatie wordt verwacht, kunt u de testformaliteiten op het juiste moment regelen, waardoor de overgang tussen fasen en testwerkzaamheden eenvoudiger wordt.

Testen moet een objectieve, onafhankelijke uitdaging vormen, dus zorg ervoor dat u het werk van het ontwikkelingsteam uitbreidt met onafhankelijke operators. Dit zorgt ervoor dat de ontwerpuitvoering niet ‘roze getint’ is en controleert of het apparaat geschikt is voor een bredere gebruikersgroep, niet alleen voor de mensen die in de ontwikkeling ervan hebben geïnvesteerd. Als u prestatieproblemen en gebruikersuitdagingen in een vroeg stadium opmerkt, betekent dit minder tijd en kosten om deze op te lossen.

Als het testen vanaf het allereerste begin van uw project zorgvuldig wordt gepland, zal de ontwerpverificatie aan het einde eenvoudigweg een bevestiging zijn van wat u al weet, wat zorgt voor een soepelere overgang naar de markt.

Team Consulting ontwikkelt al ruim 35 jaar medische hulpmiddelen, van concept tot industrialisatie. OnsEen speciaal apparaattestteam is betrokken bij alle stadia van de ontwikkeling van uw apparaat, waarbij we expertise en objectiviteit inbrengen om ervoor te zorgen dat onze testoplossingen de juiste mix hebben van gevestigde best practices, op maat gemaakte oplossingen, naleving van de regelgeving, gegevens- en documentatie-integriteit. Al deze ingrediënten zijn essentieel voor het succesvol afronden van de ontwerpverificatie.

Als u uw volgende uitdaging voor het testen van apparaten wilt bespreken,neem contact op.