Tech

Skapa virtuella tvillingar av verkliga strukturer för att berika våra inspektioner

Införande av drönare till industriella inspektioner

Huvudsyftet med en industriell inspektion är att få en korrekt överblick över tillståndet för en utrustning eller infrastruktur. Det första steget i inspektionen är att använda sensorer för att utföra råa mätningar på hela strukturen. För att säkerställa en viss upplösning och kvalitet på posterna med ett begränsat antal sensorer, måste du flytta några av dem runt ytan av din tillgång, varför drönare är mycket bra lösningar för inspektioner. De är stabila, de kan enkelt komma åt varje område i "3D-rymden" och samla in data utan att vara påträngande.

Med detta sagt, genomföra en drönare inspektion är inte alla enkelt eftersom vissa krav måste uppfyllas:

  • Täckningskrav: du vill inte missa ett område
  • Krav på upplösning: du vill upptäcka fel med en viss storlek 
  • Säkerhetskrav: du vill inte krascha drönaren eller skada infrastrukturen

Med detta i åtanke är manuell inspektion inte ett idealiskt alternativ och det kan även verka som om du behöver använda en mycket sofistikerad drönare för att hantera dessa begränsningar. På Sterblue , tror vi att kameror och off-the-shelf drönare är tillräckliga för att utföra en inspektion. Vi bevisade att Sterblue kan utföra korrekta banor och extrahera rik information från bilderna utan att behöva lidar , till exempel. Istället är vår bana beroende av en parameteriserad 3D-modell som fungerar som en virtuell tvilling av den faktiska tillgången som inspekteras.

sterblue -inspektion-arbetsflöde-baserad-på-3D-modell
Figur 1: Sterblue s inspektionsarbetsflöde baserat på 3D-modellen.

När drönaren, eller i princip något annat, utförde mätningarna återstår allt hårt arbete att göra. Det som gör det obehagligt är den enorma mängd bilder du får från en industriell inspektion. Till exempel kan Sterblue samlar runt 10.000 bilder på en kyltorn inspektion. Du måste hitta om något är fel på varje utgång post: saknas del, erosion, korrosion, etc. Vi tar itu med denna repetitiva uppgift med både mänskliga experter och datormodeller vision. Den sista delen av inspektionsprocessen är att sammanställa de kommenterade registren för att göra en koncis men uttömmande rapport av den. Vi kommer att visa att här igen vår virtuella tvilling visar sig vara till stor hjälp.

Designa våra virtuella tvillingar

Sterblue syftar till att ge sina kunder en enkel men tillförlitlig representation av sina tillgångar. Vi anser att den bästa modellen inte är den mest uttömmande men mest pragmatiska, när det gäller antalet delar, geometri och frihetsgrader. Vi använder vår operativa expertis för att bestämma de delar och områden av tillgången som verkligen betyder något och skapa en parameteriserbar 3D-generisk modell för varje vertikal. På så sätt kan du enkelt kvalificera någon struktur du inspektera, du generalisera bättre mellan olika strukturer och du kan jämföra dem på en enda basis.

Hittills Sterblue kunde beskriva och inspektera 120 olika modeller av vindkraftverk, med en diameter på mellan 60 och 120 m (180 till 360 ft) med våra 48 parametrars generiska modell (figur 2).
Figur 2 - Vindkraftverket generiska modell vi utformat.

De modeller vi beskriver är standard 3D-maskor, det vill säga samlingar av punkter och triangulära ansikten i rymden, som kombinerar information om den faktiska 3D-representation av strukturen och en 2D-kartläggning av ytan av strukturen. För en enda teoretisk position och konfiguration av drönaren i förhållande till den inspekterade tillgången, Sterblue utnyttjar kraften i 3D-renderingsmotorer för att extrahera en hel del användbar kvantitativ information om vad som ses genom kameran (figur 3). Vi förklarar flera användningsfall av dessa 3D-modeller nedan.

Bild 3 - Olika återgivningslägen för en inspektionsbild. bildtexten under varje bild visar den information som kodas av färgerna. Från en enda bild vår renderingsmotor kan berätta vad som ses och hur det ses.

Utföra noggranna inspektioner på fältet

Från en generisk 3D-modell till en virtuell tvilling: kalibreringssteget

Våra virtuella tvillingar kan ses som en samling parametrar och frihetsgrader som har en viss sannolikhet att vara korrekt (figur 4). Några av variablerna Sterblue använder för att parametrize modellen refereras och oföränderliga dimensioner av strukturen, som höjd, topp, botten och hals diametrar av en hyperbolisk kyltorn, de antas vara perfekt kända. Några andra variabler är antingen okända för konstruktorn eller föremål för förändringar under tiden, som rotation, gir, bladens böjning av vindkraftverket så att vi inte kan känna dem innan vi går på fältet.

Före inspektionen är ett kalibreringssteg under vilket Sterblue optimerar de okända parametrarna för att få 3D-modellen som bäst matchar den struktur som drönaren faktiskt ser.
Figur 4 - Effekten av variationen av 3 parametrar på vindkraftverkets blad. Från topp till botten, variation av den drag-vis böj, lyft-vis böja och twist. Från vänster till höger, ökande styrka av parametern.
Bild 5 - Beskrivning av en modell under hela kalibreringsprocessen.

En bana som passar strukturen

Den allra första användningsfallet på vår trimmade virtuella tvilling är banan computing. Sterblue Utformad Perception , en mycket generisk motor som tillåter oss att generera en bana runt någon 3D-modell. Vi bygger banor som strikt uppfyller kraven på säkerhetsavstånd, upplösning och överlappning och riktar in oss på de viktigaste områdena i strukturen som överenskommits med våra kunder. Till exempel, under inspektionen av vindkraftverkbladets framkant, banan kommer att följa den böj som beräknades tack vare kalibreringsprocessen, vilket inte förlora en bit av de mest riskexponerade området.

Den viktigaste aspekten av Perception är dess modularitet, som tillåter oss att anpassa sig till olika krav på samma struktur, eller helt enkelt att inspektera en ny okänd struktur. Detta gör det särskilt möjligt för oss att sömlöst utföra unika inspektioner på specifika strukturer som till exempel en ikonisk pyramidstruktur som Sterblue kommer att inspektera snart ...
Figur 6 - Vår generiska bana appliceras på en pyramidmodell. Banan uppfyller kraven i upplösning och överlappning mellan bilder. För detta projekt kommer drönaren att flyga så nära som 3m (10ft) bort från ytan.
Bild 7 - Visning av en inspektionsbana runt ett kyltorn, på Sterblue molnplattform.

Efterbearbetning av våra inspektionsresultat

Den råa produktionen av en regelbunden inspektion, det villa om bilder med anteckningar som görs antingen automatiskt via AI eller av experter, är långt ifrån genomförbart. På sin höjd hjälper det att påpeka fel som försämrar användningen av tillgången och kräver en manuell operation på strukturen för att fixa det. Det finns flera viktiga frågor som fortfarande måste besvaras:

  • Täckte jag hela strukturen? 
  • Hur väl täckte jag strukturen?
  • Vilken del av strukturen syns i varje bild?
  • Hur många unika avvikelser har jag på strukturen?
  • Var finns varje anomali på strukturen? 
  • Vad är formen på defekten på strukturen?

Även här är våra 3D-modeller en verklig tillgång som hjälper oss att svara på dessa frågor.

Identifieringar sammanslagning och plats

Eftersom du inte vill missa områden under inspektionen kan du ta fler bilder än nödvändigt, med en stor överlappning mellan efterföljande bildrutor. Det första problemet med redundans i bilderna är att du kan fånga samma anomali från olika synvinklar utan att märka att det faktiskt är samma fel. Tillförlitligt uppskatta hälsostatus och mängden underhållsarbete som krävs blir då mycket oprecis. Ett annat behov från våra kunder är att kunna exakt hitta upptäckter på strukturen, eftersom svårighetsgraden av en anomali också beror på dess placering. Självklart kan du använda GPS-koordinaterna i samband med varje bild för att ha en uppfattning om var defekten är på strukturen, men detta är fortfarande mycket approximativt och svårt att automatisera.

Sterblue kom upp med en automatisk pipeline som sammanställer identifieringar på varje bild för att upptäcka de unika avvikelser som kan associeras med flera identifieringar, hitta dem exakt på strukturen och beräkna deras form. Denna process säkringar all information Sterblue som förvärvats under inspektionen: strukturens parametrar som erhållits under kalibreringen, GPS-posterna för varje bild och de anteckningar som gjordes på dessa bilder. Vi utnyttjar redundansen mellan bilderna genom att förfina positionen och formen på avvikelserna.

Bild 8 - Sammanslagning av flera identifieringar till en anomali.
Överst: två upptäckter av samma anomali på ett uppdrag.
Botten: 3D-scen. Upptäckterna sträcker sig till koner (visas i rött) i 3D som skärs in i en fast anomali (visas i gult).

Information om täckning

Trots ansträngningarna på överlappningen mellan bilderna, kan du inte veta om du inte missa något genom att bara titta på dem. Vi är övertygade om att bilderna produktionen från våra inspektionsbanor som definieras ovan kommer att täcka hela ytan, men som en generisk plattform samla inspektionsdata, Sterblue får också utdata från manuella inspektioner som kan vara ofullständiga. Vi använder bilderna själva och den information de bär i sina metadata för att rekonstruera inspektionen med den virtuella tvillingen av strukturen.

En 3D-scen genereras för att automatiskt ta reda på för varje bild vilken del av strukturen som täcktes. Aggregeringen av per bild-resultatet gör det möjligt att Sterblue för att kartlägga strukturens täckning (figur 9 & 10). Eftersom vår arbetsflödesdesign är helt generisk gäller detta inte bara för alla strukturer, utan även för alla typer av data som vi faktiskt vill aggregera på strukturen. 

Den enklaste informationen att säkring som vi föreslår här är den råa täckningen av strukturen (varje del som faktiskt ses på strukturen) men vi kan använda smartare mått för att bedöma täckning med hänsyn till:

  • Siktvinkeln på ytan
  • Upplösningen på ytan
  • Kvaliteten på fokus på bilden
  • ...
Bild 9 - Täckningskarta på ett kyltornsuppdrag. Uppdraget tar vanligtvis 2 till 6 timmar (beroende på upplösningen och storleken på tillgången) som ska utföras. Färgerna kodar antalet gånger området har setts, med en linjär skala från 0 (röd) till 20 (grön).
Figur 10 - Övervakning av täckningskartan för figur 9 under inspektionen. Uppdraget tar vanligtvis 2 till 6 timmar (beroende på upplösningen och storleken på tillgången) som ska utföras.

Bildsömmar

För att underlätta arbetet för de experter som granskar de råa bilderna till följd av inspektionen, måste vi organisera dem väl. Den enklaste koordinaten som kan användas för att beställa bilder är tid. Men denna 1D kronologiska navigering blir tråkigt när det handlar om mer än 500 bilder, vilket är mycket vanligt för industriell inspektion. Den idealiska produktionen är att aggregera bilderna på ett fotogrammetri sätt så att du har en 3D-bild av din tillgång,fri från redundans och mycket enkelt att inspektera. Men fotogrammetri fungerar inte för varje yta. Eftersom den är baserad på matchande keypoints på överlappande bilder, behöver den heterogena ytor som har anmärkningsvärda funktioner. Medan kornig betong som kyltorn är gjorda av är väl lämpad för detta, hindrar den släta vita ytan av vindkraftverk oss från att använda fotogrammetri.

Emellertid Sterblue lyckats använda vår tidigare virtuella tvilling för att helt enkelt sätta bilderna på den bästa platsen i 3D-rymden, så att de stygn bra. På så sätt erbjuder vi en 3D-navigering runt tillgången så att vi kan se helheten och zooma in på specifika bilder när mer information behövs.

Bild 11 - Vindkraftverk inspektion utgång efter att ha beställt 900 bilder i 3D. Mycket låg upplösning prover visas i scenen för att underlätta navigering.

Designa virtuella tvillingar är en viktig aspekt av vår inspektion pipeline

Dessa parameteriserbara 3D-modeller gör det inte bara möjligt att inspektera infrastrukturer med färdiga drönare, men gör det möjligt att sammanställa komplexa och stora data i användbara insikter. De resultat som presenteras här visar en del av potentialen i detta paradigm och vi arbetar på andra funktioner för att få ut det mesta av det, som användningen av fotorealistiska renderingar för att träna vår AI för att automatiskt upptäcka infrastrukturer under inspektioner (figur 12). När inbäddade i drönaren, kommer sådana modeller möjliggöra realtid kalibrering av strukturer och korrigeringar av banan. 

Bild 12 - Vissa utgångar av vår fotorealistiska renderingsmotor för upptäckt av vindkraftverk.