Testa artificiell intelligens i skala för T & D snabbare än någonsin

Med det verkliga exemplet på en större TSO, lär dig hur AI kan överskrida branschens heterogenitet och snabbt distribueras inom komplexa arbetsflöden

4 dagar

Så här tränar och märker du en datauppsättning med mer än 1200 bilder

1 timme

Så här testar du AI:n på en valideringsuppsättning med mer än 400 bilder

68% Tid

Sparad av experterna i analysen av inspektionsdata

Att nå prestationer på produktionsnivå med AI tar en lång, krävande och mycket strukturerad resa.

Stora mängder bra data, högkvalitativ märkning och branschexpertis är några av de viktigaste ingredienserna för att bygga en performantmodell, i kombination med enastående algoritmiskt och ingenjörsarbete.

Men i slutändan, om du inte kan anpassa sig till olika kund verkligheter och typer av elektriska infrastrukturer, det finns ingen skalbar tillämpning av lösningen. 

I denna vitbok får du lära dig hur AI kan överskrida branschens heterogenitet och snabbt distribueras inom komplexa företagsarbetsflöden.

Du är ett steg från att ha tillgång till det här vitboken!

1. Övervakning av tillgångshälsan med hjälp av artificiell intelligens  

Den största kraftledning i världen ligger i Belo Monte-Rio, Brasilien, och står för 2.543 km lång. Medan det högsta överföringstornet som någonsin byggts är 370 meter högt och kan beundras på Mount Damaoshan i Kina. Imponerande, eller hur? Nu försöker föreställa sig dessa gigantiska tillgångar, spridda över en enorm kilometer, åldern av tid, utsätts för extrema väderförhållanden, kramas av växande vegetation, och besöks av storkar som finner dem lika attraktiva som en lägenhet i stadens centrum. Det är mycket troligt att defekter och saknade inventering börjar dyka upp. (Bild 1)

Bild 1: Exempel på defekter på överföringstorn - korrosion (vänster) och fågelbo (höger).

Regelbundna inspektioner och övervakning av tillgångens hälsa är nyckeln för att undvika allvarliga konsekvenser, som strömavbrott och skogsbränder. Antingen med hjälp av helikoptrar, smartphones eller drönarkameror samlar systemansvariga (TSOs) regelbundet tusentals och åter tusentals bilder av sina torn för bakre analys. Detta gör det möjligt för nätverksförvaltare att jämföra infrastrukturens tillstånd genom åren och fatta beslut som rör budget och underhåll. Men faktum är att hantera så stora mängder data resulterar i en av de största smärtpunkter i branschen.

3.000 km överföring torn genererar vanligtvis cirka 1 miljon bilder. Bara i Frankrike finns det mer än 100.000 km högspänningsledningar. Kan ni tänka er att manuellt lagra, sortera och gå enskilt genom de miljontals bilder som tagits vid inspektioner för att upptäcka problem som bara kan vara några millimeter breda? Det är en ytterst uttömmande och tidskrävande process.

För att bekämpa denna produktivitet flaskhals, artificiell intelligens (AI) är en mycket bekväm teknik, som hjälper till att påskynda inspektion dataanalys. Denna programvarulösning belyser automatiskt defekter och utrustning på inspektionsbilder och gör det möjligt för affärsdomänexperter att leverera snabbare och bättre rapportering om tillgångshälsa. (Bild 2)

Bild 2: Fästen korrosion automatiskt detekteras av vårt AI-verktyg i Sterblue Molnplattform.

Över de följande sidorna får du lära dig hur AI kan överskrida branschens heterogenitet och snabbt distribueras inom komplexa företagsarbetsflöden. Mer exakt tar vi dig genom Sterblue s resa för att lösa en verklig datautmaning som föreslagits av en av de största TSO:erna i Nordeuropa.

2. Utmaning Accepterad: Utbildning, testning och driftsättning Sterblue AI på endast 4 dagar

För att främja antagandet av artificiell intelligens inom stora företag, fördelarna med detta verktyg måste tydligt visas. Energi- och allmännyttiga företag vill se till att lösningen kan matcha deras behov och att det finns en verklig avkastning på investeringen. Ett bra alternativ att göra det är att lansera en AI proof of concept (PoC) för att utvärdera potentiella affärspartners. På så sätt kan företag få utbildning, testa och främja internt värdet av AI, genom att visa verkliga resultat för relevanta intressenter.

I juli 2020 inledde en TSO-ansvarig för mer än 40 000 km strömningskilometer kraftledningar i Europa en datautmaning för att testa flera leverantörer på deras artificiella intelligenskapacitet. Det är självklart att Sterblue var omedelbart ivrig att delta. Och dessa var villkoren:

  • Utbildningsfasen skulle utföras på 1 234 foton av överföringstorn där 6 typer av defekter måste upptäckas. 
  • Efter det skulle AI-testet köras på en valideringsdatauppsättning på 405 aldrig sett bilder, i en maximal period på 24h.
  • Som helhet måste processen slutföras och resultaten levereras till den europeiska kontrollsomaten på mindre än 2 veckor.

Sedan 2016 har Sterblue har samlat erfarenhet av flera kunder över hela världen och bygga dedikerade artificiell intelligens verktyg för olika typer av tillgångar, inklusive elnät. För att maximera synergierna under loppet av detta projekt utförde vi varje steg i Sterblue Molnplattform. (Bild 3)

Bild 3: Sterblue processen för att svara på hela datautmaningen i Sterblue Molnplattform.
"för 3 år sedan, våra första pilotprojekt om artificiell intelligens med energiföretag brukade ta mellan 6 till 8 veckor att levereras. I dag har vi möjlighet att göra exakt samma men på bara 4 dagar och ännu mindre i slutet av 2020. Dessa tidsbesparingar är mycket värdefulla inte bara för Sterblue , men viktigast av allt, för våra kunder. Och detta projekt var ett perfekt tillfälle att visa det!" Geoffrey Vancassel, Sterblue Vd

3. Förberedelser: Tittar på den heterogena datamängden

Att fånga upp bra data spelar en stor roll för de förväntade resultaten av AI. Under de senaste 4 åren har Sterblue har varit att främja en vision där data automatiskt samlas in med hjälp av off-the-shelf drönare som drivs av en automatisk navigationsprogram. Ändå kommer det att ta tid att övergå till denna standardiserade strategi, eftersom traditionella inspektionsmetoder fortfarande är rotade i stora företag. Brist på information, investeringar prioriteringar och byta kostnader är några av anledningarna till. (Figur 4)

Bild 4: Transmissionsnät inspektion utförs med en off-the-shelf DJI drönare drivs med Sterblue automatisk flygteknik.

Den stora europeiska TSO var att använda sig av flera processer, anställda och källor till bilder (smartphones, helikoptrar, drönare) för att utföra inspektionerna. Denna dåliga standardisering och höga variationer ledde till en mycket olikartade datamängd. Generellt sett var kvaliteten på data sjön en utmanande aspekt av detta projekt eftersom:

  • Av de 1237 bilder som tillhandahålls, endast 44 (3,6%) Träffade Sterblue s kvalitetsnormer (figur 5).
  • Filformaten (.jpg, .png, etc.), zoom procent och storlekar av bilderna var mycket heterogena. 
  • Det fanns många olika överföringstorn med i bilderna, med varierande omgivande miljöer.
Bild 5: Fördelning av de 1237 bilderna enligt kvalitetsnivån.

Efter att ha en klar syn på testets komplexitet, Sterblue laddade upp de 1237 bilderna på Sterblue Cloud, med hjälp av Smart Uploader. Denna funktion gör det möjligt att inte bara skala massa uppladdningar av olika format (+100GB i foton åt gången), men också att fördela varje bild till motsvarande infrastruktur och tillhörande utrustning. Den är utformad för att förutse möjliga mänskliga fel, ta itu med problem innan de kan skapa några problem och säkerställa den mest strukturerade databasen. Tack vare det Sterblue kunde upptäcka och eliminera två dubbletter på de lämnade uppgifterna, slutar med 1235 original.

På en regelbunden analys av inspektionsdata, är bilder av dålig kvalitet automatiskt och, om det behövs, manuellt filtreras ut i Sterblue Moln. Målet är att se till att systemet bara intests rena data. Men, denna utmaning syftar till att visa möjligheterna för varje leverantör när det handlar om stark bild heterogenitet. Således var de 1237 bilder (faktiskt 1235) inte gå någonstans!

4. Märkning: Att kombinera exakt mänsklig expertis med AI

Olika företag har olika policyer för kapitalförvaltning. Denna variabilitet kan bero på många faktorer, som landet, typ av torn, väderförhållanden eller till och med interna specifikationer, såsom de terminologier som används för att klassificera avvikelser på infrastrukturer (defektreferential). (Bild 6)

Bild 7: Överföringstorn i Hongkong (vänster) och i Mellanöstern (höger) som tillfångatagits av Sterblue . Mycket olika miljöer och därmed olika problem att övervaka.

För denna utmaning krävdes 6 standardtyper av etiketter: rostig isolator, trasigt isolatorglas, förorenad isolator, blixtoverisolatorer, rostiga tornstruktur och böjd tornstruktur.

Bland de nämnda defekterna, Sterblue 's dedikerade AI-verktyg för transmissionstorn utbildades redan för att upptäcka "rostiga isolatorer" och "rostiga tornstrukturer", eftersom dessa är några av de vanligaste frågorna från våra kunder. Det hade dock aldrig använts på de särskilda tornen i den stora TSO eller de 1237 bilder som föreskämts för denna utmaning. Därför hade ett team av branschexperter den viktiga uppgiften att manuellt märka hela datauppsättningen, så att vår modell skulle lära sig att automatiskt identifiera de 6 typerna av defekter under utbildningsfasen. (Figur 7)

Bild 7: Exempel på en Rostig tornstruktur som automatiskt upptäcks av Sterblue . AI kan spela en viktig roll för att hjälpa till att övervaka korrosion, en av de största utmaningarna med TSOs.

Ur en kunds synvinkel, be om särskilda referential kan låta som ett grundläggande krav. Men för säljarna väcker det en knepig fråga: hur kan vi skala och kapitalisera på våra befintliga AI-modeller utan att behöva börja om från början varje gång?

Skillnader i datamängden, olika torntyper och kundspecifikationer kan sätta de mest utarbetade algoritmerna på skam. En one-size-fits-all strategi kommer inte att göra. Enligt Hanna Kerner, för MIT Technology Review, "maskininlärning forskare som misslyckas med att inse detta och förväntar sig verktyg för att arbeta "off-the-shelf" ofta hamna skapa ineffektiva modeller." För att komma till rätta med denna fråga Sterblue modeller varje kunds industriella verklighet i vad vi kallar "Universal Anomaly Referential". På så sätt kan vi kartlägga upptäckter med alla tillgängliga data på vår bas, vilket gör det onödigt att börja om från början med en ny kund, samtidigt som vi redovisar olika verkligheter.

Den sista punkten att ta hänsyn till var den märkningsstrategi som kunden krävde. I detta fall gav TSO endast oss ett excel-ark som anger vilka avvikelser som fanns på vilka bilder. Eller, med andra ord, ingen märkningsstrategi alls. För att fylla i denna lucka, Sterblue beslutat att rikta in sig på de mest exakta och enhetliga etiketterna för var och en av de 6 feltyperna. Målet var att utarbeta segmenterade anteckningar, med exakta kanter runt de skadade delarna, se till att det inte fanns några prestandaförluster när du anpassar våra algoritmer. (Figur 8)

Bild 8: Exempel på en exakt etikett som utförs av våra experter. I detta fall är det en trasig isolatorglas.

Innan Sterblue experterna började märka de 1 234 bilderna i Sterblue Molnplattform, vi låter vår befintliga AI för överföringsnät analysera datauppsättningen och leta efter rostiga tornstrukturer och rostiga isolatorer. Även om vår modell aldrig hade sett dessa bilder eller torn, kunde den fortfarande automatiskt upptäcka 866 av de nämnda defekterna. Detta var en viktig hjälp med tanke på att korrosionsfläckar var de mest dominerande upptäckterna. Efter det utförde vårt team av branschexperter ytterligare 2 416 manuella anteckningar. I genomsnitt lades 2,6 identifieringar till per bild. (Figur 9)

Bild 9: Antal etiketter som läggs till i hela datamängden, fördelat på defekttyp (upp). Omkring 26,4% av dessa fynd upptäcktes automatiskt av AI (ner).

5. Utbildning: Att skräddarsy AI:n efter kundens specifikationer

Följande naturliga steg var att träna Sterblue s dedikerade neurala nätverk på utmaningen datauppsättningen. Det tar flera iterationer för modellen att lära sig att tolka egenskaperna hos bilden och justera möjliga beslutsvägar tills konvergerande till den ideala. För att starta, Sterblue gjorde några finjusteringar och optimering på algoritmen, minimera möjligheten avvikit förutsägelser, eller vad som kallas en "förlust funktion". Sedan, utbildningen var köras på 90% av bilderna (slumpmässigt utvalda), lämnar de andra 10% i valideringssyfte. Detta beslut kan dock begränsa utbildningspotentialen något, men det möjliggör även Sterblue för att bättre övervaka och stämma modellparametrarna.

Som tidigare nämnts, tillbaka i 2016, när Sterblue grundades, utbildning vår AI för en ny kund brukade vara en långsam och lång process. I dag skulle vi kunna slutföra märknings- och utbildningsfaserna på de 1 234 bilder som tillhandahålls för denna utmaning på 4 dagar. Det sista och sista steget i detta projekt var att testa våra AI-funktioner på valideringsdatauppsättningen med 405 bilder, där Sterblue tog mindre än 1 timme (av en 24h deadline). Detta var endast möjligt tack vare vårt toppmoderna utbildningssystem och den mognadsnivå som uppnåddes genom våra dedikerade AI-verktyg. (Bild 10)

Bild 10: Utnyttja på Sterblue s dedikerade AI-verktyg för att slutföra detta projekt på endast 4 dagar. Procentsatserna avser varje etapps inverkan på det slutliga resultatet.
" Sterblue s dedikerade AI-verktyg blir mer och mer mogna! Det faktum att vi kan utnyttja våra befintliga modeller för att påskynda märkning och utbildning är nyckeln till att distribuera AI snabbare. Snart kommer ett projekt av detta slag ta bara några minuter att slutföra: tiden för att dra och släppa bilderna i Sterblue Moln plattform! " Geoffrey Vancassel, Sterblue Vd

6. Prestanda: Bedöma AI mot finjusterade KPI:er

Det finns 2 viktiga nyckeltal (KPI) vid bedömningen av AI: Recall & Precision. Recall ger förhållandet mellan verkliga defekter som framgångsrikt upptäckts av AI. Till exempel, om bland 100 avvikelser som finns på ett överföringstorn, upptäcker AI 90 (sanna positiva) och missar 10 (falska negativ), kommer återkallande vara lika med 90%. Med tanke på kritiska energiinfrastrukturer, recall är det viktigaste måttet att hämta. Om du inte identifierar och åtgärdar nätverksproblem kan det få allvarliga konsekvenser.

Å andra sidan hänvisar Precision till relevansen av upptäckterna. Med andra ord, bland alla upptäckter som påpekats av AI, precision åtgärder vilka som är faktiska defekter (sanna positiva) och vilka som inte är (falska positiva). Anta att AI:n upptäcker 100 förekomster. Om bara 70 av dessa är faktiska avvikelser, då precision kommer att vara lika med 70%. Sterblue gör också en stor ansträngning för att optimera detta mått, eftersom vi inte vill överväldiga våra användare med falska varningar. I ett optimalt scenario är alla upptäckterna relevanta (precision=100 %) och AI missar ingen upptäckt (recall=100%). (Bild 11)

Bild 11: Diagram förklaring av Precision och Recall.

Precision och återkallande uttrycks som en funktion av 2 andra indikatorer. Genomskärning över union (IOU) tröskel tar hänsyn till överlappningen mellan en upptäckt och en mark sanning (verkliga defekt) för att avgöra om en förutsägelse kan definieras som sant positiva eller inte. Ju högre är den revers som valts, desto lägre precision och återkallande kommer att bli. Tröskelvärdet För konfidensresultat ger den överenskomna konfidensnivån varifrån upptäckter börjar övervägas för utvärderingen. (Bild 12)

Bild 12: Diagram förklaring av Skärningspunkt Över Union (REVERS) (vänster) och Precision och recall som en funktion av denna indikator (höger).

Att hålla på sidan 10% av den träningsdatauppsättningen var viktigt att beräkna dessa mått och därför ställa in modellen för att uppnå bästa prestanda under testfasen. Värdena för återkallande och precision pendlade mellan 44% och 83% och 60% respektive 100% beroende på typ av defekt. (Bild 13)

Bild 13: Värden för Recall och Precision enligt en given Förtroendepoängströskel och Skärningspunkt över union (REVERS) per defekt (upp) och global-genomsnitt (ner).

Under normala förhållanden Sterblue bara rullar ut i produktionsavvikelser som når minst 80% i båda KPI: er, om inte kunderna ber om ett annat kriterier. Målet med denna utmaning var dock inte att implementera lösningen direkt, utan att istället visa hur skalbar artificiell intelligens kan vara på kort sikt och ge kunden några tydliga perspektiv. Med tanke på den lilla datamängden, dålig bildkvalitet och knappa märkningsinstruktioner dessa var faktiskt mycket positiva resultat. 

7. Mervärde: Ökad produktivitet och tillförlitlighet med AI

För att utvärdera produktivitetsvinsterna av artificiell intelligens, Sterblue beslutat att övervaka den tid våra experter ägnade åt att märka varje bild med och utan stöd från AI. Detta var särskilt intressant, eftersom i detta projekt den ursprungliga datauppsättningen av 1237 bilder var mycket lik den validering datamängden när det gäller bildkvalitet och märkning instruktioner. I verkligheten kanske det inte alltid är fallet.

  • Vid märkningen av träningsdatauppsättningen rapporterade branschexperterna att de i genomsnitt hade spenderat närmare 2 minuter på bilder där inga upptäckter gjordes av AI.
  • När de validerade de automatiska anteckningar som utförs av AI på de 405 bilderna av testdatauppsättningen, tillbringade experterna i genomsnitt 36 sekunder per bild. (Bild 14)
Bild 14: Jämförelse av den tid som används märkning per bild med och utan hjälp av AI. En tidsbesparande på 68% uppnås med AI.

Detta innebär en tidsbesparande på 68% när artificiell intelligens användes för att stödja analysen. Försök att föreställa sig en person som granskar och märkning tusentals bilder i flera timmar. Det är naturligt att hans / hennes nivå av uppmärksamhet börjar minska och potentiella misstag börjar dyka upp. Verklig effektivitet föds när du samarbetar med kvalificerade arbetare med kraftfulla verktyg. På längre sikt kommer experterna att kunna iterera mycket snabbare över nya ankommande data och följaktligen inspektera på en högre frekvens.

Fördelarna med att integrera ett AI-verktyg i inspektionsarbetsflödet sträcker sig långt bortom det lilla provet som presenteras i detta vitpapper. Om den stora TSO beslutar att gå vidare med denna teknik, kommer produktiviteten i sina team öka drastiskt. Och, viktigast av allt, kommer företaget att kunna bättre övervaka sitt infrastrukturnät, vilket garanterar kontinuerlig tillförlitlighet och säkerhet i elförsörjningen.

8. Utsikter: Skalning och integrering av AI i inspektionsarbetsflödet

När ett konceptbevis är färdigt, Sterblue alltid modeller den förväntade prestandautvecklingen, förutsatt att AI kommer att matas med mer inspektionsdata (och fler upptäckter) i framtiden. I detta fall skulle intesting bilder för en beräknad period av 3 månader vara tillräckligt för att nå ideala nivåer av återkallande och precision för defekt upptäckt. (Bild 15 & 16)

Bild 15: Minns (upp) och Precision (nedåt) värden (i %) evolutionen under en period av 3 månader per defekt. Med utgångspunkt från de värden som beräknats under denna utmaning (nu) och computing då värdena förutsatt 3 000 och 10 000 upptäckter.
Bild 16: Värden För medelvärde-Global precision och återkallelse (i %) utvecklingen under en period av 3 månader.

Det är faktiskt det enda sättet att uppnå bättre resultat: data, data och mer data! Storleken på datamängden hänger i sig i nära delar samman med modellens prestanda, med tanke på vikten av en konsekvent bildkvalitets- och märkningsstrategi. Av den anledningen rekommenderas en standardiserad och spårbar inspektionsmetod, som att flyga drönare längs automatiska banor.

Slutligen är det lika nödvändigt att förstå hur artificiell intelligens kommer att passa in i organisationens arbetsflöde. 

  • Använder företaget en in-house plattform för bildanalys? 
  • Kommer resultaten av AI att mata ett annat ledningssystem efteråt?
  • Vilka användningsfall söker kunden? Defekt upptäckt? Lagerhantering? Vegetationsförvaltning?

Det är exempel på frågor som ställs av Sterblue under en nära bedömning med kunden. Målet är att se till att varje steg i arbetsflödet för hantering av tillgångar körs smidigt, inklusive de tillhörande in- och utflöden. Här återigen är mångsidighet nyckeln. Medan för vissa kunder Sterblue ger den centrala plattformen för hela inspektionsprocessen , för andra erbjuder vi helt enkelt ett enskilt steg i värdekedjan, som vårt AI-verktyg. (Bild 17)


Bild 17: Inspektionsarbetsflöde som rekommenderas av Sterblue , som den centrala plattformen för inspektion och förvaltning av infrastruktur.

9. Artificiell intelligens i tjänst för kundens behov

På mindre än en vecka har Sterblue kunde förbereda, träna och mäta en datauppsättning med mer än 1 500 bilder, samtidigt som de visade en tidsbesparing på mer än 60 % för kunden. Detta var endast möjligt tack vare vår uppsättning anpassningsbara verktyg som är tillämpliga på ett stort utbud av användningsfall och ständigt förbättras av vårt ingenjörsteam. I slutet av 2020 räknar vi med att uppnå mycket mer ambitiösa resultat på bara några minuter.

För att nå produktionsnivå föreställningar med AI tar en lång, krävande och mycket strukturerad resa. Stora mängder bra data, högkvalitativ märkning och branschexpertis, kombinerat med enastående algoritmiskt och ingenjörsarbete, är några av de viktigaste ingredienserna för att bygga en performantmodell. Men i slutändan, om du inte kan anpassa sig till olika kund verkligheter och typer av elektriska infrastrukturer, det finns ingen skalbar tillämpning av lösningen.

På den växande och snabbt föränderliga energimarknaden räcker det inte längre att sälja en revolutionerande teknik för att sträva. Det verkliga värdet läggs till när du löser dina kunders behov.


Oj! Något gick fel när du skickar formuläret.

"för 3 år sedan, våra första pilotprojekt om Artificiell Intelligens med energiföretag brukade ta mellan 6 till 8 veckor att levereras. Idag har vi möjlighet att göra exakt samma men på bara 4 dagar och ännu mindre i slutet av 2020!"

Geoffrey Vancassel