Validation of the MUSE AI automatic species recognition

Wozep draagt bij aan de kennisontwikkeling van de ecologische effecten van windenergie op zee, waaronder het aanvaringsrisico voor kust- en zeevogels. Voor de verbetering van aanvaringsberekeningen van vogels met windparken op zee zijn veldgegevens nodig zoals uitwijkpercentages en geregistreerde aanvaringen. Veldwerk op zee is lastig uitvoerbaar en tijdrovend. Daarom zouden innovatieve methoden, zoals analyse van gegevens door middel van AI-modellen, hulp kunnen bieden. Uit een onderzoek dat Wozep in de zomer van 2025 heeft laten uitvoeren naar automatische beeldherkenning van kust- en zeevogelsoorten in een windpark op zee blijkt dat zo’n model voor automatische beeldherkenning eerst nog beter getraind moet worden om betrouwbare analyses te kunnen doen.

Aanleiding onderzoek

Uit eerdere assessments binnen het Kader Ecologie en Cumulatie (KEC) en MERs is gebleken dat met name enkele soorten zeevogels gevoelig lijken te zijn voor deze aanvaringen. Het daadwerkelijk registreren en verzamelen van deze aanvaringsmomenten is essentieel om de modelvoorspellingen uit het KEC te toetsen en kennis hierover te vergroten. Daarnaast is het ook belangrijk om, ter verbetering van de modellen, veldgegevens te verzamelen over het voorkomen van kust- en zeevogels nabij windturbines en te analyseren in hoeverre deze in staat zijn om uit te wijken (avoidance-rates).
In lopend onderzoek van Wozep naar het registreren van deze aanvaringen en avoidance-rates met camera’s heeft het Danish Hydraulic Institute (DHI) als opdrachtnemer een AI-model getraind in automatische soortherkenning, waardoor handmatige classificatie van de beelden mogelijk niet langer noodzakelijk is. Echter is het belangrijk dat deze automatische soortherkenning wordt gevalideerd ten behoeve van de betrouwbaarheid van de uitkomsten. Wozep heeft daarom aan Waardenburg Ecology gevraagd een validatie uit te voeren op de door DHI verzamelde en automatisch geclassificeerde beelden.

Uitkomsten

De validatie heeft allereerst aangetoond dat het nieuwere type camera de kwaliteit van de beelden heeft verbeterd. Ook is gebleken dat het AI-model op dit moment slechts 34% van de beelden tot de juiste soort classificeert, waarbij zilvermeeuw (77%) en aalscholver (55%) het vaakst juist op naam werden gebracht. De meest waargenomen soorten op de beelden (dwergmeeuw, drieteenmeeuw en grote mantelmeeuw) werden echter slechts in 30% van alle gevallen juist geclassificeerd. Conclusie van de validatie is daarom dat op dit moment het AI-model nog onvoldoende presteert om de verzamelde beelden betrouwbaar te analyseren. Er zijn belangrijke verbeterstappen in het model noodzakelijk alvorens voor analyse zal worden gekozen met deze automatische soortdetectie.

Gebruik

Allereerst zullen de uitkomsten van dit project gebruikt worden om het AI-model verder te trainen. De uitkomsten van de validatie worden verder gebruikt om DHI te adviseren in het doorontwikkelen van de automatische herkenningssoftware. Specifieke verbeterpunten die worden aangedragen zijn: focussen op kust- en zeevogels, specifiek trainen met soorten die het model nu nog slecht herkent maar die wel veelvuldig worden waargenomen (zoals dwergmeeuw) en het automatisch markeren van beelden met slechte kwaliteit of zeer grote afstand (en deze dan niet door het AI-model te laten classificeren tot soort). Concluderend kan gesteld worden dat de automatische beeldherkenning op dit moment onvoldoende geschikt is voor betrouwbare analyse. Er moet eerst een verbeterslag op het model plaats vinden binnen de gebruikte AI-modellen. Deze verbeterslag zal plaatsvinden binnen het doorlopende onderzoek naar aanvaringen en avoidance-rates uitgevoerd door DHI. Er zal op basis van de resultaten van deze verbetering uiteindelijk worden besloten of het AI-model voldoende geschikt is voor een automatische soortherkenning op de verzamelde data of dat dit alsnog handmatig dient plaats te vinden.
Rapport: Validation automatic species recognition Luchterduinen (pdf, 1.8 MB)