Low code Artificiële intelligentie (AI) toepassingen met AI builder en Microsoft power apps in microsoft 365.

Overzicht

Deze demonstrator leidt de KMO door de verschillende stappen om Artificiële intelligentie te integreren in Computer en mobiele GSM apps door middel van low-code. De focus ligt op Microsoft 365 aangezien dit een toegankelijke software is voor KMO’s. Dit biedt een lagere drempel om AI te integreren in de bedrijfsvoering dan te vertrouwen op AI experten en app-bouwers.

AI mogelijkheden

De AI builder is beschikbaar via https://make.powerapps.com/. In het linkermenu staat de optie AI Builder en onder Verkennen kunnen de verschillende AI mogelijkheden terug gevonden worden. In deze demonstrator gaan we dieper in op de computer visie tak van Artificiële intelligentie.

Collectie van foto’s labelling en trainen modellen.

De eerste stap om Computer visie toe te passen is het verzamelen van beelden waar het object op staat. Hoe meer gevarieerd deze beelden zijn, hoe groter de kans dat in praktijkomstandigheden het model de objecten kan detecteren. Tijdens de demonstrator kunnen foto’s genomen worden met de camera van de GSM om met de webcam van de laptop. In de AI builder zijn minimum 15 beelden noodzakelijk.

Om van start te gaan met de AI builder wordt objectdetectie geselecteerd. In objectdetectie worden de objecten gedetecteerd in elke foto met een rechthoek. Algemene objecten gaf het beste resultaat voor het model. Daarna worden de objectnamen toegevoegd. In deze demonstrator kan de objectnaam “doos” toegevoegd worden om dozen te herkennen. Tijdens de volgende stap worden alle foto’s opgeladen, minimum 15 foto’s moeten opgeladen worden. In de voorlaatste stap moet rond elk object in elke foto een rechthoek getrokken worden. Om uiteindelijk tijdens de laatste stap het model te trainen.

Na het trainen van het model geeft de AI builder een indicatie van de kwaliteit van het getrainde model

Toepassen van het getrainde modellen

In vorige stap werd een model getraind om objecten te detecteren in foto’s. Om dit model efficiënt te gebruiken is een gebruiksvriendelijke applicatie noodzakelijk. Microsoft 365 power apps laat toe om deze apps te bouwen. Er zijn verschillende tutorials beschikbaar om dit toe te passen. Kort: In het menu optie Maken kan een Lege canvas-app geselecteerd worden met daarna de keuze of de app ingedeeld moet worden voor Tablet of Telefoon. In de lege canvas app kan een tegel toegevoegd worden “ObjectDetector” waar het getrainde model geselecteerd kan worden. De tegel die in de app geplakt wordt lat toe om foto’s te nemen met je tablet/GSM, of vooraf genomen foto’s in te laden en te analyseren. Om de resultaten van de analyse te tonen kan een Gallery => Vertical toegevoegd worden. En door de functie aan te passen naar ObjectDetector.VisionObjects worden de resultaten van de analyse getoond.

Gebruik

De Power app werkt het beste met internet toegang zodat direct de resultaten getoond worden. Wanneer er geen internet toegang is, kunnen de foto’s lokaal opgeslagen worden en nadien geanalyseerd wanneer er opnieuw internet toegang is.

Bijkomende Info

Working with PowerApps AI Builder

PowerApps AI Object Detector

https://www.youtube.com/watch?v=UFkKD5Huops&t=8s

Uitvoering van de demonstrator:

Nemen van foto’s
Labellen van objecten in foto’s in
Trainen AI model
Bouwen van GSM/Tablet applicatie
Toepassen van de AI-applicatie