Einführung in Azure AI Services, Teil 2 Bildklassifizierung über das Azure KI Vision SDK mit C#

Von Dipl. -Ing. Thomas Drilling 4 min Lesedauer

Anbieter zum Thema

Azure AI Vision ist eine künstliche Intelligenz, die es Softwaresystemen ermöglicht, visuelle Eingaben durch die Analyse von Bildern zu interpretieren. In diesem kleinen Tutorial wollen wir den Service zur Analyse genauer betrachten.

Das Ergebnis unserer programmatischen Analyse.
Das Ergebnis unserer programmatischen Analyse.
(Bild: Microsoft)

In Microsoft Azure stellt der „Azure AI Vision“-Dienst vorgefertigte Modelle für gängige visuelle Aufgaben bereit, einschließlich der Analyse von Bildern zum Vorschlagen von Bildunterschriften und Tags sowie der Erkennung gängiger Objekte und Personen. Der Dienst lässt sich unter anderem auch dafür verwenden, den Hintergrund von Bildern zu entfernen oder ein Thumbnail aus dem für das Bild relevanten Inhalt zu generieren.

Für dieses Beispiel nutzen wir Visual Studio Code, über das sich Microsofts GitHub-Learn-Repository für AI-Vision bequem klonen lässt. Als Ziel dient ein beliebiger Ordner auf dem Rechner. Anschließend ist es möglich, das geklonte Repository lokal zu öffnen.

Das Klonen des zugehörigen GitHub-Repository
Das Klonen des zugehörigen GitHub-Repository
(Bild: Drilling / Microsoft)

In folgendem Beispiel stellen wir eine bereits teilweise implementierte Client-Anwendung aus dem genannten Repository fertig, welche das Azure AI Vision SDK zum Analysieren von Bildern verwendet. Das SDK kann wahlweise in C# oder Python verwendet werden, wir verwenden C#.

Das Installieren der benötigen SDKs.
Das Installieren der benötigen SDKs.
(Bild: Drilling / Microsoft)

Zunächst navigieren wir in Visual Studio Code im Explorer-Bereich zum Ordner „Labfiles/01-analyze-images“ und erweitern den Ordner „C-Sharp“. Es folgt ein Rechtklick auf den Ordner „image-analysis“, um diesen mit „in Integriertem Terminal öffnen“ im VS-Code-Terminal zu öffnen. Nun installieren wir das Azure AI Vision SDK-Paket für C# mit …

dotnet add package Azure.AI.Vision.ImageAnalysis -v 0.15.1-beta.1

Das Anbinden der zugehörigen Endpunkte und Schlüssel in der appsettings-Datei.
Das Anbinden der zugehörigen Endpunkte und Schlüssel in der appsettings-Datei.
(Bild: Drilling / Microsoft)

Der Ordner enthält für C# eine JSON-Konfigurationsdatei „appsettings.json“. Wir aktualisieren die darin enthaltenen Konfigurationswerte mit den Angaben zu „Endpunkt“ und einen „Authentifizierungsschlüssel“ der verwendeten „Azure AI Services“-Ressource und speichern die Anpassungen.

Das Importieren der erforderlichen Namespaces.
Das Importieren der erforderlichen Namespaces.
(Bild: Drilling / Microsoft)

Der Ordner enthält auch eine Code-Datei „Program.cs“ mit einer Client-Demo-Anwendung. Wir öffnen die Code-Datei und suchen oben unter den vorhandenen Namespace-Referenzen den Kommentar „// Import namespaces“. Hier gilt es, folgende Codezeilen hinzuzufügen, um die für die Verwendung von Azure AI Vision SD benötigten Namespaces zu importieren. Anschließend speichern wir die Datei.

using Azure.AI.Vision.Common;
using Azure.AI.Vision.ImageAnalysis;

Das zu analysierende Bild in VS Code.
Das zu analysierende Bild in VS Code.
(Bild: Microsoft)

In diesem Beispiel nutzen wir den Dienst „Azure AI Vision“ zum Analysieren von Bildern. Wir erweitern in Visual Studio Code den Ordner „image-analysis“ und den darin enthaltenen Ordner „images“, der drei Bilder enthält. Wichtig ist zu prüfen, ob die Bilder korrekt in VS Code angezeigt werden.

Jetzt ist es möglich, das SDK zu verwenden, um den Vision-Dienst aufzurufen und ein Bild zu analysieren. In der Code-Datei für die Client-Anwendung (Program.cs) muss sichergestellt sein, dass über die Main-Funktion der Code zum Laden der Konfigurationseinstellungen bereitgestellt wurde. Unter dem Kommentar …

// Authenticate Azure AI Vision client

… fügen wir das folgende Code-Segment hinzu:

var cvClient = new VisionServiceOptions(
   aiSvcEndpoint,
   new AzureKeyCredential(aiSvcKey));

Das Authentifizieren des Azure AI Vision Clients.
Das Authentifizieren des Azure AI Vision Clients.
(Bild: Drilling / Microsoft)

Hier gilt es zu beachten, dass der Code in der Main-Funktion unterhalb des soeben hinzugefügten Codes den Pfad zu einer Bilddatei angibt – und diesen dann an zwei weitere Funktionen („AnalyzeImage“) und („BackgroundForeground“) übergibt, die zum gegenwärtigen Zeitpunkt noch nicht vollständig implementiert sind.

Innerhalb des vorbereiteten Rumpfs der Funktion „AnalyzeImage“ fügen wir unter dem Kommentar „// Specify features to be retrieved“ folgenden Code hinzu:

Features =
   ImageAnalysisFeature.Caption
   | ImageAnalysisFeature.DenseCaptions
   | ImageAnalysisFeature.Objects
   | ImageAnalysisFeature.People
   | ImageAnalysisFeature.Text
   | ImageAnalysisFeature.Tags

Das Angeben der bei der Analyse zu nutzenden Features.
Das Angeben der bei der Analyse zu nutzenden Features.
(Bild: Drilling / Microsoft)

Außerdem erweitern wir innerhalb des vorbereiteten Rumpfs die Funktion „AnalyzeImage“ unter dem Kommentar „//Get images analysis“ um folgenden Code:

// Get image analysis
using var imageSource = VisionSource.FromFile(imageFile);
using var analyzer = new ImageAnalyzer(serviceOptions, imageSource, analysisOptions);
var result = analyzer.Analyze();if (result.Reason == ImageAnalysisResultReason.Analyzed) {
   // get image captions
   if (result.Caption != null) {
      Console.WriteLine(" Caption:");
      Console.WriteLine($" \"{result.Caption.Content}\", Confidence {result.Caption.Confidence:0.0000}");
   }
   //get image dense captions
   if (result.DenseCaptions != null) {
      Console.WriteLine(" Dense Captions:");
      foreach (var caption in result.DenseCaptions) {
      Console.WriteLine($" \"{caption.Content}\", Confidence
         {caption.Confidence:0.0000}");
      }
      Console.WriteLine($"\n");
   }
   // Get image tags
   // Get objects in the image
   // Get people in the image
}
else {
   var errorDetails = ImageAnalysisErrorDetails.FromResult(result);
   Console.WriteLine(" Analysis failed.");
   Console.WriteLine($" Error reason : {errorDetails.Reason}");
   Console.WriteLine($" Error code : {errorDetails.ErrorCode}");
   Console.WriteLine($" Error message: {errorDetails.Message}\n");

Das Ergebnis unserer programmatischen Analyse.
Das Ergebnis unserer programmatischen Analyse.
(Bild: Microsoft)

Nach dem Speichern der Änderungen kehren wir zum integrierten Terminal für den Bildanalyse-Ordner zurück und geben den folgenden Befehl ein, um das Programm z. B. mit dem Argument „images/street.jpg“ aus diesem Ordner auszuführen:

dotnet run images/street.jpg

Voraussetzung ist, dass die erforderliche .NET-7-Runtime installiert ist. Das Ergebnis sollte etwa so aussehen, wie im vorherigen Bild. Alle Code-Fragmente stammen wie oben erwähnt aus Microsofts frei zugänglichem Learn-Repository für AI-Vision.

Dieses kleine Beispiel dient in erster Linie als Anregung für weitere Experimente. Auf der verlinkten Seite finden sich auch noch weitere Code-Beispiele, z. B., um bestimmte Einzel-Objekte innerhalb eines Bildes zu lokalisieren und zu identifizieren oder Personen in einem Bild zu erkennen.

Wir werden in nächsten Teil dieser kleinen Serie demonstrieren, wie Programmierer und Programmiererinnen die KI-Funktionen nutzen können, um den Vordergrund eines Bildes automatisiert freizustellen.

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Softwareentwicklung und DevOps

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung.

Aufklappen für Details zu Ihrer Einwilligung

(ID:49923832)