Einführung in Azure AI Services, Teil 2 Bildklassifizierung über das Azure KI Vision SDK mit C#
Anbieter zum Thema
Azure AI Vision ist eine künstliche Intelligenz, die es Softwaresystemen ermöglicht, visuelle Eingaben durch die Analyse von Bildern zu interpretieren. In diesem kleinen Tutorial wollen wir den Service zur Analyse genauer betrachten.
In Microsoft Azure stellt der „Azure AI Vision“-Dienst vorgefertigte Modelle für gängige visuelle Aufgaben bereit, einschließlich der Analyse von Bildern zum Vorschlagen von Bildunterschriften und Tags sowie der Erkennung gängiger Objekte und Personen. Der Dienst lässt sich unter anderem auch dafür verwenden, den Hintergrund von Bildern zu entfernen oder ein Thumbnail aus dem für das Bild relevanten Inhalt zu generieren.
Für dieses Beispiel nutzen wir Visual Studio Code, über das sich Microsofts GitHub-Learn-Repository für AI-Vision bequem klonen lässt. Als Ziel dient ein beliebiger Ordner auf dem Rechner. Anschließend ist es möglich, das geklonte Repository lokal zu öffnen.
In folgendem Beispiel stellen wir eine bereits teilweise implementierte Client-Anwendung aus dem genannten Repository fertig, welche das Azure AI Vision SDK zum Analysieren von Bildern verwendet. Das SDK kann wahlweise in C# oder Python verwendet werden, wir verwenden C#.
Zunächst navigieren wir in Visual Studio Code im Explorer-Bereich zum Ordner „Labfiles/01-analyze-images“ und erweitern den Ordner „C-Sharp“. Es folgt ein Rechtklick auf den Ordner „image-analysis“, um diesen mit „in Integriertem Terminal öffnen“ im VS-Code-Terminal zu öffnen. Nun installieren wir das Azure AI Vision SDK-Paket für C# mit …
dotnet add package Azure.AI.Vision.ImageAnalysis -v 0.15.1-beta.1
Der Ordner enthält für C# eine JSON-Konfigurationsdatei „appsettings.json“. Wir aktualisieren die darin enthaltenen Konfigurationswerte mit den Angaben zu „Endpunkt“ und einen „Authentifizierungsschlüssel“ der verwendeten „Azure AI Services“-Ressource und speichern die Anpassungen.
Der Ordner enthält auch eine Code-Datei „Program.cs“ mit einer Client-Demo-Anwendung. Wir öffnen die Code-Datei und suchen oben unter den vorhandenen Namespace-Referenzen den Kommentar „// Import namespaces“. Hier gilt es, folgende Codezeilen hinzuzufügen, um die für die Verwendung von Azure AI Vision SD benötigten Namespaces zu importieren. Anschließend speichern wir die Datei.
using Azure.AI.Vision.Common;
using Azure.AI.Vision.ImageAnalysis;
In diesem Beispiel nutzen wir den Dienst „Azure AI Vision“ zum Analysieren von Bildern. Wir erweitern in Visual Studio Code den Ordner „image-analysis“ und den darin enthaltenen Ordner „images“, der drei Bilder enthält. Wichtig ist zu prüfen, ob die Bilder korrekt in VS Code angezeigt werden.
Jetzt ist es möglich, das SDK zu verwenden, um den Vision-Dienst aufzurufen und ein Bild zu analysieren. In der Code-Datei für die Client-Anwendung (Program.cs) muss sichergestellt sein, dass über die Main-Funktion der Code zum Laden der Konfigurationseinstellungen bereitgestellt wurde. Unter dem Kommentar …
// Authenticate Azure AI Vision client
… fügen wir das folgende Code-Segment hinzu:
var cvClient = new VisionServiceOptions(
aiSvcEndpoint,
new AzureKeyCredential(aiSvcKey));
Hier gilt es zu beachten, dass der Code in der Main-Funktion unterhalb des soeben hinzugefügten Codes den Pfad zu einer Bilddatei angibt – und diesen dann an zwei weitere Funktionen („AnalyzeImage“) und („BackgroundForeground“) übergibt, die zum gegenwärtigen Zeitpunkt noch nicht vollständig implementiert sind.
Innerhalb des vorbereiteten Rumpfs der Funktion „AnalyzeImage“ fügen wir unter dem Kommentar „// Specify features to be retrieved“ folgenden Code hinzu:
Features =
ImageAnalysisFeature.Caption
| ImageAnalysisFeature.DenseCaptions
| ImageAnalysisFeature.Objects
| ImageAnalysisFeature.People
| ImageAnalysisFeature.Text
| ImageAnalysisFeature.Tags
Außerdem erweitern wir innerhalb des vorbereiteten Rumpfs die Funktion „AnalyzeImage“ unter dem Kommentar „//Get images analysis“ um folgenden Code:
// Get image analysis
using var imageSource = VisionSource.FromFile(imageFile);
using var analyzer = new ImageAnalyzer(serviceOptions, imageSource, analysisOptions);
var result = analyzer.Analyze();
if (result.Reason == ImageAnalysisResultReason.Analyzed) {
// get image captions
if (result.Caption != null) {
Console.WriteLine(" Caption:");
Console.WriteLine($" \"{result.Caption.Content}\", Confidence {result.Caption.Confidence:0.0000}");
}
//get image dense captions
if (result.DenseCaptions != null) {
Console.WriteLine(" Dense Captions:");
foreach (var caption in result.DenseCaptions) {
Console.WriteLine($" \"{caption.Content}\", Confidence
{caption.Confidence:0.0000}");
}
Console.WriteLine($"\n");
}
// Get image tags
// Get objects in the image
// Get people in the image
}
else {
var errorDetails = ImageAnalysisErrorDetails.FromResult(result);
Console.WriteLine(" Analysis failed.");
Console.WriteLine($" Error reason : {errorDetails.Reason}");
Console.WriteLine($" Error code : {errorDetails.ErrorCode}");
Console.WriteLine($" Error message: {errorDetails.Message}\n");
Nach dem Speichern der Änderungen kehren wir zum integrierten Terminal für den Bildanalyse-Ordner zurück und geben den folgenden Befehl ein, um das Programm z. B. mit dem Argument „images/street.jpg“ aus diesem Ordner auszuführen:
dotnet run images/street.jpg
Voraussetzung ist, dass die erforderliche .NET-7-Runtime installiert ist. Das Ergebnis sollte etwa so aussehen, wie im vorherigen Bild. Alle Code-Fragmente stammen wie oben erwähnt aus Microsofts frei zugänglichem Learn-Repository für AI-Vision.
Dieses kleine Beispiel dient in erster Linie als Anregung für weitere Experimente. Auf der verlinkten Seite finden sich auch noch weitere Code-Beispiele, z. B., um bestimmte Einzel-Objekte innerhalb eines Bildes zu lokalisieren und zu identifizieren oder Personen in einem Bild zu erkennen.
Wir werden in nächsten Teil dieser kleinen Serie demonstrieren, wie Programmierer und Programmiererinnen die KI-Funktionen nutzen können, um den Vordergrund eines Bildes automatisiert freizustellen.
(ID:49923832)