Neue Funktionen für ChatGPT: Bilderkennung, Sprach-Ausgabe und Dall-E 3 Support

Das KI StartUp OpenAI hat neue Funktionen für den Ki-Chatbot ChatGPT vorgestellt, die es dem Sprach-Modell jetzt ermöglichen, nicht nur eingegebene Texte zu verstehen, sondern auch Bilder zu erkennen und per Sprache zu interagieren. Bei den Bildern kann man auch wichtige Punkte markieren, um eine Analyse mit ChatGPT durchführen zu lassen.

Neue Bild- und Sprachfunktionen

Mit diesen neuen Bild- und Sprachfunktionen können Benutzer ein Bild mit der ChatGPT App aufnehmen und Fragen dazu stellen. In einem von OpenAI vorgestellten Beispiel zeigt ChatGPT, wie es eine bestimmte Schraube auf einem Foto erkennt und das passende Werkzeug dazu vorschlägt. Auf einem weiteren Foto mit einem Schrauben-Set identifiziert ChatGPT die gesuchte Schraube und beschreibt deren genaue Position im Set. Diese Funktionen bieten eine intuitivere Schnittstelle für die Benutzer. Darüber hinaus kann ChatGPT mit einem Foto von einem Kühlschrank Vorschläge zum Abendessen machen und passende Rezepte anbieten.

Verfügbarkeit und Plattformen

Die neuen Funktionen werden in den nächsten zwei Wochen für Plus- und Enterprise-Benutzer ausgerollt. Die Sprachfunktion, die sowohl das Erkennen von Spracheingaben als auch das Vorlesen von Antworten ermöglicht, wird sowohl für iOS als auch für Android verfügbar sein. Die Bilderkennungsfunktion wird auf allen Plattformen unterstützt.

Dall-E kommt zu ChatGPT

OpenAI hat außerdem Dall-E 3 vorgestellt, die nächste Version seines beeindruckenden Text-zu-Bild KI-Tools. Ähnlich wie andere AI-Bild-Tools, wie MidJourney oder Stable Diffusion, kann Dall-E realistische Bilder und Fotos basierend auf Text-Prompts erstellen. Ab Oktober soll Dall-E 3 in ChatGPT integriert werden, sodass Nutzer ihre Bilder direkt in der ChatGPT-Umgebung erstellen und anpassen können.

Wenn Benutzer eine Bildidee im Kopf haben, kann ChatGPT detaillierte Aufforderungen für Dall-E 3 generieren, um diese als Zeichnung, Pixel Art oder Foto darzustellen. Wenn ein generiertes Bild noch weitere, kleine Anpassungen benötigt, können Benutzer ChatGPT bitten, mit nur wenigen Worten Änderungen vorzunehmen.

Dall-E 3 wird im nächsten Monat für ChatGPT Plus- und Enterprise-Kunden verfügbar sein. Für alle anderen Nutzer wird das Vorgängermodell Dall-E 2 kostenlos zur Verfügung stehen, wobei zu beachten ist, dass bei der Nutzung von Dall-E 2 ChatGPT nicht in der Lage sein wird, bei den Prompts zu assistieren.