Wie Apple Siri neu erfindet

Die Nachricht kam nicht überraschend und war auch längst überfällig. Seit vielen Jahren ärgern wir uns über die mehr als begriffsstutzige Siri und die Autokorrektur von iOS, die immer dieselben unpassenden Wörter vorschlägt. Knapp anderthalb Jahre, nachdem OpenAI mit ChatGPT die Welt durcheinandergewirbelt und einen neuen Standard für KIKI gesetzt hat, war es dann zunächst auch erst mal nur ein müdes Lächeln wert, als Tim Cook in der WWDC-Keynote erklärte, dass auch Apple nun Large Language Models (LLMs) in seine Produkte integriert. Alles zu Künstliche Intelligenz auf CIO.de

Apple Intelligence soll Einzug in alle Apple-Produkte halten und (diesmal wirklich) ein persönlicher Assistent werden. Dabei stehen laut Tim Cook die Prinzipien im Vordergrund, auf denen Apple-Produkte basieren. AI soll leistungsstark genug sein, um sinnvoll zu funktionieren, es muss intuitiv benutzbar sein, es soll tief in die Apple-Produkte integriert sein, es muss den Kontext des Users kennen und, das hat Apple besonders herausgestellt: AI soll das führende KI-System im Bereich Datenschutz werden. All diese Merkmale sollen AI über die Möglichkeiten der aktuellen KI hinaus zu einer sog. "persönlichen Intelligenz" werden lassen.

AppleApple stellt sich damit nahezu frontal gegen die bisherigen Player im KI-Markt, denn im Gegensatz zu Unternehmen wie Alphabet, Microsoft oder Meta, die große Mengen personenbezogener Daten sammeln und speichern, betont Apple, dass alle in Apple Intelligence verarbeiteten Daten nur für die jeweilige Aufgabe verwendet würden. Eine Speicherung zu Trainingszwecken, zur Fehlersuche oder zur Qualitätskontrolle finde nicht statt. Zudem seien alle Daten vollständig verschlüsselt, weitestgehend anonymisiert, nur temporär verfügbar (nach der Verarbeitung gelöscht) und im Ergebnis "validiert". Alles zu Apple auf CIO.de

Apple Intelligence wird geboren

Apple Intelligence besteht aus mehreren leistungsstarken generativen Modellen, die auf die täglichen Aufgaben der Benutzer ausgerichtet sind. Die in Apple Intelligence integrierten Basismodelle helfen beim Verfassen und Verfeinern von Texten, beim Priorisieren und Gruppieren von Benachrichtigungen, beim Erstellen von Bildern für Unterhaltungen mit Familie und Freunden oder für Präsentationen und beim Ausführen von In-App-Aktionen, um die Interaktion über (mehrere) Apps hinweg zu vereinfachen.

Eine wichtige Neuerung ist die Integration von Funktionen, die das Umschreiben oder Verfassen von Texten und das Erstellen oder Bearbeiten von Bildern in verschiedenen Stilen unterstützen. Das Ganze wird systemweit geboten. Wenn Entwickler in ihren Apps beispielsweise die Standard-UI-Frameworks verwenden, um Textfelder zu rendern, erhält deren App automatisch die Schreibwerkzeuge.

Und mit der in iOS 18 angekündigten TextView-Delegate-API können Entwickler festlegen, wie sich deren App verhält, während die Schreibwerkzeuge aktiv sind. So lässt sich unter anderem das Synchronisieren mit der Cloud pausieren, um Konflikte zu vermeiden, während Apple Intelligence den Text verarbeitet. Auf diese Weise kann etwa eine App wie Ulysses helfen, die richtigen Worte für einen Fachartikel zu finden.

Apple Intelligence bietet außerdem neue systemweite Funktionen für das Erstellen von Bildern in allen durch den Benutzer verwendeten Apps. Die neue Image Playground_API liefert ein konsistentes, spielerisches und benutzerfreundliches Erlebnis. Da das Generieren der Bilder auf dem Gerät des Benutzers erfolgt, haben Benutzer die Möglichkeit, so viele Bilder zu experimentieren und zu erstellen, wie sie möchten. Sie müssen sich dabei keine Gedanken darüber machen, eigene Text-zu-Bild-Modelle oder Server einzurichten oder zu bezahlen.

Die Fotos-App hat Apple ebenfalls durch Apple Intelligence aufgewertet. Benutzer können jetzt mit natürlicher Sprache nach spezifischen Fotos suchen, wie "Carina beim Reiten". Die Suchfunktion erstreckt sich auch auf Videos, wobei sich selbst spezifische Momente in Clips schnell finden lassen. Zudem bietet die neue "Clean Up"-Funktion die Möglichkeit, störende Objekte im Hintergrund von Fotos zu entfernen, ohne das Hauptmotiv zu verändern. Die "Memories"-Funktion erlaubt es Benutzern, durch einfache Beschreibungen Geschichten zu erstellen, die Apple Intelligence dann in Form von Videos mit passenden Musikvorschlägen von Apple Music aufbereitet.

Siri 2.0

Ein zentrales Merkmal von Apple Intelligence ist die verbesserte Funktionalität von Siri. Die Sprachassistenz ist nun in der Lage, kontextbezogene Anfragen besser zu verstehen und auf natürlichere Art und Weise zu interagieren. Siri kann jetzt nicht nur gesprochene, sondern auch geschriebene Anfragen verarbeiten und nahtlos zwischen Text- und Sprachmodi wechseln.

Zudem bietet Siri umfangreiche Unterstützung für die Interaktion den Inhalten auf dem Bildschirm, mit Apps, sowohl von Apple als auch von Drittanbietern. So kann Siri unter anderem Befehle wie "Füge diese Adresse zu den Kontaktdaten hinzu" ausführen, wenn eine Nachricht auf dem Bildschirm mit einer neuen Adresse angezeigt wird.

Mit iOS 16 wurde das App Intents Framework eingeführt, das eine breitere Integration von Apps mit Siri, Shortcuts, Spotlight und anderen systemweiten Funktionen ermöglichte. Entwickler waren damit in der Lage, die Funktionalität ihrer Apps über deren Grenzen hinaus bereitzustellen und über systemweite Funktionen wie Spotlight, die Aktionstaste, Squeeze, Widgets, Steuerelemente und Siridirekt zugänglich zu machen.

Ferner erscheinen App Intents als Aktionen in der Shortcuts App, wo Anwender sie erkunden, kombinieren und zu benutzerdefinierten Shortcuts hinzufügen können. So sind Anwender in der Lage, direkt aus der App heraus Aktionen auszuführen, ohne die App selbst öffnen zu müssen. Informationen - etwa über einen Lieblingswanderweg - können in einem Widget auf dem Homescreen angezeigt oder in der Spotlight-Suche gefunden werden.

Smarte Alternative für die Shortcuts App

Mit der Einführung von App Intent Domains in iOS 18 (Beta) erweitert Apple nun diese Möglichkeiten. Diese Domains enthalten spezialisierte APIs für bestimmte Funktionen wie den Zugriff auf Bücher, die Kamera, Tabellenkalkulationen und Ähnliches und bieten jeweils über 100 verschiedene Interaktionen. Der Entwurf von App Intents erfordert vom App-Entwickler ein Verständnis dafür, welche Funktionen einer App außerhalb der App für die Anwender der App nützlich sein könnten.

In der Vergangenheit sollten App Intents nur die häufigsten Aufgaben der App repräsentieren. In iOS 18 wird dies auf eine neue Basis gestellt, da nun jede Funktion einer App als App Intent verfügbar sein sollte. Entwickler werden ermutigt, flexible Intents zu erstellen, die verschiedene Konfigurationen und Anwendungsfälle unterstützen. Hier nähert sich iOS dem Prinzip von Android an.

Das neue IndexedEntity-Protokoll bietet eine einfache Möglichkeit, App Entities in CSSearchableIndex zu indizieren. Dadurch können Entitäten in Spotlight-Suchergebnissen angezeigt werden und Siri kann sie besser finden und verstehen. Entwickler können die Priorität der indexierten Entitäten festlegen, sodass wichtigere Inhalte bevorzugt angezeigt werden.

Endlich ein echter Assistent

Auf der WWDC zeigte Apple, wie diese Funktionen in künftigen Versionen von iOS funktionieren werden: Anstatt die Nachrichten-App nach einem bestimmten Podcast zu durchsuchen, kann man Siri einfach bitten, ihn zu finden und abzuspielen. Ein weiteres Beispiel: Eine E-Mail verschiebt ein Arbeitstreffen, während die Tochter am Abend in einem Theaterstück auftritt. Das iPhone kann jetzt sogar die PDF-Datei mit Details zur Aufführung finden, das abendliche Verkehrsaufkommen vorhersagen und mitteilen, ob der Anwender es rechtzeitig schafft.

Mithilfe eines kleinen KI-Modell (3 Milliarden Parameter) wird Siri in künftigen iOS-Versionen zudem in der Lage sein, Benutzerbefehle zu verstehen, den aktuellen Bildschirm zu erkennen und Aktionen für Apps auszuführen. Das Modell wird einfache Aufgaben wie das Zusammenfassen von Informationen übernehmen und die "App-Intent"-Funktionen von Siri unterstützen.

Dies erlaubt es, über eine oder mehrere Apps hinweg die Daten so aufzubereiten, dass der Anwender das gewünschte Ergebnis erhält (z. B. "Siri, ruf ein Uber für meinen Termin beim Zahnarzt an"). Weitere Funktionen sollen es ermöglichen, auf diese Weise viele kleine Aufgaben vollständig "freihändig" zu erledigen (z. B. ein Uber anrufen, ohne die Uber-App zu öffnen) - und Siri wird endlich sein ursprüngliches Versprechen einhalten, ein "Assistent" zu sein.

Nur bedingt abwärtskompatibel

Mit einer kleinen Einschränkung: Beim Mac werden alle Geräte ab M1 unterstützt, beim iPhone zunächst nur das iPhone 15 Pro und 15 Pro Max. Diese Ankündigung hat viele Anwender, aber auch Firmen vor den Kopf gestoßen, denn ein 1 Jahr altes iPhone 15 ist damit von Apple Intelligence ausgeschlossen (zumindest zum Zeitpunkt des Artikels).

Wer hier nur einen Blick auf die verbauten CPUs wirft, wird sich noch mehr wundern, denn die Neural Engine (zuständig für KI) ist in den alten iPhone-Prozessoren sogar stärker als im M1. Die iPhone 15 Pro-Modelle verwenden allerdings den A17 Pro-Chip, der über eine 16-Core Neural Engine verfügt, die bis zu 2x schneller ist als der A16-Chip im iPhone 15 und iPhone 15 Plus und samt fast 35 Billionen Operationen pro Sekunde ausführen kann.

Ebenso scheint die damalige Knappheit des Geräte-RAMs eine Rolle zu spielen. So heißt es hinter vorgehaltener Hand, dass die AI-Modelle mindestens 2 GB RAM benötigen und erst das iPhone 15 Pro mit 8 GB RAM ausgeliefert wurde (vorher war es 6GB oder weniger). Analysten erwarten hier im Übrigen einen sogenannten "Supercycle" bei den iPhone-Verkäufen, da viele Kunden auf die neuen Modelle upgraden werden, um die neuen KI-Funktionen nutzen zu können.

Die Autoren können sich aber auch einen anderen Grund vorstellen. Apple muss die Server-Infrastruktur aufbauen und die Modelle für jede unterstützte Landessprache trainieren. Würde Apple "zu vielen" Kunden die Türen öffnen, könnte dies negative Auswirkungen auf die Performance haben.

Da alle Rechenzentren ebenfalls erneuerbare Energien nutzen sollen, stellt auch dies eine Anforderung an einen geregelten Aufbau der Kapazitäten dar. Die Autoren gehen daher davon aus, dass Apple diese Entscheidung bis zum Release noch einmal überdenken wird, da auch Investitionen von Unternehmen in das Apple-Ökosystem infrage gestellt werden könnten. So sind die heutigen Geräte zwar alle mit iOS 18 kompatibel, aber nicht mit AI. (mb)