Apples VisionOS macht einen mutigen Sprung in der Computerschnittstelle

Apr 26, 2023

Steven Levy

Wie alle anderen, die Apples neues Vision Pro diese Woche nach seiner Vorstellung auf der Worldwide Developers Conference in Cupertino, Kalifornien, testen durften, konnte ich es kaum erwarten, es zu erleben. Aber als ein Apple-Techniker in der Ad-hoc-Testeinrichtung ein optisches Gerät benutzte, um meine Brillengläser zu überprüfen, wusste ich, dass es ein Problem geben könnte. Die Gläser meiner Brille haben Prismen, um eine Erkrankung zu bekämpfen, die mir sonst Doppeltsehen beschert. Apple hat einen Satz vorgeschliffener Zeiss-Linsen, die für die meisten von uns Brillenträgern geeignet sind, aber keines konnte mein Problem lösen. (Da die Markteinführung des Vision Pro noch etwa ein Jahr entfernt ist, hätte ich nicht erwartet, dass sie in dieser Betaversion alle Brillengläser verarbeiten können; selbst nach jahrelangem Betrieb kann Warby Parker meine Linsen immer noch nicht schleifen.) Auf jeden Fall , meine Befürchtungen waren berechtigt: Als ich im Demoraum ankam, funktionierte die Einrichtung für Eye-Tracking – eine wichtige Funktion des Geräts – nicht. Ich konnte nur einen Teil der Demos erleben.

Was ich sah, überzeugte mich davon, dass es sich um das weltweit fortschrittlichste AR/VR-Gerät für Verbraucher handelte, und ich war beeindruckt von der Wiedergabetreue sowohl der virtuellen Objekte und Symbole, die in dem künstlich gerenderten Raum, in dem ich saß, schwebten, als auch der Alternative Realitäten, die im Immersionsmodus vermittelt werden, darunter Sportereignisse, die mich an den Rand gedrängt haben, eine 3D-Achtsamkeitskuppel, die mich in beruhigende Blütenblattformen hüllte, und ein Ausflug auf einen Berggipfel, der mir den Magen umdrehen ließ und der besten VR gleichkam, die ich je erlebt hatte. (Sie können Lauren Goodes Beschreibung der vollständigen Demo lesen.)

Leider konnte ich aufgrund meines Eye-Tracking-Problems den möglicherweise wichtigsten Teil des Vision Pro nicht ausprobieren: Apples neuesten Fortschritt in der Computerschnittstelle. Ohne Maus, Tastatur oder berührungsempfindlichen Bildschirm können Sie mit dem Vision Pro navigieren, indem Sie einfach die auf zwei hochauflösende Mikro-OLED-Displays übertragenen Bilder betrachten und Fingergesten wie Tippen zur Auswahl von Menüelementen, Scrollen usw. ausführen. und künstliche Objekte manipulieren. (Die einzigen anderen Bedienelemente sind ein Knopf, der als digitale Krone bezeichnet wird, und ein Netzschalter.) Apple beschreibt dies als „Spatial Computing“, man könnte es aber auch „Naked Computing“ nennen. Oder vielleicht muss diese Bezeichnung warten, bis die etwa 1 Pfund schwere Taucher-Gesichtsmaske in einer zukünftigen Version durch eine Supercharger-Brille ersetzt wird. Diejenigen, die es getestet haben, sagten, dass sie die Tools fast sofort beherrschen und problemlos Dokumente aufrufen, durch Safari surfen und Fotos aufnehmen können.

VisionOS, wie es genannt wird, ist ein bedeutender Schritt auf einem Weg von einem halben Jahrhundert weg vom ursprünglichen Computergefängnis einer Schnittstelle: der umständlichen und unflexiblen Befehlszeile, in der nichts passierte, bis man mit der Tastatur einen Strom alphanumerischer Zeichen aufrief, und all das Danach passierte ein ebenso einschränkender Tastatur-Workaround. Ab den 1960er Jahren führten Forscher einen Angriff auf diese Befehlszeile durch, beginnend mit Doug Engelbart vom Stanford Research Institute, dessen vernetztes „Augmenting Computing“-System ein externes Gerät namens Maus einführte, um den Cursor zu bewegen und Optionen über Menüoptionen auszuwählen. Später adaptierten Wissenschaftler bei Xerox PARC einige dieser Ideen, um die sogenannte grafische Benutzeroberfläche (GUI) zu schaffen. Der berühmteste Innovator von PARC, Alan Kay, entwarf Pläne für einen idealen Computer, den er Dynabook nannte und der sozusagen der heilige Gral tragbarer, intuitiver Computer war. Nachdem sie sich 1979 bei einem Laborbesuch die Innovationen von PARC angesehen hatten, brachten Apple-Ingenieure die GUI auf den Massenmarkt, zunächst mit dem Lisa-Computer und dann mit dem Macintosh. In jüngerer Zeit lieferte Apple mit der Multi-Touch-Oberfläche des iPhones ein Paradebeispiel. Diese Kneif- und Wischbewegungen waren intuitive Möglichkeiten, auf die digitalen Fähigkeiten der winzigen, aber leistungsstarken Telefone und Uhren zuzugreifen, die wir in unseren Taschen und an unseren Handgelenken trugen.

Die Mission jeder dieser Computerverschiebungen bestand darin, die Barriere für die Interaktion mit der leistungsstarken digitalen Welt zu senken und es weniger umständlich zu machen, die Vorteile der Computer zu nutzen. Dies hatte seinen Preis. Abgesehen davon, dass es von Natur aus intuitiv ist, sind die natürlichen Gesten, die wir verwenden, wenn wir nicht am Computer arbeiten, kostenlos. Aber es ist teuer, den Computer so einfach zu navigieren und so lebendig wie die Natur zu machen. Es erforderte viel mehr Rechenaufwand, als wir von der Befehlszeile zu Bitmap-Anzeigen wechselten, die alphanumerische Zeichen in verschiedenen Schriftarten darstellen konnten, und es uns ermöglichten, Dokumente, die in Dateiordner verschoben wurden, zu ziehen. Je mehr der Computer die physische Welt nachahmte und die Gesten akzeptierte, mit denen wir uns in der tatsächlichen Realität zurechtfanden, desto mehr Arbeit und Innovation waren erforderlich.

Vision Pro bringt das auf die Spitze. Deshalb kostet es zumindest in dieser ersten Version 3.500 US-Dollar. (Es lässt sich argumentieren, dass der Vision Pro eine 2023er-Version von Apples Lisa von 1983 ist, einem über 10.000 US-Dollar teuren Computer, der zuerst Bitmapping und die grafische Benutzeroberfläche auf ein Consumer-Gerät brachte – und dann den Weg für den Macintosh ebnete , was 75 Prozent günstiger und auch viel cooler war.) In dieser Gesichtsmaske hat Apple einen seiner leistungsstärksten Mikroprozessoren untergebracht; ein weiteres Stück maßgeschneidertes Silikon, das speziell für das Gerät entwickelt wurde; ein 4K-Plus-Display für jedes Auge; 12 Kameras, darunter ein Lidar-Scanner; eine Reihe von Sensoren für Kopf- und Blickverfolgung, 3D-Mapping und Vorschau von Handgesten; Audio-Pods mit zwei Treibern; exotische Textilien für das Stirnband; und ein spezielles Siegel, um zu verhindern, dass das Licht der Realität eindringt.

Jeremy White

Kate Knibbs

Jeremy White

WIRED-Mitarbeiter

Ausgestattet mit all dieser Hardware, Software und der Fülle von über 5.000 Patenten nimmt der Vision Pro – und implizit auch seine Nachfolger – an, uns auf dem Weg zum Gipfel des Natural Computing zu begleiten. Aber während der Demo, als ich nicht in lebensechte 3D-Darstellungen von Baseballspielen, einem Aufnahmestudio und einer Gratwanderung zwischen einigen Bergen versunken war, spürte ich, dass dieser Schritt uns in Neuland führt. Frühere Schnittstellensprünge waren alle darauf ausgerichtet, uns dabei zu helfen, in die digitale Welt vorzudringen und deren Leistungsfähigkeit zu nutzen. Wenn Sie einen Ordner auf dem Macintosh ausgewählt haben, haben Sie Ihre Hand in die Suppe des Computers gesteckt. Aber der Vision Pro versetzt uns in die digitale Welt und trennt unsere Sinne vom physischen Bereich. Selbst im Modus, in dem Sie keine Apps verwenden, arbeiten die Kameras und Displays des Vision Pro hart daran, den tatsächlichen Raum darzustellen, in dem Sie sitzen. Es sieht echt aus, aber diese Realität ist so vergänglich wie die im Raum schwebenden App-Symbole , und warten Sie, bis Sie eines durch Ihren Blick auswählen. Dies wirft die Frage auf, ob wir zu weit gegangen sind, um eine natürliche Schnittstelle voranzutreiben: Wollen Menschen die reale Welt verlassen, um ihrer Arbeit und anderen digitalen Aufgaben nachzugehen? Die Frage ist offen.

Wie sich herausstellt, ist das Gebiet einigermaßen abgesteckt, obwohl Apple weiter als jedes andere Unternehmen gegangen ist, um uns tatsächlich dorthin zu führen. In einem E-Mail-Austausch mit mir diese Woche erzählte mir Alan Kay von einer Folie, die er Anfang der 1970er Jahre angefertigt hatte und auf der er sich mehrere Formen für das Dynabook vorstellte. Die Skizze von 1972 zeigte nicht nur eine moderne Tablet-Version des Dynabooks, sondern auch eine Maschine im Taschenformat in einer Brille und eine Handbewegung zur Steuerung eines unsichtbaren Bildschirms. Und die Hand trägt etwas, das wie eine Apple Watch aussieht!

Kay sagt, er habe sich für die Skizze auf Ideen der Computerpioniere Ivan Sutherland und Nicholas Negroponte gestützt. Er wies mich auch auf einen Artikel von Sutherland aus dem Jahr 1962 hin, der noch wilder war. „Die ultimative Darstellung wäre natürlich ein Raum, in dem der Computer die Existenz von Materie kontrollieren kann“, schrieb Sutherland in dem Jahr, in dem Tim Cook zwei Jahre alt wurde. „Ein Stuhl, der in einem solchen Raum ausgestellt wird, wäre gut genug, um darin zu sitzen. Handschellen, die in einem solchen Raum ausgestellt werden, wären einengend, und eine Kugel, die in einem solchen Raum ausgestellt wird, wäre tödlich. Mit der entsprechenden Programmierung könnte eine solche Ausstellung buchstäblich ins Wunderland führen.“ den Alice ging.“ Obwohl Apple damit prahlt, tatsächlich ein Wunderland geschaffen zu haben, hat es das nicht geschafft. Aber der Vision Pro gibt einem fast das Gefühl, dass er es könnte, und vertritt mutig die These, dass immersives, ähm, räumliches Computing die Plattform der Zukunft ist.

Aber warte. Die Plattform der Gegenwart – generative KI – beginnt mit einem leeren Feld. Aber anstatt eine Beschwörung in Computersprache zu benötigen, erschließen Sie die Kräfte der digitalen Welt über die natürliche Sprache Ihrer Wahl. Eine einfache Eingabeaufforderung kann Computercode, Essays, Originalkunstwerke, frisch komponierte Musik hervorbringen – und eine Büchse der Pandora voller Erfindungen und Vorurteile. Die Befehlszeile ist noch nicht tot.

Jeremy White

Kate Knibbs

Jeremy White

WIRED-Mitarbeiter

Die Ursprünge des Vision Pro gehen auf die Bemühungen der 1960er und 1970er Jahre zurück, Benutzeroberflächen benutzerfreundlicher und leistungsfähiger zu machen. In Insanely Great, meinem Buch über den Macintosh, habe ich beschrieben, wie Alan Kay von PARC an einem unvergesslichen Projekt namens Flex arbeitete, das ein Reinfall war. Doch die gewonnenen Erkenntnisse führten letztendlich zum Dynabook, das die Inspiration für den Macintosh war.

Das Scheitern von [Flex] veranlasste Kay zu einer Untersuchung darüber, was eine „Benutzeroberfläche“ bedeutet. Der Begriff bezieht sich im Allgemeinen auf eine Reihe von Bildschirmaufforderungen und Befehlen, die es einer Person ermöglichen, dem Computer ihre Wünsche mitzuteilen. „Die Praxis des Computer-Interface-Designs gibt es mindestens seit der Erfindung der Werkzeuge durch den Menschen“, bemerkte Kay später. Dennoch wurde der Förderung benutzerfreundlicher, intuitiver Computerschnittstellen nur sehr wenig Beachtung geschenkt.

Könnte eine Schnittstelle entworfen werden, die auch normale Menschen nutzen könnten? Dies war damals eine unkonventionelle Frage, als man kaum davon ausging, dass normale Menschen jemals einen Grund haben würden, sich an eine Computertastatur zu klammern. Aber Kay dachte bereits intensiv über Ideen wie Menschen nach, die mit einem Computer zu tun haben. Er las Marshall McLuhans „Understanding Media“ und dachte über dessen bahnbrechendes Koan nach: „Das Medium ist die Botschaft.“ Dann hatte er seinen Erleuchtungsblitz, „ein Schock, der noch heute nachhallt“, schrieb er über 20 Jahre später in „The Art of Human-Computer Interface“.

„Der Computer ist ein Medium! Ich hatte ihn immer als Werkzeug betrachtet, vielleicht als Vehikel – eine viel schwächere Vorstellung. McLuhan meinte damit, dass, wenn der Personal Computer wirklich ein neues Medium wäre, sich seine Verwendung tatsächlich ändern würde Denkmuster einer ganzen Zivilisation.“

Greg schreibt: „In der ersten Staffel von Better Call Saul entwickelte sich das, was als kleiner Fall überhöhter Rechnungen in Pflegeheimen begann, zu einem Fall von Unternehmensbetrug in mehreren Bundesstaaten. Der überwältigende Aufwand an Recherchen führte dazu, dass Sauls Baby auf zwei große Fälle verteilt werden musste.“ Unternehmen. Mir kam der Gedanke, dass dies ein perfekter Job für KI wäre. Doch in allen Artikeln, die ich gelesen habe, liegt der Schwerpunkt auf den Auswirkungen von KI auf Kreative. Jura scheint ein perfekter Kandidat für diese Art von Brute-Force-Forschung zu sein. "

Greg, wo warst du? KI hat den Anwaltsberuf bereits verändert. Anstatt dass Anwaltsmitarbeiter eidesstattliche Aussagen und Akten mühsam durchgehen, können Kanzleien externe Dienste in Anspruch nehmen, die Fallakten aufsaugen, analysieren und auf die wichtigsten Punkte eingehen. OpenAI selbst hat mit Anwaltskanzleien zusammengearbeitet, um den Prozess zu unterstützen. Hätte Jimmy McGill (er war noch nicht Saul) die Sammelklage gegen Sandpaper Crossing im Jahr 2023 und nicht im Jahr 2002 eingereicht – und wäre es eine echte und keine fiktive Klage gewesen –, wäre die umfangreiche Dokumentation mit ziemlicher Sicherheit auch von KI verarbeitet worden. einschließlich großer Sprachmodell-Chatbots. Die Medien haben sich intensiv mit dieser Störung beschäftigt.

Jeremy White

Kate Knibbs

Jeremy White

WIRED-Mitarbeiter

Eine Sache, die KI jedoch noch nicht kann, ist, selbst verlässliche Gerichtsakten zu erstellen. Als ein Anwalt im vergangenen Monat in einem Fall gegen Avianca Airlines das eigentliche Verfassen eines Schriftsatzes an ChatGPT auslagerte, stellten die gegnerischen Anwälte fest, dass der Chatbot Zitate und Zitate aus Fällen erstellt hatte, die nicht existierten. Hätte Jimmy das versucht? Es hätte zu einer großartigen Wendung in der Handlung von „Better Call Saul“ führen können. Aber ich wette, dass seine fleißige Partnerin Kim Wexler ihn überstimmt hätte. Vielleicht hätte Kim den AI-Pause-Brief auch unterschrieben.

Sie können Fragen an [email protected] senden. SchreibenFRAGEN SIE LEVYin der Betreffzeile.

New York City wird orange. Nicht im guten Sinne.

WIRED berichtete über den Vision Pro von der Markteinführung im Apple Park.

Hier finden Sie alles, was Apple sonst noch auf der WWDC angekündigt hat. Ein 15-Zoll MacBook Air klingt ziemlich cool.

Jeremy White

Kate Knibbs

Jeremy White

WIRED-Mitarbeiter

Ein köstlicher tiefer Einblick in eines der vielen Unternehmen, die versuchen, Twitter zu klonen.

Eine konträre Sicht auf den 7.000 Wörter umfassenden Text des Risikokapitalgebers Marc Andreessen, der KI zum Retter der Welt erklärt.

Bonus-Gewinnspiel-Stecker: WIRED arbeitet mit Speck zusammen, um zwei Lesern die Chance zu geben, ein Samsung Galaxy S23 mit zwei Speck-Hüllen zu gewinnen. Hier eintreten.