Produkttest
iPad Mini : Zwischen E-Reader und Handheld
von Michelle Brändle
Apple Scribble Review: AI versus Schnürlischrift
29.6.2020
In der kommenden iPadOS Version 14 erkennt Apples Software mit dem Pencil geschriebene Notizen als Text. Das Feature ist zu etwa 90% dort, wo es sein sollte. Schöne Schnürlischrift macht der Software keine Probleme, die Deutsche Sprache hingegen schon.
Mit iPadOS 14 bringt Apple ein Feature namens Scribble auf den Markt. Scribble ist nichts anderes als der neueste Versuch eines Technologiegiganten, die menschliche Handschrift als Text zu erkennen und zu interpretieren. Nach dem Upgrade auf einem zweijährigen iPad Pro ist es an der Zeit, das System zu analysieren und danach den Versuch mit Schnürlischrift zu wagen. Denn bis dato war es die verbundene Schrift, die jedem Computer das Leben schwer gemacht hat.
Und weil es gerade so lustig ist: Der Test, wie viel Scribble aushält. Da meine Handschrift generell als unleserlich bezeichnet wird – manchmal kann ich meine eigenen Notizen nicht mehr lesen, weiss aber noch, was ich geschrieben habe –, will ich wissen, wie schrecklich ich drauflosschribseln kann, bevor Scribble die Waffen streckt.
Wenn dich die Erklärung der Komplexität und Problematik der Handschrifterkennung nicht interessiert, dann kannst du gerne bis zum Zwischentitel «Scribble: Versteckt, aber aktiv» springen.
Handschrift: Komplexer als gedacht
Bevor wir gross mit dem Test kommen, ein paar Worte zur Handschrift und deren Eigenheiten, Problemen und Auszeichnungen. Wenn du eine Handschrifterkennung programmieren willst, dann siehst du dich einer schier unendlichen Komplexität gegenüber. Denn wenn du eine Handschrift liest, dann abstrahiert dein Gehirn extrem viel.
Ich habe mal drei Kollegen gefragt, ob sie das Wort «Digitec» auf einen Zettel schreiben können.
Wenn also eine Maschine das verstehen soll, dann sieht sie sich Bildern gegenüber, nicht Schriften. Denn wenn du tippst, egal welche Schriftart du wählst, ist ein «D» immer ein «D». Auch wenn es in Wingdings geschrieben ist, die Maschine hat einen Wert hinterlegt, der ihr die Interpretation des Buchstabens als «D» zweifelsfrei ermöglicht.
Hat sich dann aber nicht durchgesetzt und es wurde etwas ruhiger um die Handschrifterkennung seitens der Software. Apple und die Android-Welt haben auf ihren Tablets Tastaturen geliefert und nicht einmal über Handschrifterkennung gesprochen. Hardware-Tastaturen sind gebaut worden, sowohl gebunden wie auch kabellos.
Die Idee der Handschrifterkennung aber blieb in den Köpfen der Entwickler und Apple behauptet nun, das Problem etwa 25 Jahre nach der Idee geknackt zu haben.
Scribble: Versteckt, aber aktiv
Bei der Demo während der Keynote zu Apples World Wide Developer Conference (WWDC) ist das Feature nur in Aktion gezeigt worden, nicht aber wie es implementiert wurde. Good News: Scribble ist standardmässig aktiviert. Die Einstellungen findest du in deinem iPad OS unter Settings → Apple Pencil.
Apple-typisch bekommst du keine grossen Einstellungsmöglichkeiten, abgesehen von Ein/Aus. Aber was soll da gross eingestellt werden können? Du willst schreiben, das iPad soll erkennen, die AI soll werkeln. Da brauchst du keine Regler von wegen «Erkennungsgrad: Hoch» oder sowas.
Noch ist das etwas ungewohnt. Vor allem im Kopf denke ich immer Dinge wie «erkennt das iPad das?» Meistens ja, manchmal nicht.
Ohne AI geht gar nichts
Stellt sich raus, dass das iPad massiv Probleme mit dem Wort «Digitec», oder CDCI-konform «digitec», hat. Das «g» wird oft als «j» oder «y» interpretiert. Das «c» am Schluss ist manchmal ein «r». Aber wenn ich nach dem Songtitel «Everything is awesome» suche, dann zeigt sich, wie das System funktioniert. Oder funktionieren könnte. Apple gibt sich bedeckt darüber, wie genau Scribble was macht. Fakt ist, die AI spielt eine grosse Rolle.
Darum dürfte das System auch Probleme mit «Digitec» oder «digitec» haben. Obwohl das Unternehmen ein Gigant auf dem Schweizer Markt ist, ist digitec im Kontext des globalen Internets komplett unbedeutend.
Bedient sich Apple also den Suchdaten Googles? Möglich. Ich vermute vielmehr, dass die Suchdaten Googles ein Faktor sind, der zur Interpretation beigezogen werden. Denn da könnte eine Vielzahl Daten dahinterstecken. Theoretisch könnte, wenn du Scribble die Erlaubnis erteilen könntest, die Software deine Mails scannen und so herausfinden, welche Begriffe du gerne verwendest und diese in die Korrelation des Geschribsels mit geschriebenen Buchstaben einbeziehen.
Scribble ist schnell. Die AI erkennt einige Wörter so schnell, dass es schier unmöglich ist, Screenshots der Handschrift in Suchfeldern zu machen. Beeindruckend.
Copypaste umständlich aber funktional
Scribble funktioniert auch in Notes, der Notizblock-App Apples. Schreibst du etwas, kannst du es markieren und kopieren. Achtung: wenn du nur «Copy» wählst, dann kopiert dir iPadOS die Grafik der Schrift. Du musst «Copy as Text» wählen, damit du den Text als Text kopierst. Das ist etwas umständlich, aber verständlich. Denn was, wenn du mal die Grafik kopieren willst?
Auch mühsam ist, dass dir iPadOS nicht anzeigt, was genau du kopierst, wenn du «Copy as Text» auswählst. Kopiere ich jetzt «Digitec» oder «Dijiter»? Finde ich erst beim Einfügen raus. Beim Copypaste kaufst du also die Katze im Sack und findest erst raus, was du gerade als Text hast, wenn du den Text einfügst. Hätte im Popup-Menü eine Einblendung des Texts, den die Software liest, so viele Umstände gemacht?
Der Stresstest: Wann scheitert Scribble?
Das Problem: Nur weil da irgendeine Software daherkommt, die kein Konzept von Schnürlischrift hat, will ich nicht neu schreiben lernen. Denn wenn der Hersteller behauptet, dass meine Handschrift erkannt wird, dann will ich auch meine Handschrift benutzen können. Und diese ist nun mal Schnürlischrift, durch Jahre des Schribselns mit Kugelschreibern auf Papier nahe bis zur Unendlichkeit verhunzt.
Ich vermute also, dass da irgendwo der Punkt liegt, an dem die Software die Waffen streckt. Der Test soll mit dem Wort «Apple» passieren. Ich schreibe in Notes vor, kopiere und suche in Google nach was auch immer die Software erkennt.
«Apple» als Blockschrift funktioniert wie erwartet perfekt.
Ich schreibe also Apple in schöner Schnürlischrift. Schön für meine Verhältnisse. So schreibe ich, wenn ich etwas schreiben will, das andere Menschen lesen können sollten. Ist zwar nicht immer ganz der Fall, aber Scribble kommt gut klar.
So schreibe ich, wenn ich Notizen mache. Ich bin im Territorium von «Ich kann das auch nicht mehr lesen, weiss aber, was ich schreiben wollte». iPadOS bietet mir «Copy as Text» an, also kann es irgendwas lesen. Es erkennt die Schrift als Schrift. Noch besser. iPadOS erkennt das Geschribsel als «Apple».
Fügen wir also Komplexität hinzu. Diesmal aber nur in hässlicher Schnürlischrift. Ich bemerke, dass das Schreiben auf dem Glas des iPads extrem mühsam und rutschig ist. Wenn du also viel von Hand auf dem iPad schreiben willst, dann rate ich dir dringend zu einem Screen Protector wie Paperlike.
Im Normalfall würde ich diese Suchbegriffe direkt ins Google Suchfeld schreiben, aber dann könnte ich dir nicht zeigen, womit Scribble zu arbeiten hat. Daher schreibe ich in Notes vor, kopiere und füge in Google ein.
Das geht so halb gut. Scribble liest nicht «Everything is awesome» sondern «Everything is ansane». Ist «ansane» überhaupt ein Wort? Ich hoffe darauf, dass Google merkt, dass das kein Wort ist, selbst etwas AI an die Zeichenfolge ranschmeisst und «Awesome» draus macht. Nein, ich finde komische Bandnamen und dergleichen, den Song aus dem Film aber nicht.
Meine Handschrift ist allgemein so unleserlich, dass ich im Laufe der Jahre ein Wort gefunden habe, das wirklich keiner auf Anhieb lesen kann. Denn die Buchstaben «n», «m», «i», «s», «v», «w», «e» und «u» bestehen bei mir aus demselben visuellen Element: ∧.
Testen wir das mal mit dem Wort:
Ja, das ist ein korrektes, deutsches Wort. Steht auch im Duden. Genau so, wie ich das geschrieben habe. Und genau weil das so aussieht, als ob es eine zufällige Ansammlung an Zacken ist, bin ich der Überzeugung, dass Scribble die Waffen streckt.
Ich schreibe, kopiere, und füge in Google ein. «Nomuinn». Ich muss Scribble zugestehen, dass «om» korrekt ist. Der Rest? Leider nein. Die Google-Suche nach «Nomuinn» ergibt dann auch wenig vernünftiges. Klimatologische Daten des US-Staates Kansas, unter anderem.
Wer mir sagen kann, was ich da geschrieben habe, gewinnt einen Kein-Preis. Das ist wie ein normaler Preis, ausser dass du nichts erhältst, ausser ein handschriftliches Dankeschön. Mit Herzli. Auf dem iPad geschrieben.
Das grosse Aber
Outlook kann das. Aber auch das ist irgendwie kaputt. Ich schreibe also ein Mail an Redaktor Luca Fontana, den ich heute noch nicht geärgert habe. Die Schrifterkennung funktioniert nur richtig gut, wenn ich wirklich gross schreibe, also weit grösser als dass das Textfeld das erlauben würde. Gut, dann soll das halt so sein, aber dann kommt die Sache dazu, wo ich keine Zeilenumbrüche machen kann.
So. Fertig. Ich warte mal drauf, was Luca zu meinem fantastischen Mail zu sagen hat.
Journalist. Autor. Hacker. Ich bin Geschichtenerzähler und suche Grenzen, Geheimnisse und Tabus. Ich dokumentiere die Welt, schwarz auf weiss. Nicht, weil ich kann, sondern weil ich nicht anders kann.
Smartphone
Folge Themen und erhalte Updates zu deinen Interessen
Produkttest
Unsere Expertinnen und Experten testen Produkte und deren Anwendungen. Unabhängig und neutral.
Alle anzeigen
