„Tokenisierung" – Versionsunterschied

Tokenisierung bezeichnet in der Computerlinguistik die Segmentierung eines Textes in Einheiten der Wortebene (manchmal auch Sätze, Absätze o. Ä.). Die Tokenisierung des Textes ist Voraussetzung für dessen Weiterverarbeitung, beispielsweise zur syntaktischen Analyse durch Parser, im Textmining oder Information Retrieval. In der Informatik bezeichnet der Begriff analog die Zerlegung eines in einer Programmiersprache verfassten Computerprogrammes in kleinste Einheiten, siehe Token (Übersetzerbau) und Tokenbasierte Kompression. Außerdem wird mit Tokenisierung im Finanzwesen auch der Trend zur Abschaffung des Trägermediums Papier-Urkunde durch digitale Daten bezeichnet.

Üblicherweise wird ein Text bei der Tokenisierung in seine Wörter zerlegt. Die White-Space-Tokenisierung ist die einfachste Form einer solchen Zerlegung. Der Text wird bei diesem Verfahren an den Leer- und Interpunktionszeichen aufgetrennt. Bei nicht-segmentisierenden Schriften wie der chinesischen oder japanischen kann es nicht angewandt werden, da in diesen keine Leerzeichen vorhanden sind.

Bei einem alternativen Tokenisierungsverfahren bilden Folgen von Buchstaben einen Token, ebenso alle Folgen von Ziffern. Alle anderen Zeichen bilden für sich genommen einen Token.

Beide Verfahren sind jedoch problematisch im Fall von Mehrwortlexemen, speziell Eigennamen, Währungsangaben usw. Für den Satz Klaus-Rüdiger kauft in New York für 2ドル.50 Fish'n'Chips. wäre aus linguistischer Sicht eine Segmentierung in folgende Tokenfolge adäquater:

 Klaus-Rüdiger
 kauft
 in
 New York
 für
 2ドル.50
 Fish'n'Chips

Tokenisierung ist im Finanzwesen und im Wertpapierrecht der Trend, Finanzprodukte als Kryptowerte zu digitalisieren und auf einer Blockchain als dezentral gespeicherte Vermögenswerte abzubilden.^[1] Der Trend führt weg von der klassischen Papierform eines Trägermediums hin zu digitalen Daten. Beispiele sind die Verwendung von Buchgeld anstatt Bargeld, die Einführung von Kryptowährungen oder die Einführung von elektronischen Wertpapieren anstelle von Wertpapierurkunden. Bei allen wird die Papierform als Trägermedium für Finanzinstrumente abgelöst (tokenisiert) durch digitale Formen.^[2] Das Gesetz über elektronische Wertpapiere (eWpG) vom Juni 2021 ermöglicht den Wertpapierhandel mit völlig urkundenlosen Finanzinstrumenten, indem es deren Übergabe durch Eintragung im Wertpapierregister nach § 4 Abs. 4 eWpG ersetzt.^[3]

Von Hyun Song Shin, der für die Bank für Internationalen Zahlungsausgleich tätig ist, wurde 2022 eine Integration tokenisierter Vermögenswerte (etwa Immobilienansprüche) innerhalb einer „Multi-CBDC-Platform" (mCBDCs) präsentiert.^{[4] [5]} Mit der Tokenisierung von Vermögenswerten befassen sich die Bank für Internationalen Zahlungsausgleich und die Schweizer Nationalbank seit 2020 (Projekt Helvetia), mit der Tokenisierung von grünen Wertpapieren („green bonds", „carbon credits"), dem Projekt Genesis (2.0)^[6] befassen sich die BIZ sowie die Sonderverwaltungszone Hong Kong.^[7]

• Kai-Uwe Carstensen, Christian Ebert, Cornelia Ebert, Susanne Jekat, Ralf Klabunde, Hagen Langer: Computerlinguistik und Sprachtechnologie. Eine Einführung. 3. Auflage. Spektrum Akademischer Verlag, Heidelberg 2010, ISBN 978-3-8274-2023-7, S. 264–271

1. ↑ BaFin vom 16. August 2019, Zweites Hinweisschreiben zu Prospekt- und Erlaubnispflichten im Zusammenhang mit der Ausgabe sogenannter Krypto-Token, Az.: GZ: WA 51-Wp 7100-2019/0011 und IF 1-AZB 1505-2019/0003, S. 1
2. ↑ Adam Reining, Lexikon der Außenwirtschaft, 2003, S. 99
3. ↑ BT-Drs. 19/26925 vom 24. Februar 2021, Entwurf eines Gesetzes zur Einführung von elektronischen Wertpapieren, S. 39
4. ↑ Hyun Song Shin (2022) Central bank digital currencies and the future monetary system (PDF; 2,1 MB), S. 18–21.
5. ↑ Vgl. Präsentation von Hyun Song Shin, 19. Dezember 2022 (als Video auf youtube; 56 min).
6. ↑ Bank for International Settlements (2022): Genesis 2.0: smart contract-based carbon credits attached to green bonds
7. ↑ Bank for International Settlements, BIS Annual Report 2023: III. Blueprint for the future monetary system, S. 88–91.

• Computerlinguistik
• Indexierung
• Wertpapierrecht