Fasse die heutige Vorlesung zusammen? Wann wurden neuronale Netze erfunden? Eine künstliche Intelligenz, die diese Fragen beantworten kann, ist ein langer Menschheitstraum. Mit Hilfe von maschinellem Lernen und im besonderen mittel großer Sprachmodelle sehen wir heute erste Programme, die diese Probleme lösen können. In dieser Vorlesung werden die Fähigkeiten und das Wissen vermittelt um Lösungen für diese Probleme der Verarbeitung natürlicher Sprach mittels Methoden auf dem neusten Stand der Technik zu entwickeln.
Nach einer Einführung in die Herausforderungen bei der Verarbeitung von natürlicher Sprache, werden die unterschiedlichen Aufgaben in der Verarbeitung natürlicher Sprache behandelt. Dabei liegt ein Focus des Kurses auf Methoden aus dem Bereich des Deep Learnings und die neuen Möglichkeiten durch große Sprachmodelle (ChatGPT). Zunächst werden Sequenzklassifikationsaufgaben wie die Sentiment Analysis behandelt. Danach werden Methoden des Sequenzlabels besprochen wie sie z.B. bei der Erkennung von Eigennamen oder Bestimmung von Part-of-Speech Tags verwendet werden. Anschließend wird die Vorlesung Sequenz-zu-Sequenz Methoden besprechen. Diese Modelle werden in vielen Aufgaben der Verarbeitung natürlicher Sprach verwenden, z.B. in der Maschinellen Übersetzung, der automatischen Zusammenfassung und dem automatischen Beantworten von Fragen.
In diesen Kurs werden dabei die wichtigen Herausforderung bei der Entwicklung von Systemen behandelt: Die Repräsentation von Wörtern, Neurale Architekturen um Sprache zu modellieren, Methoden um komplexe Modelle zu trainieren und die wahrscheinlichste Ausgabe zu finde.