Chatbots sind derzeit en vogue. Für den Raspberry Pi 5 gibt es nun einen speziellen HAT, der sich auch für große Sprachmodelle eignet.
KI-Assistenten kommen inzwischen in vielen Bereichen des täglichen Lebens zum Einsatz und erleichtern zunehmend den Arbeitsalltag, indem sie Routineaufgaben selbstständig erledigen. Kommerzielle KI-Assistenten laufen allerdings meist in der Cloud und sind bei professionellem Einsatz kostenpflichtig. Zusätzlich bleibt bei ihnen in aller Regel der Datenschutz auf der Strecke, denn die entsprechenden Sprachmodelle entstammen fast immer US-amerikanischer Herkunft.
Doch es gibt mittlerweile auch KI-Sprachmodelle, die sich auf lokalen Infrastrukturen ausführen lassen und die keinen Cloud-Zugang benötigen. Doch sie haben einen Haken: Sie benötigen häufig eine exorbitante Rechenleistung, wie sie nur sündhaft teure Grafikkarten oder spezialisierte Hochleistungsprozessoren für Anwendungen der künstlichen Intelligenz bereitstellen. Herkömmliche PCs können zwar Chatbots und anwendungsspezifische kleinere Sprachmodelle ebenfalls ausführen, erreichen dabei jedoch oft keine zufriedenstellende Geschwindigkeit. Häufig ist nur eine sehr eingeschränkte Nutzung möglich.
KI auf dem Pi
Der Raspberry Pi verfügt in der aktuellen fünften Generation endlich über die nötigen Hardwarekapazitäten, um auch komplexere KI-Sprachmodelle zügig auszuführen. Die bei den älteren Varianten des britischen Kleincomputers vorhandenen Beschränkungen beim Arbeitsspeicher und den Schnittstellen sind inzwischen gefallen. Dank einer Arbeitsspeicherkapazität von 8 GByte und der endlich vorhandenen PCIe-Schnittstelle taugt der Einplatinenrechner nun für anspruchsvollere KI-Aufgaben.
Zudem hat die Raspberry Pi Foundation rechtzeitig Zubehör entwickelt, mit dem Sie Ihren Ras...
[...]
Liebe Leserin, lieber Leser,
Auf RasPi-Geek.de finden Sie alle Print-Artikel, die bisher in Raspberry Pi Geek erschienen sind. Damit steht Ihnen ein gut bestücktes Archiv inklusive der Beiträge der aktuellen Ausgabe online zur Verfügung. Alle Artikel stehen 12 Monate nach der Erstveröffentlichung kostenlos zur Verfügung. Für ausgesuchte Beiträge aus den letzten sechs Ausgaben fällt eine kleine Gebühr an, für die Sie dann ein PDF des Artikels erhalten.
