Es ist schon eine gewisse Herausforderung mit den aktuellen Entwicklungen im Bereich der künstlichen Intelligenz Schritt zu halten, die ständig neue Produkte, Projekte und Programme hervorbringen.
Inmitten des allgemeinen Hypes, der einer Goldgräberstimmung gleicht, gibt es jedoch immer wieder bemerkenswerte Entdeckungen, die einen genaueren Blick wert sind. Ein Beispiel dafür ist das Open-Source-Projekt Chatd, das wir für besonders interessant halten. Es handelt sich um eine Anwendung für den Mac, die ein interessantes Versprechen macht: lokale Konversation mit beliebigen Dokumenten.
Die Anwendung verwendet das Open-Source-KI-Textmodell Mistral-7B, an dessen Entwicklung offenbar auch Forscher des Facebook-Mutterkonzerns Meta beteiligt waren. Chatd lädt den rund 4 GB großen Mistral-7B-Datensatz beim ersten Start vollständig auf die Festplatte herunter, danach kann die Anwendung auch ohne Internetverbindung genutzt werden.
Das KI-Textmodell wird übrigens im Ordner „~/Library/Application Support/chatd“ gespeichert, den man beim Entfernen der Anwendung vom Mac ebenfalls löschen sollte.
Sobald das Modell integriert ist, kann die Anwendung mit verschiedenen PDF-Dokumenten gefüttert werden. Sie ist dann in der Lage, diese zusammenzufassen, Auskunft über verschiedene Details zu geben und Fragen zu beantworten, die sich nur auf das zuvor geladene PDF beziehen.
In unseren Tests funktioniert dies mit englischsprachigen PDF-Dokumenten recht flüssig und liefert brauchbare Ergebnisse. Fragen in deutscher Sprache versteht das Modell jedoch nicht und kann sie daher auch nicht verarbeiten.
Chatd könnte insbesondere bei sehr umfangreichen Dokumenten hilfreich sein, um sich schnell einen Überblick zu verschaffen und interessante Informationen zu finden, indem man gezielt formulierte Fragen stellt, statt nur nach einzelnen Wörtern zu suchen.
