Von AnythingLLM bis Wren AI
11 Open-Source-KI-Tools für Entwickler
Florian Maier beschäftigt sich mit diversen Themen rund um Technologie und Management.
Foto: DC Studio - shutterstock.com
Geht es um Software, entspringen dem Open-Source-BereichOpen-Source-Bereich regelmäßig höchst wirkungsvolle und kreative Ideen. Auch - und gerade - wenn dabei künstliche Intelligenzkünstliche Intelligenz (KI) eine Rolle spielt: Die Rechenleistung, die die Technologie erfordert, macht sie nicht ideal für Einzelkämpfer. Vielmehr braucht es oft verteilte Teams, um solche Softwareprojekte stemmen zu können. Alles zu Künstliche Intelligenz auf CIO.de Alles zu Open Source auf CIO.de
Die folgenden elf quelloffenen KI-Projekte können Entwicklern dabei unter die Arme greifen. Sie eignen sich hervorragend als Startpunkt und Inspiration für eigene Dev-Projekte.
1. Upscayl
Manchmal brauchen Bilder nur einen etwas höheren Detailgrad, um auf einer Webseite wirklich gut auszusehen. Den Task, Bildauflösung, -schärfe und Farbtreue gemäß den gewünschten Anforderungen anzupassen, können Entwickler auch an die Open-Source-Lösung Upscayl auslagern.
Weil die Upscayle-KI diese zusätzlichen Details quasi "herbei halluziniert", eignet sich dieses quelloffene Projekt vor allem dazu, fiktionale Bilder zu optimieren. Für Abbildungen, die absolute Genauigkeit erfordern, hingegen weniger. Tatort-Fotos sollten deshalb beispielsweise außen vor bleiben.
2. Nyro
Mit der Kommandozeile verbringen Entwickler in der Regel viel Zeit, um mit dem Betriebssystem zu interagieren. Im Einzelfall geht es dabei nur um ein paar Sekunden, aber die summieren sich auf Dauer.
Das Open-Source-Projekt Nyro (das auf dem auf dem Electron-Framework aufbaut) ermöglicht es, grundlegende, alltägliche Tasks zu automatisieren. Dazu gehört etwa, Screenshots zu erstellen, Fenstergrößen anzupassen und Daten zwischen Applikationen zu synchronisieren. Die daraus resultierende Zeitersparnis kann sich in deutlichen Produktivitätssteigerungen niederschlagen.
3. Geppetto
Nicht wenige Dev-Teams arbeiten inzwischen in weiten Teilen über Slack. Die Beiträge, die dabei auf der Messaging-Plattform gepostet werden, stellen quasi eine solide First-Generation-Dokumentation dar.
Der Open-Source-Slackbot Gepetto kann Entwickler dabei unterstützen, diese Inhalte mit Unterstützung von Large Language Models (LLMs) besser zu strukturieren. Bei Bedarf ist es auch möglich, über Dall-E künstlerische Aspekte in die Dokumentation einfließen zu lassen.
4. E2B
Dass Generative AI weit mehr kann, als einfache Fragen zu beantworten und Bilder generieren, beweist das E2B-Projekt. Dabei handelt es sich um eine "Agent Sandbox", die große Sprachmodelle mit diversen anderen ToolsTools aus dem (menschlichen) Alltag verbindet: Web-Browser, GitHub-Repositories und Befehlszeilen-Tools wie Linter. Alles zu Tools auf CIO.de
Das realisiert LLMs, die deutlich nutzwertigere Aufgaben als die eingangs erwähnten bewältigen können. Etwa, Cloud-Infrastrukturen zu managen.
5. Dataline
Irgendeiner Remote-KI sämtliche Daten zu Trainingszwecken auszuhändigen, ist nicht jedermanns Sache. Abhilfe kann an dieser Stelle das Open-Source-Projekt Dataline schaffen. Das generiert mit Hilfe eines LLM SQL-Befehle, die die Informationen aus der Datenbank "ziehen".
Im Anschluss erzeugt die KI daraus einen Data-Science-Report (auf Grundlage einer lokalen Verbindung). Dieser hybride Ansatz kombiniert klassische datenwissenschaftliche Analyse-Algorithmen mit Generative AI.
6. Swirl Connect
Als Entwickler möchte man sich manchmal am liebsten direkt auf einen Datensatz stürzen - müsste man sich nicht vorher die Mühe machen, diesen zu extrahieren und neu zu formatieren. Insbesondere wenn es um große Datensätze geht, können diese Prozesse zeitaufwändig ausfallen.
Gegensteuern können Devs mit dem Open-Source-Projekt Swirl Connect. Das verknüpft diverse Standard-Datenbanken mit gängigen LLMs und RAG-Suchindizes. Im Ergebnis liegen alle benötigten Daten an einem Ort - und Sie können sich ganz auf das KI-Training fokussieren.
7. DSPy
Prompt Engineering ist eine Disziplin, die erst durch Generative AI entstanden ist. Im Gegensatz zu Entwicklern arbeitet ein Prompt Engineer nicht mit Algorithmen, sondern mit Worten darauf hin, LLMs den idealen Output zu entlocken.
Wenn sich das für Sie ein wenig zu sehr nach dunkler Magie anfühlt, ermöglicht das quelloffene Tool DSPy einen systematischeren Ansatz für das LLM-Training. Anstelle von Wörtern und Phrasen verbindet es Module und Optimierer und ordnet diese in einer Pipeline für das LLM an. Für Entwickler bedeutet das, sich weniger Gedanken um sprachliche Nuancen machen zu müssen - und sich besser auf die Arbeit mit Code konzentrieren zu können.
8. Guardrails-Framework
Eine wesentliche Herausforderung besteht mit Blick auf GenAI darin, wirksame Leitplanken zu etablieren. Das Open-Source-Framework Guardrails on the Gateway ermöglicht, Generative-AI-Pipelines mit solchen Leitplanken auszustatten.
Das funktioniert über asynchrone Funktionen, die nachverfolgen, wie sich die von der KI generierten Antworten entwickeln und diese schrittweise verfeinern. Unter dem Strich kann das für weniger Halluzinationen und mehr korrekten Output sorgen.
9. Unsloth
Ein Large Language Model auf einen neuen Datensatz zu trainieren, ist oft eine kostenintensive Angelegenheit. Diesen Trainingsprozess will das quelloffene KI-Tool Unsloth optimieren.
In der Konsequenz soll das KI-Modelltraining laut der Entwickler hinter dem Projekt zwei- bis fünfmal schneller ablaufen - mit der kostenpflichtigen Professional-Version sogar bis zu 30-mal. Verantwortlich dafür ist im Wesentlichen (handgeschriebener) Kernel-Code, der den Memory-Verbrauch reduziert, die Genauigkeit aber (mindestens) beibehält.
10. Wren AI
In aller Regel werden Daten in weitläufigen Tabellen abgespeichert, über die per SQL zugegriffen wird. Allerdings gehören SQL Queries nicht gerade zur Popkultur - sogar viele Entwickler haben damit zu kämpfen, schnell effiziente Abfragen zu schreiben.
An diesem Punkt kann das quelloffene Projekt Wren AI unterstützen - das quasi ein natürlichsprachliches SQL-Frontend darstellt. Die KI übersetzt dabei natürlichsprachliche Fragen in SQL und spart so potenziell jede Menge Zeit und Ärger.
11. AnythingLLM
Es ist sehr wahrscheinlich, dass auch Sie jede Menge digitaler Dokumente horten, um bestimmte, dort enthaltene Informationen in Zukunft zu nutzen. Die Herausforderung besteht dann darin, die entsprechenden Inhalte auch zu finden, wenn man sie braucht.
Dabei unterstützt das Open-Source-KI-Tool AnythingLLM: Sie speisen Ihre Dokumente einfach in ein beliebiges LLM- oder RAG-System ein und fragen anschließend die benötigten Informationen ab.