Souveräne KI.
Wissen intelligent erschließen.
Quellenbasiert. Lokal. Nachvollziehbar.
Wie wird umfangreiche technische Dokumentation zu einer zuverlässigen Wissensquelle für KI? In einer internen Entwicklung haben wir einen lokal betriebenen Wissensassistenten umgesetzt, der semantische Suche mit nachvollziehbaren, quellenbasierten Antworten verbindet.
Technische Dokumentationen enthalten wertvolles Wissen, das über zahlreiche Seiten, Themen und Verweise verteilt ist. Klassische Stichwortsuchen liefern nicht immer schnell die passenden Zusammenhänge. Gleichzeitig stellen Unternehmen hohe Anforderungen an Nachvollziehbarkeit und Kontrolle bei der KI Nutzung. In einem eigenständigen internen Entwicklungsprojekt entstand ein Open Source Prototyp für die Beantwortung technischer Fragen anhand öffentlich zugänglicher STACKIT Dokumentation. Es handelt sich ausdrücklich nicht um ein beauftragtes Kundenprojekt und nicht um ein offizielles Angebot des Dokumentationsanbieters. Ziel war eine Architektur, die Dokumentationsinhalte automatisiert aufbereitet, semantisch auffindbar macht und Antworten mit nachvollziehbaren Quellen verbindet, ohne Anfragen an externe KI Dienste zu übermitteln.
Die Lösung verarbeitet öffentlich zugängliche Dokumentationsseiten anhand ihrer Sitemap. HTML Inhalte werden extrahiert, in Markdown umgewandelt und für die Suche in inhaltlich zusammenhängende Abschnitte aufgeteilt. Die Retrieval Architektur kombiniert hierarchisches Parent Child Chunking mit PostgreSQL, pgvector und einem HNSW Index. Ollama übernimmt die lokale Modellinferenz und die Erstellung von Embeddings. Die Qualität der Suche wurde anhand von 42 Testfragen systematisch evaluiert und optimiert. Die Retrieval Trefferquote unter den zehn abgerufenen Ergebnissen stieg dabei von 69 auf 95 Prozent. Diese Kennzahl beschreibt ausschließlich das Auffinden relevanter Dokumentationsstellen und nicht die allgemeine Korrektheit generierter Antworten. Der Prototyp demonstriert damit einen technischen Ansatz für kontrollierbare, lokal betriebene KI Wissenssysteme mit transparenten Quellenbelegen.
Herausforderung
- Umfangreiche technische Dokumentation automatisiert erschließen und aktuell verarbeitbar halten
- Verstreute Fachinformationen über semantische Suche zuverlässig auffindbar machen
- Quellenbelege bereitstellen, damit Nutzer die Grundlage einer Antwort nachvollziehen können
- KI Verarbeitung lokal ausführen, ohne externe KI Dienste für Abfragen zu benötigen
- Die Qualität der Dokumentensuche mit reproduzierbaren Testfragen messen und optimieren
Unsere Lösung
- Konzeption und Umsetzung eines lokal betriebenen RAG Wissensassistenten als internes Entwicklungsprojekt
- Automatisierte Übernahme öffentlicher Dokumentationsseiten über Sitemap, HTML Extraktion und Markdown Aufbereitung
- Hierarchisches Parent Child Chunking zur Verbindung passender Suchtreffer mit größerem Dokumentkontext
- Semantische Vektorsuche mit PostgreSQL, pgvector und HNSW Index
- Lokale Modellintegration über Ollama mit Llama und einem Embedding Modell
- Systematische Evaluation und Optimierung des Retrieval Verfahrens anhand definierter Testfragen
Ergebnis
- Funktionsfähiger lokal betriebener Open Source Prototyp zur dokumentationsgestützten Wissenssuche
- Nachvollziehbare KI Antworten durch Verweise auf verwendete Quelldokumente
- Verbesserte Retrieval Trefferquote von 69 auf 95 Prozent bei zehn abgerufenen Treffern und 42 Testfragen
- Verarbeitung technischer Fragen ohne externe KI Dienste
- Übertragbarer Architekturansatz für interne Wissensdatenbanken, technische Dokumentationen und weitere Wissensquellen
Technologien
- Python
- Ollama
- Llama
- nomic embed text
- PostgreSQL
- pgvector
- HNSW
- Docker Compose
- RAG
- Parent Child Chunking
- Markdown
- pytest