Ein privates RAG: Ihre Dokumente, Ihr Modell, Ihre Infrastruktur

Ein Dell-Server PowerEdge mit einem oder mehreren NVIDIA-Grafikprozessoren für die Inferenz und die Berechnung von Fingerabdrücken. Die Anzahl und der Typ richten sich nach der Anzahl der gleichzeitigen Benutzer, der Modellgröße und der akzeptablen Reaktionszeit, die im Prototyp gemessen wurden. Für mehr als ein Team eignet sich die XE-Reihe, die für mehrere Beschleuniger ausgelegt ist.

Ein Dokumentenkorpus und sein Index bestehen aus Millionen kleiner Dateien und Fragmente. Die Speicherlösung von Dell wird aufgrund dieses Profils – Datei oder Objekt – und aufgrund der Geschwindigkeit, mit der das Modell darauf zugreifen muss, ausgewählt.

Je nach Bedarf: Azure Ein Ort zur Aufbewahrung der Microsoft-Tools in Ihren Räumlichkeiten, mit Foundry Local oder Edge RAG – für diese Variante als Vorabversion bei Microsoft verfügbar –; oder eine Kette, die auf Open-Source-Komponenten, einer Vektorsuchmaschine und einem in einer Version festgelegten Open-Weight-Modell basiert. Wir entscheiden je nach Projekt und implementieren es.

Das Modell aktualisieren, neu indizieren, Latenz und Speicherplatz überwachen, den Index sichern, auf einen früheren Stand zurücksetzen. Entweder durch uns im Rahmen unseres Outsourcing-Service oder durch Ihr Team, das wir schulen. Was nicht funktioniert, ist, diese Entscheidung nicht schon vor dem Kauf zu treffen.

Die zitierte Passage ist der Maßstab: Anhand ihrer lässt sich die Richtigkeit überprüfen. Das System ist so eingestellt, dass es nur auf der Grundlage der gefundenen Passagen Texte verfasst und angibt, wenn es keine findet – doch eine Umformulierung kann eine Nuance verraten. Bei jeder verbindlichen Entscheidung bleibt die menschliche Überprüfung erforderlich.

Die größten Modelle auf dem Markt erfordern Rechenleistungen, über die nur wenige Unternehmen in ihrem Rechenzentrum verfügen. Ein kleineres Modell, das auf Ihre Dokumente abgestimmt ist, liefert oft bessere Antworten auf Ihre Fragen als ein großes Allround-Modell – bei allem anderen hingegen schlechtere. Wir testen es anhand Ihrer Fragen, bevor wir zu einem Ergebnis kommen.

Wenn die richtigen Passagen nicht gefunden werden, liegt selbst das beste Modell der Welt daneben. Die Aufteilung der Dokumente, die Metadaten, die Statusangaben und die Zugriffsrechte machen die Qualität aus – und das ist eine Aufgabe der Datenverarbeitung, nicht der künstlichen Intelligenz.

Schräg gescannte Seiten, Seiten ohne Text, Tabellen als Bilder: Die Zeichenerkennung hilft, kann aber keine Wunder vollbringen. Ein Teil des Korpus bleibt möglicherweise unlesbar, und es ist besser, dies bereits beim Prototyp zu wissen.

Hardware, Strom, Kühlung, Lizenzen und der Zeitaufwand der Mitarbeiter, die die Plattform betreiben. Wir vergleichen dies über einen Zeitraum von drei Jahren mit den Kosten, die ein Online-Dienst – sofern möglich – verursachen würde, sowie mit denen eines Hybridmodells. Manchmal ist die lokale Lösung nicht die kostengünstigste, und das geben wir auch an.

Es wird kein externer Dienst für Fingerabdruck, Recherche, Texterstellung oder Telemetrie in Anspruch genommen. Dies lässt sich in den Netzwerkprotokollen überprüfen, und wir lassen es bei der Inbetriebnahme von Ihrem Team überprüfen.