Künstliche Intelligenz / Anwendungsfälle / Persönlicher Assistent
Ein privat gehosteter KI-Assistent für Ihr Unternehmen
Es liest ausschließlich Ihre Dokumente, wobei die jeweiligen Zugriffsrechte berücksichtigt werden. Und das Gerät kann in Ihren Räumlichkeiten verbleiben.Ihre Mitarbeiter stellen bereits Fragen an einen öffentlichen Assistenten, manchmal unter Verwendung von Unternehmensdaten. Der privat gehostete Assistent liefert bessere Antworten, da er Ihre Dokumente kennt, und das ganz ohne Risiko, denn er liest nur das, wozu die jeweilige Person berechtigt ist. Er arbeitet auf Teams, gibt seine Quellen an und übergibt das Wort, wenn er etwas nicht weiß. Wo er seine Arbeit verrichtet – bei Microsoft, in Ihren Räumlichkeiten oder beides – hängt davon ab, wie vertraulich Ihre Dokumente sind.
Drei Situationen, die wir in fast allen Unternehmen antreffen
Keines davon ist ein technisches Problem. Es handelt sich um Probleme mit Dokumenten, Rechten und Gewohnheiten – und genau deshalb lässt sich das Problem auch nicht mit einem aus dem Katalog bestellten Assistenten lösen.
Ihre Mitarbeiter nutzen bereits einen Assistenten – und zwar nicht Ihren
Ein persönliches Konto, ein Browser und der Text eines Vertrags, der als Zusammenfassung eingefügt wurde. Niemand tut dies in böser Absicht: Das Tool ist nützlich, und das Unternehmen bietet kein solches an. Was auf diese Weise herauskommt, wird weder nachverfolgt noch durch Ihre Verträge abgedeckt.
Der eigentliche Konkurrent des privat gehosteten Assistenten ist der öffentliche Assistent, den jeder bereits hat.
Der Assistent antwortet zwar richtig, aber daneben
Er hat das Verfahren gefunden – das aus dem Jahr 2019, in einer Akte, die niemand weggeräumt hat. Er antwortet mit der Gelassenheit einer Software. Ein Assistent, der auf zehn verschiedene Versionen eines Dokuments zugreift, wählt eine der zehn aus, und nichts sagt ihm, welche die richtige ist.
Das Aufräumen ist das Vorhaben; der Assistent ist die Folge davon.
Niemand kann sagen, was der Assistent lesen darf
Ein seit vier Jahren unternehmensweit zugängliches Informationssystem wird nun zu einer Lösung für das gesamte Unternehmen. Gehaltsunterlagen, Informationen zu einer Übernahme, jährliche Beurteilungen: Früher konnte niemand diese Unterlagen finden, jetzt muss man nur noch danach fragen. Der Assistent verursacht keine Informationslecks; er deckt vielmehr die bereits bestehenden auf.
Die Rechte sind vorrangig gegenüber dem Assistenten.
Was der Assistent tut, in einfacher Sprache ausgedrückt
Sechs Dinge, und das sechste ist das, was ihn von einem öffentlichen Beistand unterscheidet: Er weiß, wann er aufhören muss.
Der Assistent gibt Antworten zu Ihren Dokumenten, einschließlich der Quelle
Das Verfahren, der Vertrag, das Protokoll, das Produktdatenblatt: Jede Antwort gibt das Dokument und die Stelle an, aus der sie stammt. Wer Zweifel hat, kann dies mit einem Klick überprüfen.
Der Assistent sieht nur das, was die Person sieht
Die Berechtigungen beziehen sich auf Ihre geteilten Inhalte und werden von Entra ID verwaltet. Zwei Personen, die dieselbe Frage stellen, erhalten zwei unterschiedliche Antworten, wenn ihre Berechtigungen voneinander abweichen – und das ist beabsichtigt.
Der Assistent bereitet vor, fasst zusammen, vergleicht
Ein Entwurf für eine Antwort an den Kunden, die Zusammenfassung eines vierzigseitigen Dossiers, der Unterschied zwischen zwei Vertragsversionen. Der Mitarbeiter liest alles noch einmal durch und trifft eine Entscheidung.
In „ Teams “, nicht in einem neuen Tool
Die Frage erscheint in dem Fenster, das Ihre Teams bereits geöffnet haben. Die Nutzung etabliert sich dort, wo die Menschen arbeiten, und nicht in einer weiteren Anwendung.
Der Assistent behält den Überblick
Wer hat was angefragt, welche Unterlagen wurden zur Beantwortung herangezogen, welche Antworten wurden als falsch gekennzeichnet? Das ermöglicht es, Korrekturen vorzunehmen und die Anforderungen eines Audits zu erfüllen.
Der Assistent gibt das Wort weiter, wenn keine Antwort kommt
Kein relevantes Dokument, eine Frage, die außerhalb des Zuständigkeitsbereichs liegt, eine Anfrage, die das Unternehmen betrifft: Er sagt es und gibt an, an wen man sich wenden soll. Ein Assistent, der sich etwas ausdenkt, ist schlimmer als ein abwesender Assistent.
Ein konkretes Beispiel, Schritt für Schritt
Ein Projektleiter fragt auf Teams : „Wie sieht das Inbetriebnahmeverfahren bei diesem Kunden aus, und wer muss es unterzeichnen?“ Folgendes geschieht in der hybriden Aufteilung, die wir meistens umsetzen.
Was menschlich bleibt
Ein Assistent ist ein digitaler Mitarbeiter: Er hat einen bestimmten Aufgabenbereich, bestimmte Rechte, einen Zeitpunkt, zu dem er die Verantwortung abgibt, und jemanden, der ihn beaufsichtigt. Folgendes entscheidet er niemals selbst.
Entscheidungen, die nicht delegiert werden können
Sie werden vor der Aufnahme des Assistenten in den Dienst in dessen Datenblatt eingetragen und bei jeder vierteljährlichen Überprüfung erneut durchgesehen. Ein Assistent, der sein Datenblatt nicht vorweisen kann, ist nicht bereit, unabhängig davon, wie gut seine Vorführung war.
- Was er lesen darf. Der Umfang der Dokumente wird von den Datenverantwortlichen festgelegt, nicht von der IT-Abteilung und schon gar nicht vom Assistenten.
- Die Überprüfung der Quelle, bevor man handelt. Eine Antwort ist ein Anhaltspunkt mit entsprechendem Beleg, keine Entscheidung. Wer handelt, legt die Quelle offen.
- Was nach außen geht. Der Assistent erstellt den Entwurf; ein Mitarbeiter liest ihn noch einmal durch und versendet ihn. Keine Antwort verlässt das Unternehmen ohne ihn.
- Die Korrektur falscher Antworten. Ein Hinweis wird von einer Person gelesen, die das Dokument oder den Bereich korrigiert – nicht der Assistent.
- Die Auswahl und der Austausch des Modells. Anhand Ihrer Fragen getestet, verglichen, entschieden. Alle paar Monate.
Die verwendeten Daten und ihre Anforderungen
Ein Assistent ist nur so gut wie die Unterlagen, die er liest. Die Hälfte der Arbeit wird hier geleistet, noch bevor die erste Frage gestellt wird.
Die Quellen
- SharePoint sowie „ OneDrive “: Verfahren, Vorlagen, Protokolle, Dokumentation.
- Teams : Kanäle und Projektdateien, sofern sie im Umfang enthalten sind.
- Vertrauliche Unterlagen: Verträge, Akten, Pläne, Ergebnisse – in Ihren Räumlichkeiten, wenn sie dort bleiben müssen.
- Dynamics 365, das „ ERP “: die Kundenkartei, die Bestellung, der Beleg – über ihre Benutzeroberflächen und unter Berücksichtigung der jeweiligen Berechtigungen.
- Entra ID : Die Gruppen und die Rechte, die über alles andere entscheiden.
Was sie mitbringen müssen
- Entweder gibt es nur eine verbindliche Fassung oder eine klare Regel, nach der diese bestimmt wird. Zehn Fassungen führen zu zehn Antworten.
- Rechte, die die Wahrheit sagen. Ein vor vier Jahren festgelegter „gemeinsamer“ Verteilungsschlüssel wird vor der Eröffnung noch einmal durchgesehen.
- Ein Eigentümer pro Korpus, der reagiert, wenn eine Antwort falsch ist, und entscheidet, was in den Umfang fällt.
- Maschinenlesbare Dokumente: Ein schief eingescannter Vertrag lässt sich nicht lesen. Er wird erneut eingelesen oder fällt aus dem Bereich heraus.
- Ein Projektumfang, der klein anfängt. Eine Abteilung, ein Korpus, zwanzig Mitarbeiter. Der Rest folgt nach der ersten Überprüfung.
Wo der Assistent funktioniert und welche Variante wir zuerst untersuchen würden
Drei mögliche Architekturen, eine davon scheidet aus. Die Wahl hängt davon ab, wie vertraulich Ihre Dokumente sind, und wird Dokument für Dokument getroffen, nicht für die Gesamtheit.
Bei Microsoft
Möglich, oft ausreichendCopilot respektiert bereits Ihre Zugriffsrechte: Es liest in Ihrer Instanz nur das, wozu die jeweilige Person berechtigt ist. Wenn Ihre Dokumente dort gelesen werden können, ist dies die schnellste Antwort.
In Ihren Räumlichkeiten
MöglichAlles in Ihrem „ datacenter “, einschließlich der Benutzeroberfläche. Wenn nichts nach außen gelangen darf, auch nicht die Orchestrierung. Der Betrieb ist aufwändiger; auf der Seite „Privater RAG“ wird dies näher erläutert.
Ein Teil bei Microsoft, ein Teil in Ihren Räumlichkeiten
EmpfohlenTeams sowie Entra ID bei Microsoft; der vertrauliche Datensatz, die Suche und das Modell befinden sich in Ihren Räumlichkeiten. Nutzung von Teams, Vertraulichkeit vor Ort.
Neben der Maschine
Zu vermeidenEin Assistent für Ihre Dokumente braucht weder Millisekunden noch eine Werkstatt. Außer auf einer Website ohne Internetverbindung – dort ist das ein Sonderfall.
Warum Hybrid – und wann wir etwas anderes sagen werden
Für diesen Anwendungsfall sind drei Kriterien ausschlaggebend. Die acht anderen spielen hier eine untergeordnete Rolle: Der Vergleichsrechner führt sie im Detail auf.
| Kriterium | Was den Ausschlag gibt | Wohin? |
|---|---|---|
| Die Vertraulichkeit der Dokumente | Wenn der gesamte Korpus in Ihrer Microsoft-Tenant gelesen werden kann, reicht Copilot aus. Wenn ein Teil davon nicht gelesen werden kann – Verträge, Akten, Betriebsgeheimnisse –, verbleibt dieser Teil in Ihren Räumlichkeiten. | Nur Copilot oder Hybrid |
| Die Benutzeroberfläche und die Identität | Ihre Teams nutzen „ Teams “ und melden sich über „ Entra ID “ an. Würde man ihnen eine zweite Benutzeroberfläche auferlegen, würde man die Hälfte der Nutzer verlieren. | Teams beibehalten: online oder hybrid, selten ausschließlich vor Ort |
| Das Anfragevolumen | Bei einigen hundert Anfragen pro Tag ist der Online-Service am günstigsten. Ab einer höheren Anzahl ist das lokale Modell günstiger. Die Schwelle wird über einen Zeitraum von drei Jahren berechnet. | Hybrid oder lokal jenseits der Schwelle |
Die Schlussfolgerung „Copilot in Ihren Lizenzen reicht aus, kein Infrastrukturprojekt“ ist in unserem Vergleichstool vermerkt, und wir geben sie an, wenn sie zutrifft. Ein privat gehosteter Assistent ist kein Grund, einen Server zu kaufen.
Womit der Assistent verbunden ist
Ein Assistent, der lediglich Dateien ausliest, ist letztlich nichts anderes als eine verbesserte Suchmaschine. Sein Nutzen liegt darin, dass er in Ihren Systemen Daten abrufen und Aktionen auslösen kann – stets unter Einhaltung der jeweiligen Berechtigungen.
Infrastruktur – wenn sie notwendig ist
Nur hier kommt Hardware zum Einsatz, und zwar ausschließlich in einem Fall: wenn aufgrund des Datenvolumens, der Latenz oder der Vertraulichkeit eine lokale Ausführung vorzuziehen ist. In diesem Fall dimensionieren wir auch die erforderliche Recheninfrastruktur.
Server, Speicher, Identitätsmanagement, Betrieb
Ein Dell-Server PowerEdge mit einem oder zwei NVIDIA-Grafikprozessoren für die Inferenz, dessen Dimensionierung sich nach der Anzahl der gleichzeitigen Nutzer und der Modellgröße richtet, die im Prototyp gemessen wurden; Speicherplatz für den Korpus und dessen Index; Azure „Local“ als Basis, wenn die Microsoft-Tools beibehalten werden sollen; „Foundry Local“ oder ein Modell mit offenen Gewichten. Vor der Auslieferung vorbereitet, an „ Entra ID “ angeschlossen und anschließend gewartet.
Wie wir das Projekt umsetzen
Fünf Schritte – und der erste ist der, den jeder überspringen möchte. Er ist auch derjenige, der seinen Wert behält, wenn man anschließend auf den Assistenten verzichtet.
Der Rahmen: Rechte, Korpus, Geltungsbereich
Die Zugriffskarte, Standort für Standort. Der Ausgangskorpus und sein Eigentümer. Was im Tenant gelesen werden kann und was in Ihren Räumlichkeiten verbleiben muss. Die tatsächlichen Fragen, die die Menschen heute stellen, zusammengefasst.
Die Architektur
Alleiniger Copilot, Hybrid oder rein lokal – die Entscheidung erfolgt anhand der Datenkarte und der Kostenschwelle. Falls Hardware erforderlich ist, wird diese hier dimensioniert, aber erst nach dem Prototyp bestellt.
Der Prototyp in Ihren Unterlagen
Ein Testkorpus, etwa zwanzig Nutzer, drei Wochen, auf vorhandener Hardware oder geliehener Ausrüstung, wenn es um die Räumlichkeiten geht. Wir messen die Genauigkeit der Antworten auf die erfassten Fragen, die Latenz und wie die Nutzer damit umgehen.
Validierung und Industrialisierung
Die Hardware (sofern vorhanden), die Integration in Ihre Systeme, die Protokollierung, die Überprüfung der Übergabe an den Menschen, die fachspezifische Schulung. Inbetriebnahme Abteilung für Abteilung.
Der tägliche Betrieb
Die gemeldeten Antworten werden erneut geprüft, die Rechte überprüft, die Vorlage getestet und bei Bedarf ersetzt, der Verbrauch überwacht. Entweder durch uns oder durch Ihr Team, das wir schulen.
Geschätzte Dauer: neun bis vierzehn Wochen vom ersten „ assessment “ bis zur Inbetriebnahme für einen ersten Korpus und etwa hundert Nutzer, ohne Berücksichtigung der Lieferzeit für die Hardware, falls zutreffend. Dies ist eine Größenordnung, keine feste Zusage: Die Messung ist Teil der Arbeit. Der erste Assistent ist nicht rentabel; der dritte, auf derselben Basis, ist es hingegen schon.
Geltungsbereich und Grenzen
Was ein Assistent nicht tut und was wir nicht versprechen. Hier niedergeschrieben, damit es im Lenkungsausschuss nicht ans Licht kommt.
Der Assistent kann sich irren – und das ganz selbstbewusst
Manchmal liefert ein Modell eine plausible, aber falsche Antwort. Die angegebene Quelle ist die Lösung: Mit einem Klick lässt sich die Richtigkeit überprüfen. Ohne Quellenangabe ist eine Antwort wertlos, und der Assistent ist so eingestellt, dass er dies mitteilt, anstatt etwas zu erfinden. Keine Einstellung kann dieses Risiko vollständig ausschließen.
Die Qualität der Unterlagen entscheidet über die Qualität der Antworten
Zehn Versionen eines Verfahrens ergeben zehn Antworten. Die Ordnung, die Festlegung der maßgeblichen Version und ein Verantwortlicher pro Korpus sind Teil des Projekts – oft die Hälfte davon. Diese Arbeit behält ihren Wert, egal was mit dem Assistenten geschieht.
Die Rechte werden auf die Probe gestellt
Was zu weit offen war, wird in einer Frage sichtbar. Die Feststellung der Rechte geht der Öffnung voraus; ohne sie öffnen wir nicht. Und sie wird bei jeder Überprüfung neu vorgenommen, weil sich die Aufteilungen ändern.
Die Kosten entstehen je nach Nutzung oder werden in Form von Material bezahlt
Online kostet jede Anfrage etwas, und die Rechnung kommt im dritten Monat. Vor Ort fallen jeden Monat Kosten für die Hardware und deren Betrieb an, unabhängig von der Nutzung. Wir berechnen beide Kosten über einen Zeitraum von drei Jahren, und anschließend prüft jemand die Rechnung.
Ein lokales Modell ist kleiner als ein öffentliches Modell
Es beantwortet Ihre Fragen oft besser – weil es Ihre Dokumente liest – und alles andere weniger gut. Es wird alle paar Monate ausgetauscht. Wir testen es anhand Ihrer Fragen, bevor wir es auswählen und bevor wir es austauschen.
Was wir nicht tun werden
Eine Vorführung als Verkaufsargument: Die dort gezeigten Dokumente sind ordentlich, sorgfältig ausgewählt und auf dem neuesten Stand – Ihre Arbeitsumgebung sieht jedoch nicht so aus. Wir nehmen die Messungen anhand Ihrer Dokumente und unter Berücksichtigung Ihrer Fragen vor – andernfalls ziehen wir keine Schlussfolgerungen.
Ähnliche Fälle und die dazugehörigen Seiten
Wann ein anderer Anwendungsfall der richtige ist – und welche Technologien dahinterstecken.
Assistent für Unternehmensdokumente
Wenn der gesamte Korpus in SharePoint und dort gelesen werden kann: Copilot oder ein Agent, nachdem die Berechtigungen bereinigt wurden. Der einfachste Fall.
Den Fall anzeigen Ähnlicher FallPrivater RAG
Wenn der Online-Dienst vertraglich ausgeschlossen ist: Alles muss in Ihren Räumlichkeiten stattfinden, einschließlich der Schnittstelle. Der anspruchsvollste Fall.
Den Fall anzeigen ArchitekturHybride künstliche Intelligenz
Wo verläuft die Grenze, was durchquert sie und was kostet es, sie aufrechtzuerhalten?
Zur Seite TechnologieMicrosoft Copilot
Eine reibungslose Einführung: Zuerst die Rechte klären, dann die tatsächliche Nutzung und schließlich die Messung.
Zur Seite TechnologieCopilot Studio
Die Stellenbeschreibung eines Mitarbeiters: Was er weiß, wozu er befugt ist, wann er die Verantwortung abgibt, wer ihn beaufsichtigt.
Zur Seite ArtikelDen Einsatz künstlicher Intelligenz, den Ihre Mitarbeiter bereits nutzen, begleiten
Warum Verbote nicht funktionieren und womit man anfangen sollte.
Den Artikel lesenSprechen wir über diesen Anwendungsfall
Sagen Sie uns, wonach Ihre Teams suchen und wo es aufbewahrt wird
Die Fragen, die sie heute an einen öffentlichen Mitarbeiter richten, die Dokumente, die zur Beantwortung herangezogen werden sollten, und diejenigen, die nicht nach außen gelangen dürfen. Wir kommen zurück auf die Architektur, die wir untersuchen würden, den ersten Korpus und darauf, was sich mit einem dreiwöchigen Prototyp messen ließe.
Was wir anbieten, ist ein Treffen mit den Ingenieuren, die die Arbeit ausführen werden. „ Assessment “, Prototypenentwicklung und Serienfertigung sind Teil des Projekts. Die vorherige Beratung ist hingegen kostenlos.
Renens, Sion, Châtel-Saint-Denis
Microsoft Solutions Partner und Dell Technologies Gold Partner. Der Supportmitarbeiter, die Berechtigungen, die Integration und – falls erforderlich – der Server, alles über denselben Ansprechpartner.
Renens VD +41 21 806 37 15
Sion VS +41 27 552 00 22
Châtel-Saint-Denis FR +41 26 322 59 05