we-make.ai

Der KI-Sicherheitscheck

Der KI-Sicherheitscheck ist eine strukturierte Prüfung eines produktiven oder geplanten KI-Systems: Wir gehen den Datenfluss durch, greifen das System mit wiederholbaren Testfällen an und übergeben eine priorisierte Befundliste. Gedacht ist er für Unternehmen, die einen KI-Assistenten, einen Agenten oder ein lokales Modell betreiben oder einführen. Geprüft werden Architektur, Rechte und angebundene Werkzeuge, das Modell ist nur ein Teil davon.

Was geprüft wird

Die Prüfung beginnt beim Datenfluss und nicht beim Modell. Fünf Bereiche gehen wir in dieser Reihenfolge durch:

Datenfluss

Wir zeichnen auf, welche Daten in das System hineingehen, wo sie verarbeitet werden, wer die Antworten sieht und was das System außerhalb seiner selbst auslöst. Diese Zeichnung ist der Ausgangspunkt für alle weiteren Schritte und deckt viele Probleme auf, bevor ein einziger Test läuft.

    Injection-Tests

    Der erste Testblock greift den System Prompt direkt an, der zweite bringt Anweisungen indirekt ins Spiel: über Dokumente, E-Mails oder Webseiten, die das System verarbeitet. Geprüft wird, ob das System mitspielt und worauf es in diesem Moment zugreifen kann.

      Zugelieferte Bausteine

      Wir sehen uns an, woher das Modell stammt und welche Bibliotheken, Plugins und Datenquellen angebunden sind. Ein kompromittierter Baustein vererbt sein Risiko an die gesamte Anwendung, auch wenn die eigene Konfiguration sauber ist.

        Rechte und Werkzeuge

        Was darf der Assistent oder Agent ausführen, mit welchem Konto und nach wessen Freigabe? Hier zeigt sich, wie groß der Schaden wäre, wenn das Modell eine Anfrage vollständig missversteht oder ein Angriff gelingt.

          Befundliste

          Jede Feststellung bekommt eine Einschätzung von Aufwand und Wirkung und einen Platz in der Reihenfolge. So entscheiden Sie auf einer belastbaren Grundlage, was zuerst umgesetzt wird.

            Wie die Zeichnung des Datenflusses aussieht und wo sensible Daten dabei auftauchen, zeigt die Seite zu Datenflüssen in KI-Systemen. Die Angriffswege hinter den Tests beschreiben wir auf eigenen Seiten: Prompt Injection (OWASP LLM01), Supply Chain (OWASP LLM03) für die zugelieferten Bausteine und Excessive Agency (OWASP LLM06) für Rechte und Werkzeuge.

            Ablauf

            Umfang und Dauer richten sich nach der Zahl der angebundenen Systeme; was geprüft wird, legen wir im Kickoff fest. Der Check läuft in vier Schritten:

            1. Kickoff. Gemeinsam mit Ihrem Team zeichnen wir den Datenfluss des Systems und legen fest, welche Teile geprüft werden und gegen welche Umgebung die Tests laufen.
            2. Prüfung. Die Tests laufen nach Absprache gegen ein Test- oder Produktivsystem. Betreibt ein Dienstleister das System, holen wir vorher dessen Einverständnis ein.
            3. Befundgespräch. Wir gehen die Befunde mit Ihnen durch, zeigen die Nachweise und besprechen die Reihenfolge der Maßnahmen.
            4. Nachprüfung. Sind die wichtigsten Maßnahmen umgesetzt, lassen wir die betroffenen Testfälle erneut laufen.

            Was Sie am Ende in der Hand haben

            Das Ergebnis ist ein Dokument, mit dem Ihre IT, Ihr Dienstleister und die Geschäftsführung gleichermaßen arbeiten können. Es besteht aus vier Teilen:

            • Eine Befundliste: je Befund eine Beschreibung, der Nachweis, die Einschätzung von Aufwand und Wirkung und die empfohlene Reihenfolge der Umsetzung.
            • Das Datenflussdiagramm aus dem Kickoff, ergänzt um die Stellen, an denen die Prüfung etwas gefunden hat.
            • Das Testprotokoll der Injection-Fälle mit Eingabe, Antwort des Systems und Bewertung, damit sich jeder Fall später wiederholen lässt.
            • Auf Wunsch die Nachprüfung, sobald die wichtigsten Maßnahmen umgesetzt sind.

            Für wen der Check gedacht ist

            Zuerst für Unternehmen, deren KI-System wir selbst gebaut haben oder gerade bauen, etwa einen Assistenten auf lokaler KI-Infrastruktur. Dort kennen wir die Architektur bereits und können die Härtung direkt in das Projekt einplanen. Setzen Sie KI-Werkzeuge von anderen Anbietern ein, prüfen wir nach Absprache mit dem Betreiber.

            Ein Netzwerk-Pentest ist der Check nicht. Er prüft das KI-System in seiner Architektur: Prompt, Index, Rechte und Werkzeuge. Wo ein Penetrationstest der Infrastruktur nötig ist, sagen wir das im Befund.

            Wer prüft

            Portraitfoto von Jonas Heschl, Gesellschafter & Technologie bei we-make.ai

            Jonas Heschl

            Gesellschafter & Technologie

            Jonas Heschl verantwortet den KI-Sicherheitscheck und ist Ihre Ansprechperson. Ausgezeichnet ist er als Preisträger der Austria Cyber Security Challenge 2025, Kategorie Senior.

            Bei we-make.ai baut er die KI-Systeme, die er prüft: Assistenten auf eigenen Servern, Agenten und ihre Anbindung an Fachanwendungen. Wer die Stellen kennt, an denen beim Bauen Rechte großzügig vergeben werden oder ein Index die Berechtigungen der Ablage verliert, weiß beim Prüfen, wo er zuerst nachsehen muss.

            Mehr über unser Team erfahren

            Förderung verfügbar, Antragsfrist läuft

            DIGITAL.PLUS 26: Bis zu € 7.000 Zuschuss für dieses Projekt

            KMU mit Standort in Oberösterreich können dieses Projekt im Rahmen von DIGITAL.PLUS 26 mit einem Zuschuss von bis zu 35 % der Projektkosten (max. € 7.000) fördern lassen, sofern sie aktives Mitglied der WKO Oberösterreich sind. Projektstart ab sofort möglich, Antragstellung bis 2. November 2026.

            Förderung prüfen

            Häufige Fragen zum KI-Sicherheitscheck

            Brauchen Sie dafür Zugriff auf unser Produktivsystem?

            Nicht zwingend. Am aussagekräftigsten ist ein Testsystem, das dieselben Datenquellen, denselben Index und dieselben Rechte hat wie der Betrieb, denn ein Injection-Test zeigt nur, worauf das geprüfte System tatsächlich zugreifen kann. Gibt es kein solches Testsystem, prüfen wir im Produktivsystem mit einem eigenen Testkonto, in einem vereinbarten Zeitfenster und ohne Aktionen, die sich nicht zurücknehmen lassen. Ein Test, der eine E-Mail auslösen würde, geht an eine Testadresse.

            Prüfen Sie auch einen Chatbot, den ein Dienstleister für uns betreibt?

            Ja, mit dessen schriftlichem Einverständnis. Wir stimmen mit dem Dienstleister ab, welche Testfälle laufen, in welchem Zeitraum und über welche Zugänge, und nennen ihm eine Ansprechperson. Lehnt er Angriffstests ab, bleibt der Teil, den Sie selbst in der Hand haben: welche Daten Sie dem Chatbot geben, welche Rechte sein Konto in Ihren Systemen hat und was er dort auslösen darf. Die Befundliste trennt dann sauber zwischen Ihren Maßnahmen und den Fragen an den Dienstleister.

            Was unterscheidet den Check von einem Penetrationstest?

            Ein klassischer Penetrationstest sucht nach offenen Diensten, veralteter Software und Fehlkonfigurationen in Netz und Servern. Ein Angriff auf ein KI-System nimmt oft einen erlaubten Weg: ein Dokument, das ein Mitarbeiter hochlädt, oder eine E-Mail, die der Assistent zusammenfasst. Kein Netzwerkscanner sieht darin etwas Auffälliges. Ein bestandener Penetrationstest sagt deshalb nichts darüber, ob Ihr Assistent Personalakten an die falsche Person ausgibt. Beide Prüfungen ergänzen sich, einen KI-Penetrationstest im Sinne eines Netzwerktests ersetzt der Check nicht.

            Wie oft sollte ein KI-System geprüft werden?

            Bei jeder Änderung an Werkzeugen, Datenquellen oder Modell, und ohne solche Änderung mindestens jährlich. Ein neues Werkzeug erweitert, was ein Angreifer über das System auslösen kann; eine neue Datenquelle bringt Inhalte mit, die Anweisungen enthalten können; ein neues Modell reagiert auf dieselben Testfälle anders als das alte. Weil die Testfälle wiederholbar sind, lässt sich jedes neue Ergebnis direkt gegen das letzte halten. Wer viel ändert, nimmt die Tests in den eigenen Freigabeprozess auf.

            Können wir die Befunde selbst umsetzen?

            Meistens ja. Viele Befunde sind Einstellungen: ein Konto mit engeren Rechten, eine Freigabe vor dem Versand, ein Index, der die Berechtigungen der Ablage übernimmt. Die Befundliste ist so geschrieben, dass Ihre IT oder Ihr Dienstleister danach arbeiten kann. Wo eine Maßnahme die Architektur verändert, etwa eine Prüfschicht vor dem Modell oder der Umzug auf lokale KI-Infrastruktur, unterstützen wir bei der Umsetzung. Die Nachprüfung zeigt in beiden Fällen, ob die Maßnahme greift.

            Lassen Sie Ihr KI-System prüfen, bevor es jemand anderes tut.

            Im ersten Gespräch gehen wir durch, welches System Sie einsetzen oder planen und welche Daten und Werkzeuge daran hängen. Daraus ergibt sich der passende Prüfumfang.

            Sicherheitscheck anfragen Zur Übersicht KI-Sicherheit

            Oder schreiben Sie uns direkt: [email protected]  |  +43 660 31 96 763

            Zuletzt aktualisiert: