Az utasítások felülírhatók
Egy célzott felhasználói kérés vagy az AI által feldolgozott tartalom eltérítheti a modell működését.
A szűrők és a rendszerutasítások önmagukban nem jelentenek teljes védelmet.
AI-tesztelés
Az AI követi az utasításokat. De vajon kiét?
Kiderítjük, mire lehet rávenni az AI-asszisztenst egy jól megfogalmazott kéréssel, mielőtt egy támadó jönne rá.
Üzleti kockázat
Az AI-t nemcsak kóddal, szavakkal is lehet támadni.
A chatbotok és AI-asszisztensek egyre gyakrabban férnek hozzá belső adatokhoz, dokumentumokhoz és eszközökhöz. Működésüket nemcsak programkód, hanem természetes nyelvű utasítások is befolyásolják. Ezt a támadók is kihasználhatják.
Az AI túl sokat árulhat el
A dokumentumokhoz vagy adatbázisokhoz kapcsolt modell érzékeny adatokat is kiadhat.
Rendszerutasítások, belső adatok és hozzáférési kulcsok is célpontok lehetnek.
A chatbot a cég nevében beszél
Ha egy manipulált chatbot hamis ígéretet tesz, bizalmas adatot ad ki vagy bántó választ ad, azért a céget teszik felelőssé.
Ha pedig az AI API-kat vagy eszközöket is hívhat, egy manipulált válaszból valódi művelet lehet.
AI/ML-penetrációs tesztelésre minősített (C-AI/MLPen) szakértőnk valós támadási technikákkal vizsgálja az AI-funkciókat. Minden megállapításhoz bizonyítékot és konkrét javítási javaslatot adunk. A legjobb idő a tesztre az élesítés előtt van.
Konzultáció kéréseMódszertan
Így teszteljük az AI-alapú alkalmazásokat.
Vizsgálatainkat az OWASP Top 10 for LLM Applications kockázataihoz igazítjuk, és C-AI/MLPen minősítésű szakértő végzi őket. Az AI-specifikus támadási technikákat webalkalmazás- és API-teszteléssel kombináljuk, mert az AI-funkciók mögött hagyományos rendszerek is működnek.
- Közvetlen prompt injection
- Közvetett prompt injection dokumentumokon és webes tartalmakon át
- Bemeneti szűrők és védelmi korlátok megkerülése
- Kontextusváltás és utasítások felülírása
- XSS a generált tartalomban
- SQL- és parancsbefecskendezés a modellen keresztül
- Hivatkozások és formázott tartalmak nem biztonságos megjelenítése
- Külső modellek, bővítmények és könyvtárak
- Modell- és telepítési konfigurációs hibák
- Adminisztrációs és hibakeresési felületek kitettsége
- Rendszerutasítások kiszivárgása
- Belső adatok és más felhasználók tartalmainak elérése
- API-kulcsok és hozzáférési adatok a modell kontextusában
- RAG-adatforrásokon keresztül elérhető információk
- Túl széles jogosultságokkal működő eszközök és API-k
- Nem kívánt műveletek előidézése egymásra épülő modellhívásokkal
- Jogosultság-ellenőrzés az eszközhívások mögött
- Hitelesítés és munkamenet-kezelés
- Hozzáférés-szabályozás a felhasználók és ügyfélkörnyezetek között
- Az AI-háttérrendszer API-biztonsága
- Rangsorolt megállapítások és konkrét javítási javaslatok
Konzultáció
A biztonság egy beszélgetéssel kezdődik.
Sablonos értékesítési bemutató helyett beszéljünk arról, hogyan érintik vállalatát az üzletmenet-folytonossági és működési kockázatok.