Prompt Injection
Technika, pri ktorej útočník vloží skryté inštrukcie do vstupu s cieľom obísť systémové obmedzenia a získať neautorizovaný prístup k funkciám modelu.
Detaily ochrany
Nasadenie LLM (Large Language Models) v produkčnom prostredí prináša špecifické riziká, ktoré presahujú rámec tradičnej IT bezpečnosti. Tieto modely sú náchylné na manipuláciu prostredníctvom vstupu, čo vyžaduje nasadenie pokročilých filtračných mechanizmov a validáciu dát v reálnom čase.
Naša metodika sa zameriava na elimináciu vektorov útoku už vo fáze inferencie. Pre hlbšie pochopenie problematiky odporúčame preštudovať náš Technický glosár pojmov, ktorý definuje základné parametre odolnosti systémov.
Technika, pri ktorej útočník vloží skryté inštrukcie do vstupu s cieľom obísť systémové obmedzenia a získať neautorizovaný prístup k funkciám modelu.
Detaily ochranyKontaminácia trénovacej sady dát škodlivými vzormi, ktoré môžu ovplyvniť logiku rozhodovania modelu v špecifických scenároch.
Transparentnosť dátPokusy o extrakciu citlivých informácií z parametrov modelu analýzou odpovedí na špecificky konštruované dopyty.
Terminológia| Parameter útoku | LLM v1.0 (Legacy) | LLM v2.4 (Secured) | Miera úspešnosti obrany |
|---|---|---|---|
| Direct Injection | 42% zraniteľnosť | 0.8% zraniteľnosť | 98.1% |
| Indirect Injection | 28% zraniteľnosť | 1.2% zraniteľnosť | 95.7% |
| Jailbreaking (DAN) | 15% zraniteľnosť | 0.1% zraniteľnosť | 99.3% |
Zdroj: Interné testovanie Terracotta Co, kvartál Q3 2023. Dáta reprezentujú priemerné hodnoty z 10,000 testovacích cyklov.
Publikované texty a analýzy predstavujú súhrn verejne dostupných technologických poznatkov, priemyselného výskumu a edukačných materiálov. Obsah slúži výhradne na referenčné účely a nepredstavuje profesionálne finančné poradenstvo ani právne odporúčania v oblasti kybernetickej bezpečnosti.
Kontaktujte našich inžinierov pre audit vašich súčasných systémov a návrh bezpečnostnej architektúry.
Späť na prehľad