AI security
AI güvenliği ve güvenli yapay zekâ kullanımı
Durmuş Ali Tamer · Kıdemli BT Proje Uzmanı · İstanbul
AI güvenliği, yalnızca modele yazılan komutla sınırlı değildir. Bir asistanın okuduğu belgeler, çağırdığı araçlar ve ürettiği çıktının gönderildiği sistemler de değerlendirilmelidir. Danışmanlık odağım, bu akışı görünür kılıp iş birimiyle teknik ekip arasında uygulanabilir kontrol ihtiyaçlarını netleştirmektir.
Kimler için?
Kurum içi chatbot, belge asistanı veya araç kullanabilen AI ajanı planlayan ekipler için. Başlangıçta verinin hassasiyetini, kullanıcı gruplarını ve sistemin dış dünyada hangi işlemleri yapabileceğini belirleriz.
Çalışma yaklaşımı
Verinin kaynaktan modele, modelden çıktıya kadar izlediği yolu inceleriz. Prompt injection, hassas bilgi ifşası, yetersiz çıktı kontrolü ve aşırı ajan yetkisi gibi OWASP LLM risklerini senaryoya göre değerlendiririz. Teknik uygulama ve güvenlik doğrulaması, ilgili uzmanlarla tanımlanmış kapsam içinde yürütülmelidir.
Birlikte belirleyebileceğimiz çıktılar
- Veri akışı ve güven sınırları haritası
- Rol bazında erişim ve araç yetkisi ihtiyaçları
- Risk önceliklerine göre kontrol ve doğrulama planı
- Olay bildirim, durdurma ve insan onayı senaryoları
Uygulamada nasıl görünür?
Örnek çalışma: Bir belge asistanının yalnızca kullanıcının erişim hakkı olan dosyalardan yanıt vermesi gerekir. Belge içindeki talimatların sistem yetkisi sayılmaması, dışarıya veri aktarımının sınırlandırılması ve kritik işlemlerin onaya bağlanması değerlendirme konularıdır.
Burada açıklanan hizmet risk analizi ve kontrol planlamasıdır. Sızma testi, güvenlik sertifikası veya sıfır risk garantisi olarak sunulmaz.
İlgili deneyim ve çalışmalar
Bu örnekler, yaklaşımın dayandığı proje, veri ve risk yönetimi deneyimini gösterir. Her biri kendi kapsamıyla değerlendirilmelidir.
- Risk Yönetim Sistemi (ISO 31000)
Erken tespit ve düzenli izlemeyi destekleyen, standartlarla uyumlu bir risk yönetim sistemi.
Sık sorulan sorular
Prompt injection nedir?
Kullanıcı girdisinin veya dışarıdan alınan içeriğin modeli amaçlanan davranıştan saptırmaya çalışmasıdır. Risk, sistemin veri erişimi ve araç yetkileriyle birlikte değerlendirilmelidir.
AI ajanlarına hangi yetkiler verilmeli?
Görevi tamamlamak için gereken en dar yetkiler tanımlanmalıdır. Veri silme, para transferi veya dışarıya ileti gönderme gibi etkili işlemler için ayrıca onay ve kayıt ihtiyaçları belirlenir.