תחום ליבה
בינה מלאכותית שפועלת צריכה אבטחה שחושבת קדימה.
אנחנו מלווים ארגונים באימוץ AI יוצר, אפליקציות LLM וסוכני AI בעיניים פקוחות: בודקים איך המערכות נכשלות, מתכננים איך שולטים בהן וקובעים כללים לשימוש בהן.
ה-AI עובר משלב המענה לשלב הפעולה.
מודלי שפה מחוברים היום לדואר האלקטרוני, למסמכים, למאגרי קוד, למערכות פניות ול-API של מערכות ייצור. ברגע שמודל יכול להפעיל כלים, משפט אחד ממקור לא מהימן יכול להפוך לפעולה עסקית.
בדיקות אבטחה מסורתיות לאפליקציות אינן בוחנות את התנהגות המודל, ורוב תוכניות הממשל נכתבו לפני שסוכני AI היו קיימים. כך נוצר משטח תקיפה חדש בין אנשים, נתונים ואוטומציה, ולעיתים קרובות אין לו בעלים.
אבטחת AI סוגרת את הפער הזה. היא מאיצה את האימוץ, כי הסיכונים מובנים, תחומים ומנוטרים.
איפה תוקפים מערכות AI
נקודת סיכון
- אנשים וקלטמשתמשים, מסמכים, דוא״ל, דפי אינטרנט
- הזרקת הנחיות ישירה
- הזרקת הנחיות עקיפה
- אפליקציהעוזרים, Copilots ותזמור
- טיפול לא בטוח בפלט
- דליפת הנחיות מערכת
- מודלמודלים מתארחים, מותאמים או פתוחים
- עקיפת מגבלות
- חשיפת מידע רגיש
- צריכה בלתי מוגבלת
- כלים וסוכניםשרתי MCP, תוספים, API וסוכנים אחרים
- הרשאות עודפות
- שימוש לרעה בכלים
- חטיפת מטרת הסוכן
- מידע וזיכרוןRAG, מאגרי וקטורים, זיכרון סוכנים
- אחזור מורעל
- הרעלת זיכרון
- מידע עם הרשאות עודפות
בכל השכבות: ניצול זהויות והרשאות · שרשרת האספקה של AI · פערי תיעוד וניטור
מה אנחנו עושים
- סקר אבטחת AI
- בחינה מובנית של אפליקציה או פלטפורמת AI: ארכיטקטורה, זרימות מידע, זהויות, מנגנוני הגנה ותרחישי ניצול לרעה, עם ממצאים מתועדפים.
- Red Team ל-AI ולמודלי שפה
- בדיקות התקפיות של התנהגות המודל והאפליקציה שסביבו: הזרקת הנחיות (Prompt Injection), הוצאת מידע, עקיפת מגבלות, שימוש לרעה בכלים ותוצרים מזיקים.
- אבטחת סוכני AI ו-MCP
- בחינת סוכנים, הרשאות כלים, שרתי MCP (Model Context Protocol), זיכרון ואמון בין סוכנים, כך שלאוטונומיה יהיו גבולות ברורים.
- ארכיטקטורה מאובטחת ומידול איומים
- תכנון אבטחה ל-RAG, למאגרי וקטורים, לשערי מודלים ול-API של AI, לפני שהם עולים לייצור.
- ממשל וסיכוני AI
- מדיניות, מצאי מערכות, הערכת סיכונים ובקרות שמאפשרים להנהלה לאשר שימוש ב-AI בביטחון, בהתאמה למסגרות מוכרות.
- ניטור ומוכנות לאירועי AI
- תיעוד, זיהוי ותרחישי תגובה לאירועים ייחודיים ל-AI, בחיבור ל-SOC ולתוכנית התגובה לאירועים הקיימת.
איך מתנהל פרויקט
מיפוי
מצאי של שימושי AI, מודלים, מקורות מידע, כלים והגורמים האחראים עליהם.
מידול איומים
מיפוי גבולות אמון ותרחישי ניצול לכל שימוש, מדורגים לפי השפעה עסקית.
בדיקה
בדיקות התקפיות ידניות ומבוססות כלים, לפי כללי עבודה מוסכמים.
הקשחה וממשל
תיקונים מתועדפים, הנחיות ארכיטקטורה, בקרות ממשל ובדיקה חוזרת.
מה ההנהלה מקבלת
- אימוץ מהיר ובטוח
- אוטונומיה תחומה
- החלטות מבוססות
העמקה טכנית
לאנשי המקצוע
לארכיטקטי אבטחה ולצוותי פיתוח: תמונת האיומים, המתודולוגיה ומה אנחנו בודקים.
תרחישי איום שאנחנו בודקים
- הזרקת הנחיות ישירה ועקיפההוראות שמוחדרות דרך קלט המשתמש או דרך תוכן שהמודל קורא: מסמכים, דפי אינטרנט, הודעות דוא״ל ותשובות של כלים.
- חטיפת מטרת הסוכןשינוי המטרה שהסוכן מנסה להשיג, כך שיבצע פעולות שבעליו לא התכוונו אליהן.
- הרשאות עודפות ושימוש לרעה בכליםסוכנים עם הרשאות, פונקציות או אוטונומיה רחבות מהנדרש, וכלים שמופעלים עם פרמטרים בשליטת התוקף.
- חשיפת מידע רגישדליפה של מידע אישי, סודות, הנחיות מערכת או תוכן קנייני דרך תוצרי המודל או הלוגים.
- חולשות RAG ומאגרי וקטוריםאחזור מורעל או בעל הרשאות עודפות, שחזור מידע מ-Embeddings וחשיפת מידע בין לקוחות.
- טיפול לא בטוח בפלטפלט המודל מועבר ללא בדיקה לדפדפן, למעטפת (Shell), ל-SQL או למערכות המשך.
- הרעלת זיכרון והקשרמניפולציה מתמשכת בזיכרון הסוכן או בהקשר משותף שמשפיעה על החלטות עתידיות.
- שרשרת האספקה של AIמודלים, מאגרי נתונים, תוספים, חבילות ושרתי MCP לא מהימנים שנכנסים לסביבה.
- ניצול זהויות והרשאותסוכנים ושירותי AI שמשתמשים בהרשאות מורשות, משותפות או ארוכות טווח.
- צריכה בלתי מוגבלתניצול שגורם לעלויות חריגות, למניעת שירות או להעתקת המודל.
מה אנחנו בוחנים
- ארכיטקטורה וזרימת מידעגבולות אמון בין משתמשים, רכיבי תזמור, מודלים, כלים ומאגרי מידע.
- זהות והרשאותאיך סוכנים מזדהים, אילו הרשאות יש להם, והאם הקשר המשתמש נאכף מקצה לקצה.
- מנגנוני הגנהסינון קלט ופלט, אכיפת מדיניות, נקודות אישור אנושי ועמידותן בפני עקיפה.
- שכבת ה-MCP והכליםמקור השרתים, תיאורי כלים, אימות פרמטרים, הרצה בסביבה מבודדת והרשאות מינימליות.
- סודות ומפתחותאחסון ורוטציה של מפתחות API וחשיפתם בהנחיות, בלוגים ובקוד צד לקוח.
- ניטורתיעוד הנחיות וקריאות לכלים, זיהוי חריגות והעברה מסודרת ל-SOC.
תוצרים אופייניים
- מודל איומים ל-AIגבולות אמון ותרחישי ניצול ברמת השימוש העסקי.
- דוח ממצאיםממצאים ניתנים לשחזור, מדורגים לפי השפעה עסקית, עם הנחיות תיקון.
- תקציר מנהליםתמונת הסיכון במונחים עסקיים, כולל ההחלטות הנדרשות מההנהלה.
- מפת דרכים לבקרותבקרות טכניות ובקרות ממשל מתועדפות, עם תוכנית לבדיקה חוזרת.
מסגרות שאנחנו עובדים לפיהן
המסגרות משמשות אותנו לבניית העבודה. התאמה אליהן אינה מעידה על הסמכה.
- OWASP Top 10 for LLM Applications (2025)
- OWASP Top 10 for Agentic Applications (2026)
- NIST AI RMF 1.0 והפרופיל ל-AI יוצר (NIST AI 600-1)
- MITRE ATLAS
- ISO/IEC 42001 (מערכות ניהול AI), כמסגרת ייחוס לממשל
שאלות שמנהלים שואלים
אנחנו משתמשים רק בעוזר AI מסחרי. האם אנחנו צריכים אבטחת AI?
כן, בהיקף שמתאים לסיכון. השאלות הן אילו נתונים העובדים יכולים לשתף, אילו חיבורים מופעלים, איך מנוהלת הגישה ומה מתועד. בדרך כלל מספיקה בחינה ממוקדת של ממשל והגדרות.
במה Red Team ל-AI שונה ממבדק חדירות?
מבדק חדירות מחפש חולשות טכניות באפליקציות ובתשתיות. Red Team ל-AI בודק גם את התנהגות המודל: האם אפשר לגרום למערכת להדליף מידע, לבצע פעולות לא רצויות או לעקוף את המדיניות שלה. בדרך כלל אנחנו משלבים את השניים.
האם אפשר לפתור הזרקת הנחיות לחלוטין?
לא בטכנולוגיה הקיימת. מנהלים את הסיכון באמצעות תכנון: הגבלת מה שהמודל יכול להגיע אליו, הפרדה בין תוכן מהימן ללא מהימן, אישור אנושי לפעולות רגישות וניטור השימוש בכלים.
מה זה MCP ולמה זה חשוב?
Model Context Protocol הוא תקן נפוץ לחיבור עוזרי AI וסוכנים לכלים ולמידע. כל שרת MCP הוא בפועל אינטגרציה חדשה עם הרשאות ושרשרת אספקה משלה, וצריך לבחון אותו בהתאם.
בואו נדבר על תוכנית ה-AI שלכם.
ספרו לנו מה אתם בונים או מטמיעים, ונציע את הדרך הקצרה לתמונת סיכון מבוססת.