AgentShield Bench
بنچمارک امنیت عامل — بنچمارک امنیت عاملهای هوش مصنوعی در tool-calling و MCP — تزریق پرامپت، سوءاستفاده از ابزار و مقایسه متریک حمله.
این صفحه دموی POC است، نه سامانه تحویلی. خدمت متناظر: امنیت سایبری · هاب دموها.
دموی نمونه تعاملیبرای مدیر: نتیجه کسبوکار
عامل tool-calling بدون آزمون خصمانه وارد MCP و ابزار سازمانی میشود.
سناریوهای حمله، گراف فراخوانی ابزار، مقایسه عاملها و متریکهای ASR/BTCR/FRR روی بنچمارک.
- ۱۱ دسته حمله
- tool-calling + MCP
- طبقهبندهای SetFit
- گراف فراخوانی
«قبل از اتصال عامل به ابزار واقعی، حمله را روی نیمکت بسنجید.»
مستندات عمومی
چه میکند؟
AgentShield Bench یکی از محصولات پورتفولیوی هوش مصنوعی آریا اِیآی است. نسخه عمومی روی Hugging Face یک دموی نمونه است؛ نسخه تولید با یکپارچهسازی داده، SSO و audit trail استقرار مییابد.
بنچمارک امنیت عاملهای هوش مصنوعی در tool-calling و MCP — تزریق پرامپت، سوءاستفاده از ابزار و مقایسه متریک حمله.
درخواست پایلوت از طریق فرم تماس سایت با ذکر علاقه به AgentShield Bench ثبت میشود تا محدوده داده، قیود و معیار موفقیت مشخص گردد.
چه کسی از آن استفاده میکند؟
تیم امنیت محصول، سازندگان عامل سازمانی و کسانی که MCP یا tool-calling را به سیستم داخلی وصل میکنند.
خروجی دمو «نمونه تعاملی» است؛ آپلود زنده فایل سازمانی روی Space عمومی توصیه نمیشود.
کاربرد در صنایع
امنیت محصول AI
آزمون خصمانه عامل قبل از تولید.
SOC / AI SOC
سیاست ابزار و تزریق پرامپت.
پلتفرم MCP
ارزیابی misuse و excessive agency.
حاکمیت مدل
متریک ASR، FRR و مقایسه عامل.
توسعه عامل
دمو طبقهبند روی ورودی سفارشی.
پژوهش
مجموعه سناریو و مدلهای AgentShield.
برای مهندس: Pipeline و معماری
Scenario → agent + tools/MCP → classifiers → ASR/BTCR/FRR dashboard
معماری مرجع از README اسپیس روی Hugging Face پیروی میکند. استقرار تولید با Docker، متغیر محیطی و اتصال به سامانه موجود انجام میشود.
پشته فنی
- Python
- SetFit
- Gradio
- sentence-transformers
متریکهای قابل بازتولید
| بنچمارک | جزئیات | نتیجه |
|---|---|---|
| Attacks | 11 categories | injection → skill poison |
| Classifiers | prompt / tool / trust / policy | SetFit |
| Bench | ASR BTCR FRR SLR | comparison |
| Agent | secure-agent demo | tool graph |
سوالات پرتکرار
AgentShield Bench چه مسئلهای را حل میکند؟
AgentShield Bench برای «تشخیص تزریق پرامپت در ورودی کاربر یا سند» است. بنچمارک امنیت عاملهای هوش مصنوعی در tool-calling و MCP — تزریق پرامپت، سوءاستفاده از ابزار و مقایسه متریک حمله. این صفحه دموی POC است نه سامانه تحویلی.
ورودی و خروجی AgentShield Bench چیست؟
ورودی: متن پیام، سند یا دستور ابزار. خروجی قابل نقلقول: کلاس injection/benign و امتیاز. متریک Hub بدون حجم نمونه سازمان SLA نیست.
آیا Space عمومی AgentShield Bench جایگزین استقرار سازمانی است؟
خیر. Hugging Face برای ارزیابی است. شکست رایج: دستور پنهان در سند که عامل را منحرف کند. production یعنی on-prem یا VPC و کنترل دسترسی.
چطور پایلوت را شروع کنیم؟
فرم تماس خانه (سازمان، صنعت، شرح مسئله) را بفرستید. قیمت در صفحه دمو اعلام نمیشود.