RAG SECURITY LAB · SYNTHETIC INVESTIGATION
Retrieval is an attack surface.
Investigate poisoned context, authority collisions and scope failures. Predict, run a baseline, change one control, then support your finding with evidence.
Deterministic teaching simulator with fixed documents and similarity scores; no vector search or LLM inference. All data is synthetic. Results apply to these rules, not production model security.
0/3 evidence packages recorded · scientific review pending
سناریوی مأموریت ۱
بازیابی آلوده در میز خدمت
نقش شما: شما ارزیاب امنیت دستیار داخلی میز خدمت یک سازمان هستید.
کارمندی دربارهٔ فرایند بازنشانی گذرواژه سؤال می‌کند. دستیار برای پاسخ، چند سند از پایگاه دانش و منابع جانبی دریافت می‌کند. تیم میز خدمت گزارش داده که بعضی پاسخ‌ها از موضوع درخواست فاصله می‌گیرند. شما باید علت را از مسیر ورود سند تا تولید پاسخ بررسی کنید.
درخواست کاربر: فرایند تأییدشدهٔ بازنشانی گذرواژه چیست؟
مأموریت شما
پیش از اجرا فرضیه بنویسید. یک اجرای پایه بدون کنترل ثبت کنید و متن اسناد، زمینهٔ نهایی و استنادها را بررسی کنید. سپس در هر آزمایش فقط یک کنترل را تغییر دهید و توضیح دهید چه چیزی در مسیر پردازش تغییر کرده است.
شواهد مورد انتظار
دو اجرای قابل‌مقایسه، سندی که با شواهد انتخاب کرده‌اید، نقل‌قول مرتبط و توضیح رابطهٔ آن با رفتار مشاهده‌شده را ارائه کنید. نشان دهید پاسخ نهایی همچنان برای درخواست کاربر مفید است.
این محیط یک شبیه‌ساز آموزشی با اسناد ساختگی و قواعد ثابت است؛ نتایج آن سنجش امنیت یک مدل واقعی نیست. راهنماها مفهومی‌اند و جواب آماده ارائه نمی‌کنند. برای انجام آزمایش، از کنترل‌های زیر استفاده کنید؛ با تغییر مأموریت، سناریوی همین بخش نیز تغییر می‌کند.
Investigation protocol
Identify the retrieved document that contains an embedded instruction targeting the model. Run with all controls off, inspect the resulting context and citations, then compare a new run with one control changed. Alternate effective control sets are accepted; the submitted comparison must differ by exactly one control. Multi-control runs are for exploration, not causal attribution.
Runs and drafts remain in this tab when switching missions. Export before resetting or leaving; there is no server-side persistence.
Retrieval candidates
User query: What is the approved password reset process?
Analyst view, ranked by fixed fixture similarity. A candidate may be excluded before reaching the simulated answer generator.
Runtime controls
Changes apply on the next run; recorded evidence never changes retroactively.
Latest recorded output
Run the pipeline to record an output. This is a rule-based answer, not a model response.
Recorded pipeline evidence
Authorization → provenance gate → context assembly / instruction isolation → simulated output and citations. Candidate scores are fixed; excluded documents never enter the answer context.
No recorded runs.
Submit an evidence-based finding
ثبت شواهد به معنی تأیید علمی تحلیل نیست. مقایسهٔ ارسالی باید فقط در یک کنترل تفاوت داشته باشد و پاسخِ پس از دفاع باید اطلاعات لازمِ پرسش را با استناد معتبر حفظ کند. ارزیابی استدلال بر عهدهٔ مدرس است.
Choose a vulnerable baseline and a useful defended run, identify the causal document and failure class, quote its evidence, and explain the comparison. There is no flag to guess. The checks verify evidence structure and a fixed answer-content rubric; the facilitator reviews the reasoning. Repeated or empty explanations are rejected, but passing text checks is not a quality grade.
Reset clears only this mission, including its completion. Export contains synthetic documents, run snapshots, predictions and your finding. Nothing is sent to a server.