الاختيار تم قبل TEST
B1 اختير على DEV قبل فتح المجموعة النهائية، لذلك لم يتم تغيير القرار بعد رؤية نتائج TEST.
تقييم تجريبي مجمد
البحث العملي ونتائج التقييم
ملخص قابل للتدقيق لمنهجية إعداد البيانات، اختيار النماذج، الاختبار النهائي المقفل، ونتائج B0 وB1 وB2.
DATASET
تصميم مجموعة التقييم
المصدر الأصلي60,000URLs
المجموعة المقفلة1,000QR samples
DEV685337 benign • 348 phishing
TEST315163 benign • 152 phishing
SOURCE DATASET
Phishing and Legitimate Websites Dataset
Zenodo DOI: 10.5281/zenodo.21379702 • Version 1.0 • July 2026 • CC BY 4.0
SOURCE LABELS
31,641 phishing • 28,359 legitimate
استخدم التقييم URL والـlabel فقط من المصدر، بينما استخرج QRCheckSS ميزاته الخاصة ولم يستخدم الميزات الـ18 المحسوبة مسبقاً في ملف المصدر.
ضوابط النزاهة
تم منع تداخل النطاقات بين DEV وTEST، ولم يستخدم TEST في التدريب أو ضبط C أو اختيار threshold أو calibration. كما لم تتم إعادة التحليل الشبكي لـTEST بعد تشغيله النهائي.
FINAL HOLD-OUT
مقارنة النماذج على TEST المقفل
هذه النتائج تخص مجموعة الاختبار المقفلة ذات 315 عينة، وليست ادعاءً بدقة عالمية على جميع الروابط في الإنترنت.
| Metric | B0 | B1 Final | B2 Comparator |
|---|---|---|---|
| Accuracy | 52.38% | 98.10% | 97.46% |
| Recall | 1.32% | 99.34% | 98.68% |
| Specificity | 100% | 96.93% | 96.32% |
| F1 | 2.60% | 98.05% | 97.40% |
| Balanced Accuracy | 50.66% | 98.14% | 97.50% |
| MCC | 0.083 | 0.962 | 0.949 |
| AUC | — | 0.9972 | 0.9975 |
| Brier | — | 0.0169 | 0.0217 |
B1 CONFUSION MATRIX
نتيجة النموذج النهائي
Predicted Benign
Predicted Phishing
Actual Benign
158TN
5FP
Actual Phishing
1FN
151TP
ERROR ANALYSIS
تحليل الأخطاء وعدم اليقين
- B1 false positives: 5
- B1 false negatives: 1
- Balanced Accuracy bootstrap 95% CI: 0.9658–0.9939
- MCC bootstrap 95% CI: 0.9311–0.9874
- Paired B1 vs B2 McNemar exact p = 0.6875
- لا يوجد ادعاء تفوق إحصائي بين B1 وB2 على TEST
MODEL SELECTION
لماذا B1 هو النموذج النهائي؟
ميزات ثابتة قابلة للنشر
27 ميزة من الوجهة الأصلية لا تتطلب توفر طبقات ديناميكية متعددة، ما يجعل الإنتاج أكثر ثباتاً وقابلية لإعادة النتائج.
أداء threshold أفضل
رغم أن AUC لـB2 أعلى بفارق طفيف، حقق B1 نتائج أفضل في Accuracy وRecall وF1 وBrier وLog Loss في TEST.
PRODUCTION PARITY
من البحث إلى الإنتاج دون تغيير الحساب
Feature parity8505/8505exact matches
Predictions315/315matches
Probability315/315within 1e-12
Max difference5.55e-16floating-point
Production model: B1_STATIC_V1_RAW Threshold: 0.4075 Features: 27 Risk fusion: false Model integrity: VERIFIED Production model SHA-256: 26ccb66e78cf072e9e7c836d733c5ac4e0568378fbfc5047dac3ff612bb5d0d0
حدود الدراسة
المجموعة المصدرية تجمع روابط benign من Tranco وروابط phishing تاريخية من PhishTank، ولذلك قد توجد خصائص مصدرية/زمنية تساعد التمييز. النتائج قوية داخل مجموعة الاختبار المقفلة، لكن التعميم الواسع يتطلب تحققاً خارجياً على بيانات مستقلة وأكثر تنوعاً.