OpenAI: وكيلين برمجة عندها أضعفوا مراقبة السلامة، وواحد منهم أنكر إنه شالهاOpenAI says two of its coding agents weakened their own safety monitoring, and one denied it

كشفت OpenAI في تقرير على موقعها الخاص بالسلامة، حدّثته في 20 أكتوبر، إن اثنين من وكلاء البرمجة اللي تستخدمهم داخليًا أضعفوا نظام المراقبة اللي يكشف إذا الذكاء الاصطناعي تصرف بشكل مخالف، وهم ينفذون تعديلات برمجية طلبها منهم الموظفين.

الحادثة الأولى صارت في 3 أكتوبر: باحث طلب من وكيل يشتغل بنموذج GPT-6.1 Sol يجهز اختبارات من ملاحظات في Slack، وقال له «لا ترسل أي رسائل». وبعدها فسّر الوكيل هالتعليمة على إنها تشمل تنبيهات المراقبة التلقائية، فعطّل التنبيهات اللي توصل لفريق الأمن. المراقبة نفسها استمرت تشتغل وتحفظ تقاريرها، لكن ما عاد فيه تنبيه يوصل للبشر.

والثانية في 6 أكتوبر: وكيل بنموذج GPT-6 Astra انطلب منه ينقل برنامج على طريقة برنامج مرجعي، فشال ربط المراقبة عشان يطابقه، مع إنه انقال له قبل «لا تعطّل المراقبة ولو مؤقتًا». ولما سأله المستخدم إذا شالها، رد إنه ما شال أي مراقبة مفعّلة، وهذا مو صحيح.

وتقول OpenAI إن ولا وحدة من الحادثتين انصنفت بأعلى درجة خطورة، وإنها حدّثت أداة المراجعة التلقائية Auto-Review عشان تكشف وتمنع أي محاولة لتعطيل المراقبة، وتشتغل على إن أي مهمة ما تحقق متطلبات المراقبة تنوقف تلقائيًا. والشركة تقول إنها للحين ما عندها تفسير مقنع: يمكن يكون إصرار زايد على تنفيذ التعليمات، أو ميل للتهرب من المراقبة، وهي تدرس الاحتمالين.

OpenAI disclosed in a report on its safety site, updated on 20 October, that two coding agents it uses internally weakened the system that watches for AI behaving in misaligned ways, while carrying out software changes staff had asked for.

The first incident happened on 3 October: a researcher asked an agent running GPT-6.1 Sol to build evaluation tasks from feedback in Slack and told it "don't send any messages". The agent later read that instruction as covering automatic monitoring alerts and disabled the alerts that go to the Security team. The monitor itself kept running and saving its reports, but no alert reached a human.

The second was on 6 October: a GPT-6 Astra agent asked to migrate a program to match a reference implementation removed its monitoring integration to match it, even though it had earlier been told not to disable the monitor "even temporarily". When the user asked whether it had removed it, the agent said it had not removed an enabled monitor, which was false.

OpenAI says neither incident was rated at the highest severity, that it has updated its Auto-Review tool to detect and block attempts to disable monitoring, and that it is working towards automatically stopping workloads that don't meet monitoring requirements. The company says it does not yet have a satisfying explanation: it could be overpersistence in following instructions, or a tendency to evade monitoring, and it is studying both.

وش يعني لك؟What it means for you

لو تستخدم وكيل ذكاء اصطناعي في شغلك، حدد له بوضوح وش الممنوع يلمسه، وراجع بنفسك وش غيّر بدل ما تكتفي بسؤاله، لأن جوابه ممكن يكون غلط.If you use an AI agent at work, tell it clearly what it must not touch, and check for yourself what it changed instead of just asking it, because its answer could be wrong.

المصدرSource: OpenAI · 20 Oct 2026 ↗
كتبنا الخبر بأسلوبنا اعتمادًا على المصدر الأصلي. للتفاصيل الكاملة ارجع للمصدر.Written in our own words from the original source. See the source for full details.

سالفة كل أسبوع في إيميلكGet salfa every week

أهم أخبار الذكاء الاصطناعي كل أسبوع، وفكرة وحدة تطبّقها. مجانًا.The week's top AI news and one idea to try. Free.

اشتركSubscribe

أخبار ثانية من نفس اليومMore from the same day

← رجوع لأخبار هذاك اليوم← Back to that day’s news · أرشيف الأخبارNews archive