سيمنع توجيه robots.txt الجديد الشركات من استخراج المحتوى للتدريب على الذكاء الاصطناعي.
تاداميتشي / شترستوك
جوجلأنثروبي, OpenAI ومايكروسوفت لديها ملتزم لاحترام توجيه robots.txt الجديد، والذي سيسمح للناشرين بتحديد تفضيلاتهم عندما يتعلق الأمر باستخلاص المحتوى الخاص بهم للتدريب على الذكاء الاصطناعي. قررت الشركات اعتماد أ عرض قيد النظر في IETF ، منظمة المعايير المفتوحة للإنترنت، كتبها القائد الفني الأنثروبيكي للمعايير كيفن كيلي.
وكما أوضح OpenAI و Google في إعلاناتهما، يتعين على مالكي مواقع الويب حاليًا تحديد برامج الزحف الفردية وإضافة قواعد منفصلة لكل مزود. سيغير اقتراح كيلي ذلك من خلال جعل العديد من شركات الذكاء الاصطناعي تتعرف على إشارة مشتركة واحدة وتحترمها. يجب على الناشرين إعداد وكيل مستخدم جديد في ملف robots.txt المخصص لتدريب الذكاء الاصطناعي، والذي سيبدو كما يلي:
وكيل المستخدم: __usage_ai-training
عدم السماح: /
السماح: /الصحافة-كيت/
سيؤدي ذلك إلى حظر برامج الزحف المخصصة خصيصًا لجمع البيانات لتدريب الذكاء الاصطناعي. يمنح قسم “السماح” مشغلي مواقع الويب خيار السماح باستخراج تدريب الذكاء الاصطناعي لأجزاء معينة من الصفحة، مثل ما إذا كانت هناك مجموعة أدوات صحفية عليها. لكن قسم وكيل المستخدم الجديد هذا لا يمنع الزحف تمامًا أو يمنع المحتوى من الظهور على بحث Google. على سبيل المثال، ستفسرها Google على وجه التحديد على أنها علامة توقف خاصة بوكيل المستخدم “Google-Extending”، الذي يقوم بالزحف إلى مواقع الويب بحثًا عن المواد المستخدمة لتدريب نماذج Gemini.
شيء آخر يجب ملاحظته هو أن هذا التوجيه لا يمكنه التراجع عن أي عملية تجريف سابقة قامت بها الشركات بالفعل. إذا قاموا بالزحف إلى صفحة من قبل، فهذا يعني أنهم حصلوا على محتواها بالفعل. سيؤدي هذا إلى منعهم من حذف مواقع الويب أو صفحات معينة في المستقبل. الأنثروبي بالفعل بدأت في دعم التوجيه الجديد، في حين مايكروسوفت وقالت إنها ستبدأ في دعمها في 1 فبراير 2027. وقالت جوجل إنها ستدعمها في أوائل عام 2027 أيضًا، بينما تعهدت OpenAI بتنفيذ الإشارة الجديدة في الأشهر المقبلة.
