أقدم لك أفضل ملف robots txt جاهز وشرح شامل بهذا المقال فتأكد من قرائته إلى الأخير لأنه يتفاعل كل روبوت زاحف لمحرك البحث أولاً مع ملف robots.txt الخاص بالموقع، مما يشكل أهمية لهذا الملف، وهذا يعني أن ملف robots.txt يلعب دورًا محوريًا في تحسين محركات البحث (SEO) لمدونة Blogger. سيرشدك هذا المقال حول كيفية إنشاء ملف robots.txt مخصص ومحسّن بشكل جيد لـ Blogger وكيفية فهم تبعات الصفحات المحظورة التي يتم الإبلاغ عنها بواسطة Google Search Console.
محتوى المقال
ما هي وظائف ملف robots.txt؟
يخبر ملف robots.txt محركات البحث بالصفحات التي يجب فهرستها والتي لا يجب فهرستها. يتيح لنا ذلك التحكم في عملية الزحف لجميع عناكب الويب. في ملف robots.txt، يمكننا التحكم في نشاط الزحف لكل وكيل مستخدم عن طريق السماح لهم أو منعهم. يمكننا أيضًا إعلان خرائط الموقع الخاصة بنا لمحركات البحث مثل جوجل، بينغ، ياندكس، إلخ، حتى تتمكن هذه المحركات من العثور بسهولة على محتوانا وفهرسته.
وظيفة العلامات الوصفية (meta tags) للروبوتات هي التحكم في فهرسة الصفحات على مستوى الصفحة، أي يجب أن تكون الصفحة مرئية في نتائج البحث أم لا.
عادةً ما نستخدم العلامات الوصفية للروبوتات لفهرسة أو عدم فهرسة منشورات المدونة والصفحات وأنواع أخرى من محتوى الويب عبر الإنترنت. ونستخدم ملف robots.txt للتحكم في الروبوتات الخاصة بمحركات البحث. يمكنك السماح بفهرسة الموقع بالكامل، لكن ذلك سيستهلك ميزانية الزحف للموقع. للحفاظ على ميزانية الزحف للموقع، عليك حظر أقسام البحث والأرشيف والتصنيفات في الموقع.
تُستخدم العلامة الوصفية للروبوتات على مستوى الصفحة لتحديد ما إذا كان يجب أن تكون صفحة الويب مرئية في نتائج محركات البحث (SERP). بالإضافة إلى ذلك، يساعد ملف يسمى robots.txt في التحكم في كيفية تصرف روبوتات محركات البحث على الموقع. إذا سمحنا للروبوتات بالزحف بحرية عبر موقعنا بالكامل، فقد يستهلك ذلك الكثير من الموارد. لإدارة هذا الأمر، يمكننا استخدام ملف robots.txt لإخبار الروبوتات بعدم الزحف إلى أجزاء معينة، مثل أقسام البحث والأرشيف والتصنيفات. بهذه الطريقة، نحافظ على الموارد ونتأكد من تركيز الروبوتات على الأجزاء المهمة من موقعنا.
الملف الافتراضي robots.txt لمدونة Blogger.
لتحسين ملف robots.txt لمدونة Blogger، نحتاج أولاً إلى فهم هيكل نظام إدارة المحتوى (CMS) وتحليل الملف الافتراضي robots.txt. الملف الافتراضي robots.txt لمدونة Blogger-
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.example.com/sitemap.xmlالسطر الأول (User-Agent) من هذا الملف يحدد نوع الروبوت. هنا هو Google AdSense، والذي لا يتم منعه على أي صفحة (يتم التصريح عنه في السطر الثاني). هذا يعني أن إعلانات AdSense يمكن أن تظهر في جميع أنحاء الموقع.
وكيل المستخدم التالي هو *، مما يعني أن جميع روبوتات محركات البحث ممنوعة من الوصول إلى صفحات /search. هذا يعني منع جميع صفحات البحث والملصقات (نفس هيكلية الروابط).
ويسمح بوسم tag لتعريف أن جميع الصفحات الأخرى غير القسم الممنوع يمكن زحفها.
السطر التالي يحتوي على خريطة موقع post لمدونة Blogger.
هذا ملف شبه مثالي للتحكم في روبوتات محركات البحث وتقديم تعليمات حول الصفحات التي يمكن زحفها أو عدم زحفها. لكن هذا الملف يسمح بفهرسة صفحات الأرشيف، مما يمكن أن يسبب مشكلة المحتوى المكرر. هذا يعني أنه سيخلق محتوى غير مفيد لمدونة Blogger، لذلك سوف أقدم لك من خلال الفقرة التالية أفضل ملف Robots Txt جاهز يمكنك نسخه ولصقه في مدونتك مع تعديل رابط المدونة فقط.
تحسين ملف Robots.txt لمدونة بلوجر
فهمنا كيف يقوم ملف robots.txt الافتراضي بأداء وظيفته لمدونة بلوجر. دعونا نحسنه للحصول على أفضل نتائج في تحسين محركات البحث (SEO).
يسمح ملف robots.txt الافتراضي بفهرسة الأرشيف، مما يسبب مشكلة المحتوى المكرر. يمكننا منع هذه المشكلة عن طريق منع الروبوتات من الزحف إلى قسم الأرشيف. لهذا الغرض، سيؤدي /search* إلى تعطيل الزحف إلى جميع صفحات البحث والتصنيفات.
تطبيق قاعدة Disallow /20* في ملف robots.txt سيوقف الزحف إلى أقسام الأرشيف. قاعدة /20* ستمنع الزحف إلى جميع المنشورات، لذلك لتجنب ذلك، علينا تطبيق قاعدة Allow جديدة للقسم /*.html التي تسمح للروبوتات بالزحف إلى المنشورات والصفحات.
تشمل خريطة الموقع الافتراضية المنشورات، وليس الصفحات. لذا يجب عليك إضافة خريطة موقع للصفحات الموجودة تحت الرابط https://example.blogspot.com/sitemap-pages.xml أو https://www.example.com/sitemap-pages.xml للنطاق المخصص. يمكنك تقديم خرائط مواقع بلوجر إلى Google Search Console للحصول على نتائج جيدة.
إذن، سيكون أفضل ملف Robots Txt جاهز جديد ومخصص ومثالي لمدونة بلوجر كالتالي:
User-agent: Mediapartners-Google
Disallow:
User-agent: * # to select all crawling bots and search engines
Disallow: /search* # to block all user generated query item within the website.
Disallow: /20* # this line will disallow archieve section of Blogger.
Disallow: /feeds* # this line will disallow feeds. Read instruction below
Allow: /*.html # allow all post and pages of the blog
#sitemap of the blog
Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap-pages.xml- /search* سيعطل الزحف لجميع صفحات البحث والتصنيف.
- قم بتطبيق قاعدة Disallow /20* في ملف robots.txt لإيقاف الزحف على أقسام الأرشيف.
- Disallow: /feeds* هذه القاعدة ستمنع الزاحفين من الزحف إلى قسم الخلاصة. ولكن إذا لم تقم بإنشاء خريطة موقع XML جديدة لـ Blogger، فلا تستخدم هذا السطر.
- قاعدة /20* ستمنع الزحف إلى جميع المشاركات، لذلك لتجنب ذلك، يجب علينا تطبيق قاعدة Allow جديدة لقسم /*.html الذي يسمح للروبوتات بالزحف إلى المشاركات والصفحات.
عليك استبدال www.example.com بنطاق مدونتك على Blogger أو اسم النطاق المخصص لك. على سبيل المثال، افترض أن اسم النطاق المخصص لك هو www.saidmedia.pro؛ في هذه الحالة سيكون ملف السايت ماب على https://www.saidmedia.pro/sitemap.xml. بالإضافة إلى ذلك، يمكنك التحقق من ملف robots.txt الحالي على https://www.example.com/robots.txt.
في الملف أعلاه، يتم تحديد أفضل ممارسات robots.txt لتحسين محركات البحث (SEO). سيساعد ذلك في توفير ميزانية الزحف الخاصة بالموقع ويساعد مدونة Blogger على الظهور في نتائج البحث. عليك كتابة محتوى متوافق مع تحسين محركات البحث (SEO) للظهور في نتائج البحث.
تأثيرات في وحدة تحكم محرك البحث بعد تنفيذ هذه القواعد في ملف robots.txt
من المهم ملاحظة أن Google Search Console قد تبلغ أن بعض الصفحات محظورة بواسطة ملف robots.txt الخاص بك. ومع ذلك، من الضروري التحقق من الصفحات المحظورة. هل هي صفحات محتوى أم صفحات بحث أو أرشيف؟ لا يمكننا عرض صفحات البحث والأرشيف، ولهذا السبب يتم حظر هذه الصفحات.
ولكن إذا كنت ترغب في السماح للروبوتات بفهرسة الموقع بالكامل، فيجب عليك تكوين علامة meta للروبوتات وملف robots.txt بطريقة:
- يسمح ملف robots.txt للزواحف بفهرسة الموقع بالكامل.
- تمنع علامة Meta للروبوتات الصفحات غير الهامة من الفهرسة.
قد يؤدي دمج ملف robots.txt الخاص بمدونة Blogger وعلامات Meta للروبوتات إلى استنفاد ميزانية الزحف، ولكن البديل الأفضل هو تعزيز تحسين محركات البحث (SEO) لمدونة Blogger.
كيف تقوم بتنفيذ ملف Robots.txt على بلوجر؟
بعد نسخك لكود أفضل ملف robots txt أعلاه يجب إضافته لمدونة بلوجر، ولكن نعلم جميعاً أن ملف Robots.txt يقع في المستوى الجذري للموقع. نظرًا لعدم وجود وصول إلى الجذر في بلوجر، فكيف يمكنك تعديل هذا الملف robots.txt؟ يمكنك الوصول إلى ملفات الجذر مثل robots.txt من خلال قسم الإعدادات في بلوجر.
- اذهب إلى لوحة تحكم بلوجر وانقر على خيار الإعدادات،
- قم بالتمرير لأسفل إلى قسم العناكب والفهرسة،
- قم بتمكين ملف robots.txt المخصص عبر زر التبديل.
- انقر على robots.txt المخصص؛ ستفتح نافذة. الصق ملف robots.txt وقم بالتحديث.
بعد تحديث ملف robots.txt المخصص لمدونة بلوجر، يمكنك التحقق من التغييرات بزيارة نطاقك مثل https://www.example.com/robots.txt، حيث يجب استبدال www.example.com بعنوان نطاقك.
الخاتمة.
لقد استكشفنا وظيفة ملف robots.txt وقمنا بإنشاء ملف robots.txt مخصص مثالي لمدونة بلوجر. في ملف robots.txt الافتراضي، يُسمح أيضًا بفهرسة قسم الأرشيف، مما يسبب مشاكل في تكرار المحتوى لمحرك البحث. يمكن أن يؤدي هذا الالتباس إلى عدم اعتبار جوجل لأي صفحة ضمن نتائج البحث.
تذكر، قد يقوم Google Search Console بالإبلاغ عن الصفحات المحجوبة، لكن من الضروري فهم أي الصفحات محجوبة ولماذا. سيساعدك هذا الفهم في تحسين موقعك للحصول على نتائج أفضل في تحسين محركات البحث.
آمل أن تكون هذه المقالة مفيدة لك. إذا كان لديك أي شكوك أو أسئلة بخصوص robots txt شرح SEO في بلوجر أو ووردبريس، لا تتردد في التعليق أدناه.
ملف robots txt جاهز
robots txt
robot txt google
ملف robots txt
robots txt شرح
أفضل ملف robots txt
ملف robots txt مخصّص
تفعيل محتوى ملف robots txt مخصص
