مقالات آموزشی

خطا Submitted URL blocked by robots.txt در سرچ کنسول

خطا Too Many Redirects در سرچ کنسول

در این مطلب از وب سایت مشاوران بازاریابی اینترنتی جَم قصد داریم به خطا Submitted URL blocked by robots.txt و بررسی علت و روش‌های رفع ارور Submitted url blocked by robots.txt بپردازیم. خطا Submitted URL blocked by robots.txt در سرچ کنسول به معنای آن است که URL ارسالی توسط فایل robots.txt مسدود شده است. معمولا حجم زیادی از کاربران در ایندکس کردن محتوای سایت خود و یا در ایجاد محدودیت ربات‌های موتورهای جستجوگر جهت خزیدن در قسمت‌های مختلف سایتشان با مشکلاتی مواجه می‌شوند. یکی از متداول‌ترین مشکلات، ارور submitted url blocked by robotstxt است. در واقع هنگامی‌که به بخش coverage گوگل می‌روید و با صفحات ایندکس گوگل نشده مواجه می‌شوید، باید فایل robots.txt را بررسی نمود.

در فایل robots.txt وردپرس شما قادر به ایجاد دسترسی‌های خودکار برای خزنده‌ها و ربات‌های موتور جستجوگر گوگل هستید. درصورتی که با خطا Submitted URL blocked by robots.txt در سرچ کنسول مواجه شدید، بدان معناست که در این فایل به درستی مجوزهای دسترسی تعریف نشده است و یا اینکه شما خود اقدام به محدود کردن این دسترسی‌ها نموده‌اید. به‌منظور رفع ارور Submitted url blocked by robots.txt باید ابتدا صفحه موردنظر را با robots.txt tester گوگل بررسی و تست نمایید و سپس فایل robots.txt را ویرایش کنید. در ادامه بیشتر به معرفی و رفع خطای Blocked by robots.txt خواهیم پرداخت.

چگونه بررسی می کنید که آیا URL توسط robots.txt مسدود شده است؟

برای نحوه تشخیص خطا Submitted URL blocked by robots.txt باید دو راه زیر را انجام داد. یکی از این روش‌های مراجعه به بخش robots.txt tester وب مستر گوگل می‌باشد. از دیگر روش‌های مشاهده گزارش وضعیت ایندکس بودن سایت و بررسی خطا Submitted URL blocked by robots.txt، گزارش  وضعیت فهرست در Rank Math’s analytics است.

روش بررسی خطا Submitted URL blocked by robots.txt از طریق سرچ کنسول

به‌منظور بررسی خطا Submitted URL blocked by robots.txt در گوگل سرچ کنسول باید به تب Coverage و قسمت Error همانند شکل زیر بروید:

ارور submitted url blocked by robotstxt

سپس باتوجه به شکل زیر روی خطا Submitted URL blocked by robots.txt بزنید:

رفع ارور Submitted url blocked by robotstxt

درصورتی که روی خطا Submitted URL blocked by robots.txt کلیک کنید، فهرستی از صفحه‌هایی که بوسیله فایل robots.txt شما بسته شده است را مشاهده خواهید کرد:

چگونه بررسی می کنید که آیا URL توسط robots txt مسدود شده است؟

روش بررسی ارور submitted url blocked by robotstxt از طریق Rank Math’s Analytics

با استفاده از گزارش وضعیت ایندکس شدن در Rank Math’s Analytics می‌توان صفحات مشکل‌دار را شناسایی نمود. بدین منظور باید در داشبور وردپرس به بخش Rank Math > Analytics بروید و در گام بعد روی تب Index Status بزنید. در این صفحه شما real data/status صفحه سایت و وجود آن‌ها در گوگل را بدست خواهید آورد.

رفع ارور Submitted url blocked by robotstxt

علاوه‌بر اینکه شما می‌توانید با استفاده از منو کشویی، وضعیت فهرست پست‌ها را فیلتر نمایید. فلبتر نمودن وضعیت خاص بدان معناست که امکان مشاهده پست‌هایی با وضعیت یکسان را خواهید داشت.

error submitted url blocked by robotstxt

بعد از اینکه لیست صفحات برگرداننده این وضعیت را دریافت کردید، می‌توانید اقدام به عیب‌یابی و رفع ارور Submitted url blocked by robots.txt نمایید.

رفع ارور Submitted url blocked by robots.txt

به منظور برطرف کردن خطا، باید در فایل robots.txt دستورات اضافه را که موجب بسته شدن دسترسی گوگل به سایت شده است را حذف نمایید. سپس در مجددا درخواست ایندکس کردن سایت از گوگل را ارسال کنید. بدین منظور باید بررسی کنید که پیکربندی فایل robots.txt سایت شما به درستی انجام شده است. با استفاده از ابزار تست فایل robots.txt گوگل می‌توان برای بررسی این فایل استفاده نمود و مطمئن شد هیچ دستورالعملی مانع از دسترسی گوگل بات به سایت شما نگردد.

در صورت مشاهده دستورالعملی که مانع از دسترسی گوگل بات به سایت شما شده، باید اقدام به حذف آن یا جایگزین موردی مجازتر نمایید. در ادامه به روش بررسی فایل robots.txt و رفع خطای آن با robots.txt tester می‌پردازیم:

رفع خطا Submitted URL blocked by robots.txt با robots.txt tester

بدین منظور باید مراحل زیر را طی کرد:

مرحله اول

در گام اول باید به robots.txt tester بروید. درصورتی که سرچ کنسول شما با بیشتر از یک سایت ارتباط داشته باشد، سایتتان را از لیست سایت‌های سمت راست بالا که در عکس زیر نشان داده شده است انتخاب نمایید. در این زمان گوگل اقدام به بارگذاری فایل robots.txt شما می‌کند.

بررسی فایل robotstxt

مرحله دوم

در این مرحله باید URL سایتتان را در پایین ابزار و گزینه مورد نظر وارد کنید.

رفع خطای submitted url blocked by robotstxt

مرحله سوم

در کادر متن سمت راست از منو کشویی، user-agent را که تصمیم به شبیه سازی آن دارید (Googlebot) را انتخاب نمایید.

شناسایی علت خطای submitted url blocked by robotstxt

مرحله چهارم

در این مرحله باید روی گزینه تست کلیک کنید تا اعتبار سنجی صورت گیرد. درصورتی دسترسی خزنده براساس کانفینگ کردن و پیکربندی فایل robots.txt به URL، اعتبارسنجی فورا انجام می‌گیرد. بدین سبب گزینه تست را انتخاب کنید تا مشخص شود URL بلاک شده و یا تایید شده است. از طرفی ویرایگشر کد در مرکز صفحه نیز دستور بسته شدن در فایل ربات تکست را برجسته نموده است. همانند شکل زیر که دسترسی به بلاگ و wp-admin را مسدود نموده است.

آیا URL توسط robots txt مسدود شده است؟

مرحله پنجم

درصورتی که تست کننده فایل robots.txt دستورهایی را مبنی بر جلوگیری از دسترسی یافت، شما می‌توانید در ویرایشگر کد دستور را به صورت صحیح ویرایش نمایید و بار دیگر آزمایش را انجام دهید. اما باید توجه داشته باشید که هر تغییری که در اینجا لحاظ می‌کنید را باید در فایل ربات تکست سایت خود کپی و جایگذاری نمایید.

رفع خطا Submitted URL blocked by robots.txt با Rank Math

برای رفع ارور Submitted url blocked by robots.txt با روش Rank Math مراحل زیر را انجام دهید:

مرحله اول

در ابتدا باید فایل ربات تکست خود را با Rank Math ویرایش نمایید. بدین منظور باید طبق مراحل شکل زیر به فایل ربات تکست در Rank Math بروید:

رفع خطا Submitted URL blocked by robots.txt با Rank Math

نکته: درصورتی که این گزینه برای شما وجود ندارد باید اطمینان حاصل کنید که در Rank Math از حالت پیشرفته استفاده می‌کنید. در قسمت ویرایشگر کدی را که از فایل ربات تکست کپی کرده‌اید را جایگذاری نمایید. بعد از تست روی گزینه Save Changes بزنید تا تغییرات شما اعمال گردد.

ویرایش Robots.txt با Rank Math

با انجام این تغییرات، دسترسی گوگل به سایت شما فراهم می‌شود و خطا Submitted URL blocked by robots.txt برطرف می‌گردد.

علت ایندکس نشدن صفحات در گوگل

یکی از مهم‌ترین اقدامات برای سئو و بهینه سازی سایت، برطرف نمودن خطاهای سرچ کنسول است. اغلب سئوکاران و وب مستران حداقل یکبار با مشکلات و خطاهای سرچ کنسول روبرو شده‌اند. بررسی و برطرف نمودن این خطاها یکی از مواردی است که در طراحی وب سایت می‌بایست بدان توجه شود. یکی از قسمت‌های پرکاربرد سرچ کنسول، بخش Coverage می‌باشد.

در قسمت سمت راست Coverage گزارش وضعیت ایندکس شدن صفحه‌های سایت برای شما نمایش داده شده است. شما در این بخش با مشکلات فنی که مانع کسب رتبه‌های بالاتر در نتیجه‌های گوگل می‌شود آشنا خواهید شد.

Index Coverage به شما امکان مشاهده صفحاتی که گوگل سعی در ایندکس نمودن آن‌ها را دارد، خواهد داد. البته این بخش به شما خطاهای احتمالی که موجب ایندکس نشدن سایت شما شده‌اند را نیز نشان می‌دهد.

با استفاده از فایل robots.txt و کدهای موجود در آن، شما امکان تعیین کردن صفحاتی که می‌بایست توسط گوگل ایندکس شوند را خواهید داشت. حال آنکه اگر فایل robots.txt به درستی پیکربندی نشده باشد و یا شما خود اقدام به محدود نمودن دسترسی کرده باشید، صفحات شما ایندکس نخواهد شد. و شما با خطا Submitted URL blocked by robots.txt مواجه می‌شوید. همچنین درصورتی که شما بخواهید از ایندکس شدن صفحاتی از سایت خود جلوگیری کنید نیازی به قرار دادن فایل robots.txt در هاست خود نخواهید داشت.

زیرا به صورت دیفالت تمامی صفحات بوسیله ربات‌های گوگل بررسی می‌گردند و برای جلوگیری از ایندکس شدن صفحات باید آدرس صفحاتی که نمی‌خواهید ایندکس شود را در فایل robots.txt قرار دهید. مشاهده خطا Submitted URL blocked by robots.txt، به شما این اخطار را می‌دهد که صفحات شما ایندکس نشده است. در ادامه به معرفی و رفع خطای Blocked by robots.txt خواهیم پرداخت.

خطا Submitted URL blocked by robots.txt چیست؟

ارور submitted url blocked by robotstxt نشان دهنده آن است که آدرس صفحه مورد نظر شما URL صفحه، توسط robots.txt مسدود شده است. در این حالت ربات‌های گوگل امکان خزش در این صفحات را نخواهند داشت. خطا Submitted URL blocked by robots.txt بدین دلیل است که شما خود در فایل robots.txt برخی صفحات سایت را تعیین کرده‌اید که توسط ربات‌های گوگل خزش نشوند. درواقع در دو صورت خطا Submitted URL blocked by robots.txt رخ می‌دهد.

هنگامی که آدرس صفحه شما در نقشه سایت (سایت مپ) وجود نداشته باشد. یا زمانی که آدرس صفحه در سایت مپ وجود داشته باشد، اما توسط افزونه‌های وردپرس یا کدنویسی دستی و .. شما در robots.txt به گوگل اجازه بررسی صفحه را نداده باشید.

خطا Submitted URL blocked by robots.txt

در این حالت آدرس صفحه شما بوسیله robots.txt محدود شده است و خطا Submitted URL blocked by robots.txt رخ می‌دهد. رایج‌ترین دلیل این خطا عدم پیکربندی درست فایل robots.txt می‌باشد.