گوگل می‌گوید خطای ۴۰۴ بخشی طبیعی از کراول کردن وب سایت ها هستند و حتی ممکن است تا 40٪ از آدرس های یک سایت در کنسول جستجو 404 باشند.
خطاهای ۴۰۴ در کنسول جستجوی گوگل
جان مولر یک از کارکنان ارشد بخش سرچ کنسول گوگل می‌گوید : طبیعی است اگر ۳۰ تا ۴۰ درصد از آدرس هایی که در گزارش‌های کنسول جستجو نشان داده می‌شوند، خطای ۴۰۴ را برگردانند.
او این مورد را طی جلسه‌ی در آوریل ۲۰۱۹ (گوگل سرچ سنترال ) برای سئو مطرح کرد، جایی که ما همچنین آموختیم غیرممکن است که مانع از کراول گوگل برای آدرس هایی که دیگر وجود ندارند بشویم.
گوگل ممکن است سال‌ها پس از حذف آدرس ها ی یک وبسایت، همچنان تلاش کند آنها را کراول کند، و وبسایت‌ها هیچ کاری نمی‌توانند برای جلوگیری از این اتفاق انجام دهند.
بنابراین خطای ۴۰۴ اجتناب‌ناپذیرند، حتی برای دقیق‌ترین سئو های انجام شده.
یک سئو کار به نام راب یانگ، سوالاتی را مطرح کرد که این اطلاعات را هفته‌ی گذشته از جان مولر بیرون کشید.
یانگ یک سایت دارد که در کنسول جستجو خطای ۴۰۴ برای آدرس هایی نشان می‌دهد که برای ۸ سال وجود نداشتند. این آدرس ها قبلا ریدایرکت 401 شده‌اند و هیچ لینکی به آنها اشاره نمی‌کند.
او می‌خواهد بداند این طبیعی است یا خیر. پاسخ مولر به سوال او این است:
پاسخ جان مولر در مورد کراول کردن آدرس های قدیمی توسط گوگل‌بات
مولر می‌گوید ۸ سال یک زمان طولانی برای تداوم کراول کردن آدرس های غیرموجود است، اما این غیرممکن نیست.
اگر گوگل ببیند که یک آدرس در گذشته وجود داشته، ممکن است هر از چند وقت دوباره تلاش کند که آن را کراول کند.
اگر می‌دانید آدرس ها وجود ندارد، می‌توانید آن را در گزارش کنسول جستجو نادیده بگیرید.
هفت یا هشت سال به نظر یک زمان واقعا طولانی می‌آید… اگر در گذشته چیزی را دیده باشیم، هر از چند وقت ممکن است دوباره تلاش کنیم آن را کراول کنیم.
در ادامه سوال ، یانگ می‌پرسد آیا راهی وجود دارد که او بتواند سیگنال قوی‌تری به گوگل بفرستد که آن آدرس ها دیگر وجود ندارند.
آیا گوگل هرگز تلاشی برای توقف کراول ، آدرس های حذف شده خواهد کرد؟
من فکر نمی‌کنم بتوانم تضمین کنم که حداقل آدرس های آن را بررسی نخواهیم کرد. این یکی از آن مواردی است که ما آن آدرس ها را در سیستم خود داریم و می‌دانیم که در مقطعی مفید بودند، بنابراین در فرصت مناسب دوباره آنها را بررسی خواهیم کرد.
این مشکلی ایجاد نمی‌کند. ما فقط آنها را دوباره بررسی می‌کنیم و یک گزارش به شما نشان می‌دهیم و می‌گوییم: “اوه، دوباره این کار را انجام دادیم و لینک موجودنیست.””
با توجه به حجم خطای ۴۰۴ های موجود در گزارش کنسول جستجو، یانگ یک سوال دیگری از مولر می پرسد.
او توضیح می دهد که این فقط چندآدرس نیست که خطای ۴۰۴ را برمی‌گردانند، بلکه حدود 30-40% از آدرس های موجود در گزارش 404 است.
آیا این طبیعی است؟
این کاملاً درست است. این کاملاً طبیعی است، به خصوص برای سایتی که دارای نوسانات زیادی است. اگر این یک سایت طبقه بندی شده باشد که لیست های طبقه بندی شده ای دارد که برای یک ماه معتبر هستند، پس انتظار می رود که این لیست ها حذف شوند. و سپس ما، طی سال ها، انبوهی از این URLها را جمع آوری می کنیم و دوباره آنها را امتحان می کنیم. و اگر آنها 404 یا 410 برگردانند، هر چقدر باشد. کاملاً درست است.
فکر نمی‌کنم این برای ما غیرعادی به نظر برسد. اینطور نیست که ما آن را به عنوان سیگنال کیفیت ببینیم یا هر چیزی.
تنها زمانی که فکر می‌کنم خطای ۴۰۴ ها مشکلی برای سایت ما ایجاد کنند . زمانی است که صفحه اصلی خطای ۴۰۴ را نشان می دهد. سپس ممکن است این یک وضعیت باشد که ما (گوگل) بگویم :
“اوه، من نمی‌دانم که آیا این سایت هنوز فعال است یا خیر.”
اما اگر قسمت هایی از سایت خطای ۴۰۴ هستند، هر چه باشد. این یک مسئله فنی است، و مهم نیست.”
گوگل می‌تواند آدرس ها را مدت‌ها پس از حذف نگهداری کند و ممکن است در هر زمان آنها را دوباره بررسی کند. با این حال، نیازی نیست که وقتی در کنسول جستجو برای آدرس هایی که قرار نیست آنجا باشند، کد 404 می‌بینید، استرس داشته باشید.
منبع مقاله : سایت searchenginejournal
