Crawl Budget چیست؟
Crawl Budget تعداد صفحاتی است که Googlebot در یک بازه زمانی مشخص در یک وب سایت می خزد و فهرست می کند.
چرا Crawl Budget برای سئو مهم است؟
به طور خلاصه: اگر گوگل صفحه ای را ایندکس نکند، برای هیچ چیز رتبه ای نخواهید داشت.
بنابراین اگر تعداد صفحات شما بیشتر از بودجه خزیدن سایت شما باشد، صفحاتی در سایت خود خواهید داشت که ایندکس نشده اند.
گفته می شود، اکثریت قریب به اتفاق سایت های موجود در آنجا نیازی به نگرانی در مورد بودجه خزیدن ندارند. گوگل در پیدا کردن و فهرست کردن صفحات واقعا خوب است.
با این حال، چند مورد وجود دارد که می‌خواهید به بودجه خزیدن توجه کنید:
شما یک سایت بزرگ راه اندازی می کنید: اگر یک وب سایت (مانند یک سایت تجارت الکترونیک) با بیش از 10 هزار صفحه دارید، گوگل در یافتن همه آنها مشکل دارد.
شما به تازگی یک دسته از صفحات را اضافه کرده اید: اگر اخیراً یک بخش جدید با صدها صفحه به سایت خود اضافه کرده اید، می خواهید مطمئن شوید که بودجه خزیدن برای ایندکس کردن سریع همه آنها را دارید.
تعداد زیادی تغییر مسیر: بسیاری از زنجیره های تغییر مسیر و تغییر مسیر بودجه خزیدن شما را می خورند.
با آن، در اینجا چند راه ساده برای به حداکثر رساندن بودجه خزیدن سایت شما وجود دارد.
بهترین شیوه ها
بهبود سرعت سایت
بهبود سرعت صفحه سایت شما می تواند منجر به خزیدن ربات گوگل در URL های سایت شما شود.
در واقع گوگل بیان می کند که:
سریع‌تر کردن سایت، تجربه کاربران را بهبود می‌بخشد و در عین حال نرخ خزیدن را نیز افزایش می‌دهد.
به عبارت دیگر:
صفحات با بارگذاری آهسته زمان ارزشمند Googlebot را هدر می دهند.
اما اگر صفحات شما به سرعت بارگذاری می شوند، Googlebot زمان کافی دارد تا صفحات بیشتری از شما را بازدید و فهرست بندی کند.
از لینک های داخلی استفاده کنید
Googlebot صفحاتی را که دارای تعداد زیادی لینک خارجی و داخلی هستند در اولویت قرار می دهد.
بله، در حالت ایده آل شما بک لینک هایی دریافت می کنید که به تک تک صفحات سایت شما اشاره می کنند. اما این در بیشتر موارد واقع بینانه نیست.
به همین دلیل است که پیوند داخلی بسیار کلیدی است.
پیوندهای داخلی شما Googlebot را به تمام صفحات مختلف سایت شما که می خواهید ایندکس شوند ارسال می کند.
به گفته گوگل:
آدرس‌هایی که در اینترنت محبوب‌تر هستند معمولاً بیشتر خزیده می‌شوند تا در فهرست ما بروز تز باقی بمانند.»
به همین دلیل است که می خواهید از معماری وب سایت مسطح در سایت خود استفاده کنید.
یک معماری مسطح همه چیز را طوری تنظیم می کند که تمام صفحات سایت شما دارای قدرت پیوندی باشد که به آنها جریان می یابد.
گوگل برای یافتن صفحات فقیر واقعاً مشکل دارد. بنابراین اگر می‌خواهید بیشترین استفاده را از بودجه خزیدن خود ببرید، مطمئن شوید که حداقل یک پیوند داخلی یا خارجی وجود دارد که به هر صفحه در سایت شما اشاره می‌کند.
محتوای تکراری را محدود کنید
محدود کردن محتوای تکراری به دلایل زیادی هوشمندانه است.
همانطور که مشخص است، محتوای تکراری می تواند به بودجه خزیدن شما آسیب برساند.
این به این دلیل است که گوگل نمی‌خواهد منابع را با فهرست کردن چندین صفحه با محتوای یکسان هدر دهد.
بنابراین مطمئن شوید که 100٪ صفحات سایت شما از محتوای منحصر به فرد و با کیفیت تشکیل شده است.
این برای سایتی با بیش از 10 هزار صفحه آسان نیست. اما اگر می‌خواهید از بودجه کرال خود بیشترین بهره را ببرید، امری ضروری است.
