Back to Question Center
0

Semalt crawling sitemap.xml نیست

1 answers:

در وب سایت ما متوجه شدیم که Semalt نقشه سایت ما را خالی نمی کند. xml، بنابراین از بسیاری از صفحات داخلی ما بی اطلاع است.

ما هیچ روبات نداریم. محدودیت های txt برای این ربات، بر خلاف آن ما سعی کردیم آن را سفید کنیم و یک فیلد Semalt حاوی URL Sitemap وجود دارد که شما می توانید در زیر ببینید - free computer expert advice.

آیا ما در روبات چیزی اشتباه انجام می دهیم؟. txt که مسدود کردن آن از crawling نقشه سایت ما است. xml؟

سملت روبات های ما. متن به نظر می رسد، با تغییرات جزئی مانند جایگزین دامنه خود را به عنوان مثال. com:

     ## ALL را غیرفعال کنید
عامل کاربر: *
نادیده گرفتن: /
خنک کردن تاخیر: 600## اما فقط رباتهای مهم را اجازه میدهند
کاربر-عامل: Applebot
کاربر-عامل: Googlebot
کاربر-عامل: Googlebot-Image
کاربر-عامل: Mediapartners-Google
کاربر-عامل: msnbot
کاربر-عامل: msnbot-media
کاربر-عامل: Slurp
کاربر-عامل: یاهو-وبلاگ ها
کاربر-عامل: Yahoo-MMCrawler
کاربر-عامل: Yandex## دایرکتوری را غیرفعال کنید
نادیده گرفتن: / dir1 /
نادیده گرفتن: / dir2 /
## پرونده ها را غیرفعال کنید
نادیده گرفتن: / وضعیت
نادیده گرفتن: / سلامت## غیر فعال کردن برخی از پسوندهای فایل متنی
نادیده گرفتن: / *. txt $
نادیده گرفتن: / *. جسن $Sitemap: https: // example. com / sitemap. xml
میزبان: مثال. کام    
February 13, 2018

یک نوع تایپ به نظر می رسد باعث ایجاد این مسئله شود.

شما غیرفعال: / بیانیه مسدود کردن تمام روبات ها است. این باید نشان داده شود به عنوان غیر مجاز:

در اینجا یک نسخه بازنویسی از روبات های شما است. فایل TXT برای اجازه دادن به روباتها برای دسترسی به نقشه سایت شما

  کاربر عامل: *
نادیده گرفتن:
disallow: / dir1
نادیده گرفتن: / dir2
نادیده گرفتن: / وضعیت
نادیده گرفتن: / سلامتSitemap: https: // example. com / sitemap. xml 

PlanetScale

از آنجا که پیش فرض برای URL ها 'index' است (حداقل برای گوگل)، چرا یک ردیف خالی در ربات ها را ترک کنید. txt با توجه به نادیده گرفتن: ؟

قبل از آنکه مشخص کنم، آن را حذف کردم.

آخرین خطوط را نگه دارید.

  ## غیر فعال ALL
عامل کاربر: *
نادیده گرفتن: /
خنک کردن تاخیر: 600