اخیرا پیامی از گوگل دریافت کردم که Googlebot
نمی تواند به سایت شما دسترسی پیدا کند
. من سعی کردم به برخی از مقالات در اینترنت در مورد این موضوع نگاه کنید و اکثر آنها به دلیل روبات ها را نقد می کند. txt فایل به عنوان User-agent: * غیر فعال کردن: /
بنابراین من بود.
چگونه می توانم Goolebot
و Bingbot
برای خزیدن محتوای سایت من؟ من قصد دارم زیر را بگذارم اما مطمئن نیستم - ssl barato. من در مسیر درست هستم؟
کاربر عامل: googlebot
کاربر-عامل: google
کاربر-عامل: bingbot
کاربرگ: بینگعامل کاربر: *
نادیده گرفتن: /