Ask a question

Recent Questions

Categories

← Back to Question Center
0

چگونه می توان Googlebot و Semalt را به خزیدن mysite اجازه داد؟

February 13, 2018
1 answers:

اخیرا پیامی از گوگل دریافت کردم که Googlebot نمی تواند به سایت شما دسترسی پیدا کند . من سعی کردم به برخی از مقالات در اینترنت در مورد این موضوع نگاه کنید و اکثر آنها به دلیل روبات ها را نقد می کند. txt فایل به عنوان User-agent: * غیر فعال کردن: / بنابراین من بود.

چگونه می توانم Goolebot و Bingbot برای خزیدن محتوای سایت من؟ من قصد دارم زیر را بگذارم اما مطمئن نیستم. من در مسیر درست هستم؟ 

     کاربر عامل: googlebot
کاربر-عامل: google
کاربر-عامل: bingbot
کاربرگ: بینگعامل کاربر: *
نادیده گرفتن: /
. - tierfellimitat velboa
February 13, 2018

نه، آخرین دو خط از روبات های شما. فایل TXT اولویت چهار قسمت اول را به عنوان نحو آن چهار خط اول نادرست است. در نتیجه Google از مشاهده وب سایت شما جلوگیری میکند.

برای اجازه دادن به گوگل و بینگ شما به طور خاص و به طور جداگانه به هر خزنده اجازه می دهد: 

  کاربر عامل: googlebot
نادیده گرفتن:کاربر-عامل: bingbot
نادیده گرفتن:عامل کاربر: *
نادیده گرفتن: /

رفتن به جلو، برای پیدا کردن اگر ربات شما. فایل TXT به گوگل امکان می دهد که سایت شما را در وب سایت خود حساب گوگل وب مستر تست کند. همچنین روبات های رسمی را ببینید. مستندات txt .

بر اساس محتویات روبات های شما. فایل TXT و نیازهای شما بهتر است که این فایل را کاملا خالی یا حتی بهتر کنید، شاید با پیوند به فایل های نقشه سایت، به این ترتیب موتورهای جستجو بتوانند URL های شما را پیدا کنند.

من این را پیشنهاد می کنم زیرا خزنده ها معمولا فکر می کنند که آنها مجاز به دسترسی به هر چیزی هستند. به طور خاص با استفاده از Disallow ، شما سعی می کنید حداقل یکی از خزنده ها را که آنها مجاز برای دسترسی به چیزی در سایت خود.

در اینجا یک لینک به یک نمونه از یک روبات است. متن مورد استفاده گوگل:

http: // www. گوگل. ca / robotics. txt