فصل سیزدهم کتاب سئو وردپرس 2020- فایل Robots.txt

فایل Robots.txt , یک فایل متنی ساده است که حاوی دستورالعمل های مختلف

برای موتورهای جست وجو و ربات های دیگری که از سایت شما دیدن می کنند است.

این شامل جزئیاتی در پوشه ها و فایل های خاص است

که موتورهای جست وجو باید و یا نباید سر بزنند.

برای مثال، می توانید به موتورهای جست وجو بگویید که

همه فایل های Robots.txt داخل یک پوشه خاص روی سرور شما را نادیده بگیرند.

اگر می دانید برای محدود کردن دسترسی یک خزنده به سایت خودتان

به فایل Robots.txt نیاز دارید، می توانید توصیه های زیر را نادیده بگیرید.

چندسال قبل، یک فایل Robots.txt خوب برای سایت وردپرس مهم بود، و گوگل یکی داشت.

امروزه، گوگل می گوید اگر بخواهید می توانید یکی استفاده کنید،

اما ترجیح می دهد این کار را نکنید. برای ایندکس کردن مناسب یک سایت وردپرس،

گوگل باید به اکثر پوشه ها و فایل های روی سرور شما دسترسی داشته باشد.

بنابراین توصیه می کنم بخاطر یک فایل Robots.txt  زحمت نکشید.

تنها دلیلی که یک فصل را به فایل Robots.txt  مبحث اختصاص دادم

این است که اغلب دانشجویان وردپرس در این مورد از من سوال می پرسند.

اگر یک فایل برای سایت تان دارید و می خواهید آن را حفظ کنید،

فایل زیر را توصیه می کنم:

#my Robots.txt file

عامل کاربر یا user-agent:

این دستور یعنی همه دستورهایی که دنبال می شوند

باید روی همه خزنده ها اعمال شوند.

چون هیچ دستور دیگری وجود ندارد، خزنده ها هیچ محدودیتی برای خزیدن ندارند.

فصل دوازدهم کتاب سئو وردپرس 2020 – نویسندگی گوگل و پروفایل های کاربر وردپرس

فصل یازدهم کتاب سئو وردپرس 2020 – فیدهای آر اس اس

فصل دهم کتاب سئو وردپرس 2020 – سیستم کامنت در سایت