فایل Robots.txt چیست و چه نقشی در سئو سایت دارد؟
هدف از استفاده فایل Robots.txt در تغییر وضعیت دسترسی ربات‌های موتور جستجوی گوگل به محتوای سایت شما می باشد. این ربات‌ها به‌صورت خودکار عمل کرده و قبل از ورود به هر سایت یا صفحه‌ای از وجود فایل Robots.txt بر روی آن و محدود نبودن دسترسی محتویات اطمینان حاصل می‌کنند.
در این ویدئو به شما عزیزان نحوه تولید یک فایل مناسب توضیح داده شده است و همچنین یک فایل آماده نیز ارائه گردیده تا بتوانید به بهترین شکل ممکن از آن استفاده کرده و بهره مند شوید. فایل robots.txt می تواند همچنین خطرناک نیز باشد در صورتی که نتوانید به خوبی آن را تنظیم کنید ممکن است باعث آسیب به سئو سایت شود.
توصیه می شود کسانی که تمایلی به تغییر این فایل ندارند به آن دست نزنند و کاری به آن نداشته باشند. ما در آموزش سئو سعی داریم که همه چیز را بطور دقیق و کامل برای شما عزیزان آموزش دهیم.
فایل Robots.txt
16 دیدگاه. ارسال دیدگاه جدید
سلام جناب جبین پور عزیز وقتتون بخیر
من متوجه نشدم robots.txt را کجا ساختید ، من داخل public html یه فایل به همین اسم دارم که نقشه سایت هم داخلش ثبت هست ولی وقتی اسم دامنه خودم را با پسوند robots.txt سرچ میکنم بدون نقشه بالا میاوردش
الان شما فایل را در کدوم پوشه ساختید؟
سلام ، این فایل در روت public html قرار دارد و فایلی که شما از آن صحبت کردید دقیقاً همین فایل است. من همه این مباحث را دقیق توضیح دادم در ویدئو ها … آیا من بد توضیح دادم یا شما به خوبی ویدئو را مشاهده نفرمودید ؟
سلام استاد عزیزم
اگر من توی صفحه ام یک pdf دارم که اون رو از جایی برداشتمو فقط میخوام این یک دونه pdf در این مقاله توسط ربات های گوگل بررسی نشه باید چی کار کنم؟
چون اون کدی که فرمودین توی robots.txt برای فرمت خاصی میتونیم disallow کنیم باعث میشه همه اون فرمت ( مثلا همه pdf های سایت ) دیگه بررسی نشن اما من فقط میخوام تعداد محدودی از اونها بررسی نشن چیکار باید بکنم؟
سلام بر شما ، این امکان میسر نیست ، ولی اگر فایل را برای دانلود قرار دهید مشکلی نیست. باتشکر
سلام ممنون بابت آموزش هاتون. من قبلا کار تولید محتوا انجام دادم. الانم طراحی سایت رو انجام میدم.میخواستم بدونم با این دوره سئویی که شما قرار دادین میتونم خودم به تنهایی صفر تا صد سایتمو سئو کنم؟ یا در کنارش چیزای دیگه ای هم لازمه؟
سلام بر شما ، هدف من از آموزش دقیقاً همین بوده است که بتوانید سایتتان را سئو کنید 🙂
سلام استاد
با توجه به اینکه من از افزونه امنیتی استفاده می کنم و توسط آن ادرس صفحه ورود به پنل مدیریت سایت رو تغییر داده ام، اگر از فایل رباتی که شما ساخته اید استفاده کنم، مشکلی برای سایت من بوجود نمی آید؟ دوم اینکه باید در فایل ربات به جای wp-admin ، آدرس جدید صفحه ورود به پنل رو باید ثبت کنم؟
با سلام و احترام ، در این فایل آدرس ورود نباید ثبت شود ، اینکه میبینید در فایل robots لینک wp-admin را داده ایم مفهومش قراردادن آدرس ورود نیست! بلکه ما پوشه های غیرمربوط هاست را محدود کرده ایم. مثل wp-admin , wp-include … باتشکر
سلام آقای جبین پور
توی فایلی که قرار دادید آدرس نقشه سایت با http شروع شده اما سایت من https هستش یعنی ssl داره و اشکالی نداره آدرس نقشه سایت رو در فایل robots.txt با http نوشتم؟
سلام بر شما ، شما هم با Https بنویسید مشکلی نیست. باتشکر
سلام آقای جبین پور وقت بخیر
من توی مدیریت فایل یه پوشه wp-snapshots دارم که داخلش فایل
robots.txt وجود داره که محتویات داخلش
به این صورت هست
User-agent: *
Disallow: /wp-snapshots/
یه فایل robots.txt دیگه درست کردم داخل پوشه public_html
این مشکلی برای سایتم ایجاد نمیکنه احیانن اگه robots.txt اولی رو که گفتم
پاکش کنم
سلام بر شما ، این مورد مشکلی ندارد اسنپشات برای نگهداری بک آپ ها می باشد و نیازی به بررسی گوگل در آن نیست بنابرین وجود این کد مشکلی ندارد. باتشکر
پس اقای جبین پور این فایل و اینجوری بنویسم :
Disallow: /wp-admin/
Allow:/wp-admin/admin-ajax.php
Disallow: /wp-includes/
یا اینکه به این صورت وارد کنم
Disallow: /wp-admin/
Allow:/wp-admin/admin-ajax.php
و بخش بعدی و حذفش کنم
مرسی از راهنماییتون
سلام بر شما ، چرا از حالتی که بنده بصورت پیشفرض برای شما آماده کرده ام استفاده نمیفرمابید؟ در این فایل لطفاً خیلی حساسیت به خرج ندهید زیرا در سئو تاثیری که فکر می کنید نخواهد داشت از طرفی این فایل به راحتی کل سایت شما را می تواند نابود کند. باتشکر
سلام خسته نباشید اقای جبین پور عزیز که از تع دلم واستون ارزویه بهترینارو دارم .
User-agent: *
Disallow: /feed/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /wp-includes/
این فایل منه که طراح قبلی واسم گذاشته به نظرتون این فایل و پاک کنم همون فایلی که شما توضیح دادید و بزارم ؟
سلام وحید عزیز ، مشکل خاصی در آن نیست ولی Disallow: /wp-admin/ در حال حاضر صحیح نیست زیرا گوگل به فایلی در این پوشه نیاز دارد تا صحیح سایت را بررسی کند. بنابرین بهتر است این پوشه حذف نشود. باتشکر