Blog

কিভাবে আমরা Robots.txt file create করতে পারি এবং আমাদের সাইটটি নিরাপদ করতে পারি

robots.txt

আমরা জানি google আমাদের ওয়েবসাইটের সব কিছু index করে। আমাদের কোনো পোস্টে যদি এমন কোনো ইনফরমেশন দেয়া থাকে যেটা আমরা গুগল কে দেখাতে চাচ্ছি না। তাহলে সেই পোস্টটি আমরা গুগল এর থেকে হাইড করতে পারবো। আমরা পোস্টটি কে যদি Robots.txt করি তাহলে গুগল আর আমাদের পোস্ট টি দেখতে পাবে না।

আসুন আমরা জেনে নেই কিভাবে Robots.txt করবোঃ

1. google search “robots.txt file generator

2. open smallseotools.com

3. paste restricted page’s url to the “restricted directories”

4. or you may allow specified search engines located at the top and hit “create robots.txt” button.

5. copy the html codes.

6. Open website’s dashboard.

7. hover to Yoast SEO > tools> file editor

8. click “save changes to robots.txt”

Google এ robots.txt file generator লিখে সার্চ করার পর smallseotools.com এর যে ওয়েবসাইট টি আছে সেটি ওপেন করি।

এরপর Restricted Direction “+” icon এ ক্লিক করলে নতুন আরেকটি সেল ওপেন হবে। সেই সেলে আপনি যে পোস্ট টি হাইড করে চাচ্ছেন। অর্থাৎ যে পোস্টটি Robots txt টি করতে চাচ্ছেন সেই পোস্ট টির URL কপি করে পেস্ট করুন।

Note: মনে রাখবেন আপনার ওয়েবসাইট এর URL সহ কপি করবেন না।

create Robots.txt এ ক্লিক করলে রেজাল্ট শো করবে। রেজাল্ট বক্স এর টেক্সট টুকু কপি করুন।

তারপর আপনার ওয়েবসাইট টির Dashboard এ আসুন। বাম সাইডের নিচে Seo তে গিয়ে tools এ যেতে হবে। এরপর file editor এ যাওয়ার পর robots txt এর একটি বক্স ওপেন হবে। সেই বক্সে কপি করা URL টি পেস্ট করুন।

অবশেষে save changes to roborts.txt এ ক্লিক করলেই পোস্ট টি গুগল আর দেখতে পাবে না ।

গুগল যে দেখতে পারছে না সেটি যেভাবে চেক করবেন:

  • open google webmaster
  • open the old version
  • click to crawl > robots.txt tester
  • paste the robots.txt codes.
  • paste the restricted page’s url below (except domain url). maintain the parameter.
  • Hit the “test” button and see if blocked!!!

Google webmaster লিখে গুগলে সার্চ করলে Robots.txt tester এর একটি অপশন পাবো।

সেই ওয়েবসাইট টি ওপেন করি। এরপর বক্সে robits.txt এর code টি পেস্ট করি। এবং নিচে domail URL পেস্ট করার একটি অপশন রয়েছে। সেখানে পোস্ট এর url টি কপি করে পেস্ট করতে হবে।

সবশেষে test এ ক্লিক করার পর যদি url টি Blocked দেখায় তাহলে বুঝতে হবে পোস্টটি গুগল Index করতে পারছে না। অর্থাৎ পোস্ট টি robots txt হয়ে গিয়েছে।