SEO-ოპტიმიზატორის მუშაობა ძალიან მასშტაბურია. დამწყებთათვის ურჩევენ ჩამოწერონ ოპტიმიზაციის ალგორითმი, რათა არ გამოტოვონ რაიმე ნაბიჯი. წინააღმდეგ შემთხვევაში, აქციას ძნელად დაარქმევთ წარმატებულს, რადგან საიტი მუდმივად განიცდის წარუმატებლობებს და შეცდომებს, რომლებიც დიდი ხნის განმავლობაში უნდა გამოსწორდეს.
ოპტიმიზაციის ერთ-ერთი ნაბიჯი არის robots.txt ფაილთან მუშაობა. ყველა რესურსს უნდა ჰქონდეს ეს დოკუმენტი, რადგან მის გარეშე უფრო რთული იქნება ოპტიმიზაციასთან გამკლავება. ის ასრულებს ბევრ ფუნქციას, რომელთა გაგებაც მოგიწევთ.
რობოტის ასისტენტი
Robots.txt ფაილი არის უბრალო ტექსტური დოკუმენტი, რომლის ნახვა შესაძლებელია სისტემის სტანდარტულ ნოუთბუქში. მისი შექმნისას უნდა დააყენოთ კოდირება UTF-8-ზე, რათა სწორად წაიკითხოთ. ფაილი მუშაობს http, https და FTP პროტოკოლებით.
ეს დოკუმენტი არის რობოტების საძიებო ასისტენტი. თუ არ იცით, ყველა სისტემა იყენებს "ობობებს", რომლებიც სწრაფად ათვალიერებენ მსოფლიო ქსელს, რათა დააბრუნონ შესაბამისი საიტები შეკითხვებისთვის.მომხმარებლები. ამ რობოტებს უნდა ჰქონდეთ წვდომა რესურსის მონაცემებზე, ამისთვის მუშაობს robots.txt.
იმისთვის, რომ ობობებმა იპოვონ გზა, თქვენ უნდა გაგზავნოთ robots.txt დოკუმენტი root დირექტორიაში. იმის შესამოწმებლად, აქვს თუ არა საიტს ეს ფაილი, შეიყვანეთ „https://site.com.ua/robots.txt“ბრაუზერის მისამართის ზოლში. "site.com.ua"-ის ნაცვლად თქვენ უნდა შეიყვანოთ თქვენთვის საჭირო რესურსი.
დოკუმენტის ფუნქციები
Robots.txt ფაილი აწვდის მცოცავებს რამდენიმე ტიპის ინფორმაციას. მას შეუძლია ნაწილობრივი წვდომა ისე, რომ "ობობა" სკანირებს რესურსის კონკრეტულ ელემენტებს. სრული წვდომა საშუალებას გაძლევთ შეამოწმოთ ყველა ხელმისაწვდომი გვერდი. სრული აკრძალვა ხელს უშლის რობოტებს, რომ დაიწყონ შემოწმება და ისინი ტოვებენ საიტს.
რესურსში დათვალიერების შემდეგ "ობობები" იღებენ შესაბამის პასუხს მოთხოვნაზე. შეიძლება რამდენიმე მათგანი იყოს, ეს ყველაფერი დამოკიდებულია robots.txt-ის ინფორმაციაზე. მაგალითად, თუ სკანირება წარმატებული იყო, რობოტი მიიღებს კოდს 2xx.
შესაძლოა საიტი გადამისამართდა ერთი გვერდიდან მეორეზე. ამ შემთხვევაში რობოტი იღებს კოდს 3xx. თუ ეს კოდი რამდენჯერმე განმეორდება, მაშინ ობობა მიჰყვება მას, სანამ არ მიიღებს სხვა პასუხს. თუმცა, როგორც წესი, მხოლოდ 5 მცდელობას იყენებს. წინააღმდეგ შემთხვევაში, გამოჩნდება პოპულარული 404 შეცდომა.
თუ პასუხი არის 4xx, მაშინ რობოტს უფლება აქვს დაათვალიეროს საიტის მთელი შინაარსი. მაგრამ 5xx კოდის შემთხვევაში, შემოწმება შეიძლება მთლიანად შეჩერდეს, რადგან ეს ხშირად მიუთითებს სერვერის დროებით შეცდომებზე.
რისთვისგჭირდებათ robots.txt?
როგორც თქვენ მიხვდით, ეს ფაილი არის რობოტების სახელმძღვანელო საიტის ძირში. ახლა ის გამოიყენება შეუსაბამო კონტენტზე წვდომის ნაწილობრივ შესაზღუდად:
- გვერდები მომხმარებლების პირადი ინფორმაციით;
- სარკის საიტები;
- ძიების შედეგები;
- მონაცემთა წარდგენის ფორმები და ა.შ.
თუ არ არის robots.txt ფაილი საიტის root-ში, რობოტი დაათვალიერებს აბსოლუტურად მთელ კონტენტს. შესაბამისად, არასასურველი მონაცემები შეიძლება გამოჩნდეს ძიების შედეგებში, რაც ნიშნავს, რომ თქვენც და საიტიც დაზარალდებით. თუ robots.txt დოკუმენტში არის სპეციალური ინსტრუქციები, მაშინ "ობობა" მიჰყვება მათ და გასცემს რესურსის მფლობელის მიერ სასურველ ინფორმაციას.
ფაილთან მუშაობა
რობოტები.txt-ის გამოსაყენებლად საიტის ინდექსაციის დასაბლოკად, თქვენ უნდა გაარკვიოთ როგორ შექმნათ ეს ფაილი. ამისათვის მიჰყევით ინსტრუქციას:
- შექმენით დოკუმენტი Notepad-ში ან Notepad++-ში.
- დააყენეთ ფაილის გაფართოება ".txt".
- შეიყვანეთ საჭირო მონაცემები და ბრძანებები.
- შეინახეთ დოკუმენტი და ატვირთეთ იგი საიტის root-ზე.
როგორც ხედავთ, ერთ-ერთ ეტაპზე აუცილებელია რობოტებისთვის ბრძანებების დაყენება. ისინი ორი ტიპისაა: დაშვებული (დაშვება) და აკრძალული (აკრძალვა). ასევე, ზოგიერთმა ოპტიმიზატორმა შეიძლება მიუთითოს სეირნობის სიჩქარე, ჰოსტი და ბმული რესურსის გვერდის რუკაზე.
იმისთვის, რომ დაიწყოთ robots.txt-თან მუშაობა და მთლიანად დაბლოკოთ საიტის ინდექსირება, თქვენ ასევე უნდა გესმოდეთ გამოყენებული სიმბოლოები. მაგალითად, დოკუმენტშიგამოიყენეთ "/", რაც მიუთითებს, რომ არჩეულია მთელი საიტი. თუ "" გამოიყენება, მაშინ საჭიროა სიმბოლოების თანმიმდევრობა. ამ გზით შესაძლებელი იქნება კონკრეტული საქაღალდის მითითება, რომლის სკანირებაც შესაძლებელია ან არა.
ბოტების თვისება
„ობობები“საძიებო სისტემებისთვის განსხვავებულია, ასე რომ, თუ ერთდროულად მუშაობთ რამდენიმე საძიებო სისტემაზე, მაშინ მოგიწევთ ამ მომენტის გათვალისწინება. მათი სახელები განსხვავებულია, რაც ნიშნავს, რომ თუ გსურთ დაუკავშირდეთ კონკრეტულ რობოტს, უნდა მიუთითოთ მისი სახელი: „მომხმარებლის აგენტი: Yandex“(ბრჭყალების გარეშე).
თუ გსურთ დააყენოთ დირექტივები ყველა საძიებო სისტემისთვის, მაშინ უნდა გამოიყენოთ ბრძანება: "მომხმარებლის აგენტი: " (ბრჭყალების გარეშე). იმისათვის, რომ სწორად დაბლოკოთ საიტის ინდექსირება robots.txt-ის გამოყენებით, თქვენ უნდა იცოდეთ პოპულარული საძიებო სისტემების სპეციფიკა.
ფაქტია, რომ ყველაზე პოპულარულ საძიებო სისტემებს Yandex-სა და Google-ს აქვთ რამდენიმე ბოტი. თითოეულ მათგანს აქვს საკუთარი დავალებები. მაგალითად, Yandex Bot და Googlebot არის მთავარი „ობობები“, რომლებიც დაცოცავენ საიტზე. ყველა ბოტის ცოდნით, უფრო ადვილი იქნება თქვენი რესურსის ინდექსირების დაზუსტება.
მაგალითები
ასე რომ, robots.txt-ის დახმარებით შეგიძლიათ დახუროთ საიტი ინდექსაციისგან მარტივი ბრძანებებით, მთავარია გაიგოთ რა გჭირდებათ კონკრეტულად. მაგალითად, თუ გსურთ, რომ Googlebot არ მიუახლოვდეს თქვენს რესურსს, თქვენ უნდა მისცეთ მას შესაბამისი ბრძანება. ის ასე გამოიყურება: "მომხმარებლის აგენტი: Googlebot Disallow: /" (ბრჭყალების გარეშე).
ახლა ჩვენ უნდა გავიგოთ რა არის ამ ბრძანებაში და როგორ მუშაობს იგი. ასე რომ, "მომხმარებლის აგენტი"გამოიყენება ერთ-ერთ ბოტზე პირდაპირი ზარის გამოსაყენებლად. შემდეგი, ჩვენ მივუთითებთ, რომელზე, ჩვენს შემთხვევაში ეს არის Google. ბრძანება "Disallow" უნდა დაიწყოს ახალი ხაზიდან და აკრძალოს რობოტს საიტზე შესვლა. ხაზის სიმბოლო ამ შემთხვევაში მიუთითებს, რომ რესურსის ყველა გვერდი შერჩეულია ბრძანების შესასრულებლად.
Robots.txt-ში შეგიძლიათ გამორთოთ ინდექსირება ყველა საძიებო სისტემისთვის მარტივი ბრძანებით: "მომხმარებლის აგენტი:აკრძალვა: /" (ბრჭყალების გარეშე). ვარსკვლავის სიმბოლო ამ შემთხვევაში აღნიშნავს ყველა საძიებო რობოტს. როგორც წესი, ასეთი ბრძანება საჭიროა საიტის ინდექსაციის შესაჩერებლად და მასზე კარდინალური მუშაობის დასაწყებად, რაც სხვაგვარად შეიძლება გავლენა იქონიოს ოპტიმიზაციაზე.
თუ რესურსი დიდია და ბევრი გვერდი აქვს, ის ხშირად შეიცავს საკუთრებაში არსებულ ინფორმაციას, რომლის გამჟღავნება ან არასასურველია, ან შეიძლება უარყოფითად იმოქმედოს პოპულარიზაციაზე. ამ შემთხვევაში, თქვენ უნდა გესმოდეთ, როგორ დახუროთ გვერდი robots.txt-ში ინდექსაციისგან.
შეგიძლიათ დამალოთ საქაღალდე ან ფაილი. პირველ შემთხვევაში, თქვენ უნდა დაიწყოთ ხელახლა კონკრეტულ ბოტთან ან ყველასთან დაკავშირებით, ამიტომ ვიყენებთ ბრძანებას "მომხმარებლის აგენტი", ხოლო ქვემოთ ვაკონკრეტებთ "Disallow" ბრძანებას კონკრეტული საქაღალდისთვის. ეს ასე გამოიყურება: "აკრძალვა: / საქაღალდე /" (ბრჭყალების გარეშე). ამ გზით თქვენ მალავთ მთელ საქაღალდეს. თუ ის შეიცავს მნიშვნელოვან ფაილს, რომლის ჩვენებაც გსურთ, მაშინ უნდა დაწეროთ ბრძანება ქვემოთ: „Allow: /folder/file.php“(ბრჭყალების გარეშე).
შეამოწმეთ ფაილი
თუ იყენებთ robots.txt-ს საიტის დახურვისთვისთქვენ მოახერხეთ ინდექსირება, მაგრამ არ იცით, სწორად მუშაობდა თუ არა ყველა თქვენი დირექტივა, შეგიძლიათ შეამოწმოთ სამუშაოს სისწორე.
პირველ რიგში, თქვენ კვლავ უნდა შეამოწმოთ დოკუმენტის განთავსება. გახსოვდეთ, რომ ის უნდა იყოს ექსკლუზიურად root საქაღალდეში. თუ ის არის root საქაღალდეში, მაშინ ის არ იმუშავებს. შემდეგი, გახსენით ბრაუზერი და შეიყვანეთ შემდეგი მისამართი: „https://yoursite. com/robots.txt (ბრჭყალების გარეშე). თუ თქვენს ბრაუზერში მიიღებთ შეცდომას, მაშინ ფაილი არ არის იქ, სადაც უნდა იყოს.
დირექტივები შეიძლება შემოწმდეს სპეციალურ ინსტრუმენტებში, რომლებსაც თითქმის ყველა ვებმასტერი იყენებს. საუბარია Google-ისა და Yandex-ის პროდუქტებზე. მაგალითად, Google Search Console-ში არის ინსტრუმენტთა პანელი, სადაც უნდა გახსნათ "Crawl" და შემდეგ გაუშვათ "Robots.txt File Inspection Tool". თქვენ უნდა დააკოპიროთ ყველა მონაცემი დოკუმენტიდან ფანჯარაში და დაიწყოთ სკანირება. ზუსტად იგივე შემოწმება შეიძლება Yandex. Webmaster-ში.
