1. File robots.txt là gì?
File robots.txt là một tập tin văn bản đơn giản có dạng đuôi mở rộng txt. Tệp này là một phần của Robots Exclusion Protocol (REP) chứa một nhóm các tiêu chuẩn Web quy định cách Robot Web (hoặc Robot của các công cụ tìm kiếm) thu thập dữ liệu trên web, truy cập, index nội dung và cung cấp nội dung đó cho người dùng.
File robots.txt giúp cho trình thu thập dữ liệu
2. Cách tạo file robots.txt?
Việc tạo robots.txt cho website giúp bạn kiểm soát việc truy cập của các con Bots đến các khu vực nhất định trên trang web. Điều này mang đến nhiều lợi ích cho bạn bởi nhiều lí do:
- Ngăn chặn nội dung trùng lặp xuất hiện trong website (các Robot Meta thường là lựa chọn tốt).
- Giữ một số phần của trang ở chế độ riêng tư.
- Giữ các trang kết quả tìm kiếm nội bộ không hiển thị trên SERP.
- Chỉ định vị trí của Sitemap.
- Ngăn các công cụ của Google Index một số tệp nhất định trên trang web của bạn (hình ảnh từ máy tính, PDF, …).
- Dùng lệnh Crawl-delay để cài đặt thời gian, ngăn việc máy chủ của bạn bị quá tải khi các trình thu thập dữ liệu tải nhiều nội dung cùng một lúc.
Tạo robots.txt cho website giúp bạn kiểm soát việc truy cập của các con Bots
3. Cách tạo file robots.txt WordPress đơn giản
Trên thực tế, tạo robots.txt WordPress giúp các nhà quản trị web linh hoạt, chủ động hơn trong việc cho phép hay không cho các con bot của công cụ Google index một số phần nào đó trong trang của mình.
Nếu sau khi kiểm tra, bạn nhận thấy website của mình không có tệp robots.txt hay đơn giản là bạn đang muốn thay đổi tệp robots.txt của mình. Dưới đây là 3 cách tạo robots.txt cho WordPress:
Cách 1: Sử dụng Yoast SEO
Bước 1: Đăng nhập vào website của bạn trên WordPress, khi đăng nhập vào sẽ thấy giao diện của trang WordPress Dashboard.
Bước 2: Chọn mục SEO > Chọn Tools.
Chọn Tools trong mục SEO
Bước 3: Chọn File editor.
Chọn File editor
Như vậy, bạn sẽ thấy mục robots.txt và .htaccess file. Đây là nơi giúp bạn tạo file robots.txt.
Mục robots.txt và .htaccess file tạo file robots.txt
Cách 2: Qua bộ Plugin All in One SEO
Bạn có thể sử dụng bộ Plugin All in One SEO để tạo file robots.txt WordPress nhanh chóng. Đây cũng là một plugin tiện ích cho WordPress đơn giản, dễ sử dụng.
Để tạo file robots.txt WordPress, bạn có thể thực hiện theo các bước sau:
Bước 1: Truy cập giao diện chính của Plugin All in One SEO Pack.
Nếu bạn, tải về TẠI ĐÂY.n chưa có bộ Plugi
Bước 2: Chọn All in One SEO > Chọn Feature Manager > Nhấp Activate cho mục Robots.txt.
Active cho mục robots.txt
Bước 3: Tạo lập và điều chỉnh file robots.txt WordPress.
Tạo lập và điều chỉnh file robots.txt WordPress
Lưu ý: All in One SEO làm mờ đi thông tin của file robots.txt thay vì được chỉnh sửa file như công cụ Yoast SEO. Điều này có thể khiến người dùng hơi bị động một chút khi chỉnh sửa file robots.txt WordPress. Tuy nhiên, tích cực mà nói, yếu tố này sẽ giúp họ hạn chế thiệt hại cho website của mình, đặc biệt một số Malware bots sẽ gây hại cho website.
Cách 3: Tạo rồi upload file robots.txt qua FTP
Nếu bạn không muốn sử dụng plugin để tạo file robots.txt WordPress thì bạn có thể tự tạo file robots.txt thủ công cho WordPress của mình.
Để tạo file robots.txt WordPress bằng tay bằng phương pháp tạo rồi upload file robots.txt qua FTP, bạn có thể thực hiện theo các bước sau đây:
Bước 1: Mở Notepad hoặc Textedit để tạo mẫu file robots.txt WordPress.
Bước 2: Mở FTP > Chọn thư mục public_html > Chọn file robots.txt > Chọn Upload.
Upload file robots.txt qua FTP
0 comments:
Đăng nhận xét