Robots.txt là gì? Cách tạo file Robots.txt cho WordPress

Robots.txt là gì? Cách tạo file Robots.txt cho WordPress

Trong chủ đề bài viết này thì Hòa sẽ giới thiệu Robots.txt là gì? Cách tạo file robots.txt cho mã nguồn WordPress, giúp cho việc hoàn tất các bước tối ưu hóa SEO cho website nhé.

Robots.txt là gì?

Robots.txt là một tập tin đặc biệt chứa  văn bản được đặt trong thư mục gốc của website (tệp này ngang hàng với index.php)

Đây là file đầu tiên mà các công cụ tìm kiếm sẽ đọc. Nó có tác dụng cho phép hay không cho phép spider của công cụ tìm kiếm truy cập đến những trang mà bạn quy định trong nó. Từ đó  spider biết được trang nào được phép truy cập thu thập dữ liệu để được index trên kết quả tìm kiếm nhanh hơn. Đây là một công cụ rất hữu ích làm tăng tốc độ index trong quá trình làm SEO.

Cấu trúc của file robots.txt

User-agent: đối tượng spider được chấp nhận

Disallow: URL muốn chặn

Allow: URL cho phép

Nếu dùng *: Đại diện cho tất cả

Ví dụ:

User – agent:*

Disallow:/wp-admin/

Trong đó:

  • User-agent:*  cho phép tất các loại spider truy cập vào website của ta
  • Disallow: /wp-admin/ chặn không cho spider truy cập vào thư mục wp-admin để thu thập dữ liệu bên trong

Các tạo robots.txt tự động

Việc tạo ra file robots.txt không quá khó, Trong Google Webmaster Tools có công cụ hỗ trợ tạo file trobots.txt khá đơn giản.

Truy cập vào Google Webmaster Tools vào menu Thu thập dữ liệu -> Bộ kiểm tra robots.txt rồi tiến hành tạo file robots.txt

Sau khi tạo file robots.txt xong hãy tải về máy tính rồi upload lên thư mục gốc của website.

Robots.txt là gì? Cách tạo file Robots.txt cho WordPress

Cách sử dụng robots.txt

Hầu hết các website đều sử dụng file robots.txt với cấu trúc đầu tiên là cho phép tất cả các spider truy cập vào website, chỉ chặn những thư mục không cần thu thập thông tin, thư mục nhạy cảm.

Cấu trúc của file robots.txt chuẩn cho wordpress như sau

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /search?q=*
Disallow: *?replytocom
Disallow: */attachment/*
Disallow: /images/
Allow: /*.js$
Allow: /*.css$
Sitemap: http://tenmien.net/sitemap_index.xml
Xem thêm: Cách tạo Sitemap XML cho website WordPress 

Như vậy là chúng ta đã tìm hiểu cấu trúc và cách tạo file robots.txt rồi. Đây là một tập tin rất đơn giản
nhưng đóng vai trò quan trọng, giúp cho công cụ tìm kiếm dễ dàng index những thông tin bài viết trên
trang web của chúng ta.

BÌNH LUẬN

Vui lòng nhập bình luận của bạn
Vui lòng nhập tên của bạn ở đây