File robots.txt là gì? Cú pháp, mẫu chuẩn và cách kiểm tra

File robots.txt là tệp văn bản đặt ở thư mục gốc của website (ví dụ https://tenmien.com/robots.txt) để cho các trình thu thập dữ liệu như Googlebot biết được phép và không được phép thu thập những URL nào. Robots.txt dùng để kiểm soát việc thu thập, không phải công cụ để ẩn trang khỏi Google: muốn trang không xuất hiện trên kết quả tìm kiếm, hãy dùng noindex.

Bài viết giải thích các lệnh robots.txt Google hỗ trợ, cách viết quy tắc với ký tự đại diện, mẫu robots.txt cho WordPress và WooCommerce (lấy từ chính website Xuyên Việt Media), cách kiểm tra trong Search Console và những lỗi có thể khiến cả website biến mất khỏi Google.

File robots.txt hướng dẫn trình thu thập dữ liệu được phép truy cập URL nào
Robots.txt nằm ở thư mục gốc và áp dụng cho toàn bộ host
Mục lục nội dung

File robots.txt là gì?

Robots.txt là tệp văn bản thuần, mã hóa UTF-8, tuân theo Giao thức loại trừ robot (Robots Exclusion Protocol). Khi đến một website, trình thu thập dữ liệu hợp lệ sẽ đọc tệp này trước để biết khu vực nào không nên truy cập.

  • Vị trí: bắt buộc ở thư mục gốc của host. Tệp đặt ở thư mục con sẽ không có hiệu lực.
  • Phạm vi: chỉ áp dụng cho đúng giao thức, tên miền và cổng của nó. https://tenmien.com/robots.txt không áp dụng cho https://blog.tenmien.com.
  • Không bắt buộc phải có: nếu không có robots.txt (trả mã 404), Google coi như được thu thập mọi URL.

Các lệnh robots.txt Google hỗ trợ

LệnhChức năngVí dụ
User-agentChỉ định trình thu thập áp dụng nhóm quy tắc; * là mọi trình thu thậpUser-agent: Googlebot
DisallowKhông cho thu thập đường dẫn bắt đầu bằng giá trị nàyDisallow: /wp-admin/
AllowCho phép thu thập một đường dẫn con trong vùng đã chặnAllow: /wp-admin/admin-ajax.php
SitemapKhai báo URL đầy đủ của sitemapSitemap: https://tenmien.com/sitemap_index.xml

Google không hỗ trợ lệnh Crawl-delay và không còn hỗ trợ lệnh noindex trong robots.txt. Một số công cụ tìm kiếm khác có thể vẫn đọc Crawl-delay.

Ký tự đại diện và thứ tự ưu tiên

  • * đại diện cho chuỗi ký tự bất kỳ: Disallow: /*?s= chặn mọi URL có tham số tìm kiếm ?s=.
  • $ đánh dấu kết thúc URL: Disallow: /*.pdf$ chặn các URL kết thúc bằng .pdf.
  • Đường dẫn phân biệt chữ hoa, chữ thường.
  • Khi Allow và Disallow cùng khớp một URL, Google áp dụng quy tắc cụ thể hơn (đường dẫn dài hơn); khi các quy tắc xung đột ngang nhau, Google chọn quy tắc ít hạn chế hơn.
Cú pháp robots.txt với User-agent, Disallow, Allow và Sitemap
Mỗi nhóm quy tắc bắt đầu bằng dòng User-agent

Robots.txt khác noindex thế nào?

Đây là điểm hay nhầm nhất. Robots.txt chặn thu thập; noindex chặn lập chỉ mục.

Mục tiêuCông cụ phù hợpLưu ý
Giảm thu thập URL ít giá trị (tìm kiếm nội bộ, URL lọc, URL hành động)Robots.txtURL bị chặn vẫn có thể xuất hiện trên Google nếu có liên kết trỏ tới, chỉ là không có mô tả
Không cho trang xuất hiện trên GoogleNoindexPhải cho phép thu thập để Google đọc được thẻ noindex
Bảo vệ nội dung riêng tưMật khẩu, phân quyềnRobots.txt công khai, ai cũng đọc được
Trang đã xóa vĩnh viễnMã 404 hoặc 410Không cần chặn trong robots.txt

Lỗi kinh điển: vừa gắn noindex vừa chặn trang đó trong robots.txt. Google không thu thập được nên không thấy noindex, trang có thể vẫn nằm trên kết quả tìm kiếm.

Mẫu robots.txt cho WordPress và WooCommerce

Đây là robots.txt đang chạy trên xuyenvietmedia.com, được chúng tôi chỉnh lại tháng 10/2026 sau khi audit:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Tim kiem noi bo
Disallow: /?s=
Disallow: /*?s=
Disallow: /*&s=

# URL hanh dong va loc/sap xep WooCommerce
Disallow: /*add-to-cart=
Disallow: /*?orderby=
Disallow: /*&orderby=
Disallow: /*?filter_
Disallow: /*&filter_
Disallow: /*?min_price=
Disallow: /*&min_price=
Disallow: /*?max_price=
Disallow: /*&max_price=

# Tra loi binh luan
Disallow: /*?replytocom=

Sitemap: https://xuyenvietmedia.com/sitemap_index.xml

Lý do của từng nhóm:

  • Tìm kiếm nội bộ: trang kết quả tìm kiếm có thể sinh vô hạn URL, phần lớn trùng hoặc rỗng.
  • URL hành động và lọc của WooCommerce: thêm vào giỏ, sắp xếp, lọc giá tạo nhiều biến thể URL của cùng một danh mục. Xem faceted navigation.
  • replytocom: mỗi nút “trả lời bình luận” tạo một URL trùng nội dung bài.

Những thứ không chặn: thư mục /wp-content/ (chứa CSS, JavaScript, ảnh mà Google cần để hiển thị trang), trang giỏ hàng, thanh toán, tài khoản. Các trang này được xử lý bằng noindex và đưa ra khỏi sitemap, vì nếu chặn bằng robots.txt, Google sẽ không đọc được thẻ noindex.

Mẫu file robots.txt cho website WordPress
Không chặn CSS, JavaScript và ảnh mà Google cần để hiển thị trang

Robots.txt có giúp tối ưu crawl budget không?

Có, nhưng chủ yếu với website lớn có rất nhiều URL tham số. Google cho biết phần lớn website không cần lo về ngân sách thu thập. Với website vài trăm đến vài nghìn trang, robots.txt hữu ích nhất để chặn các vùng sinh URL vô hạn như tìm kiếm nội bộ và bộ lọc.

Mã phản hồi của robots.txt ảnh hưởng thế nào?

  • 200: Google đọc và áp dụng các quy tắc.
  • 4xx (trừ 429): Google coi như không có robots.txt, nghĩa là không có giới hạn thu thập.
  • 5xx hoặc 429: trong 12 giờ đầu, Google dừng thu thập website và tiếp tục thử tải lại robots.txt; sau đó tối đa 30 ngày, Google dùng bản tốt gần nhất đã lưu. Nếu sau 30 ngày lỗi vẫn còn và website có vấn đề truy cập chung, Google có thể ngừng thu thập website. Vì vậy robots.txt trả lỗi máy chủ là rủi ro lớn.

Google thường lưu bộ nhớ đệm robots.txt tối đa khoảng 24 giờ, nên thay đổi có thể chưa áp dụng ngay. Kích thước tối đa Google đọc là 500 KiB; phần vượt quá bị bỏ qua.

Cách tạo và kiểm tra robots.txt

  1. Liệt kê vùng cần chặn: chỉ chặn khi có lý do rõ (URL vô hạn, URL hành động, khu vực quản trị).
  2. Viết tệp văn bản UTF-8 tên robots.txt, hoặc dùng trình chỉnh sửa robots.txt của Rank Math (Rank Math SEO › Cài đặt chung › Chỉnh sửa robots.txt) hay Yoast.
  3. Khai báo sitemap bằng URL đầy đủ.
  4. Đưa lên thư mục gốc và mở tenmien.com/robots.txt trên trình duyệt để kiểm tra.
  5. Kiểm tra trong Search Console: báo cáo robots.txt (Cài đặt › robots.txt) cho biết Google đã tải tệp nào, khi nào và có lỗi gì; dùng công cụ Kiểm tra URL để xem một URL quan trọng có bị chặn không.
  6. Theo dõi sau khi thay đổi: báo cáo Trang và Thống kê thu thập dữ liệu trong 1–2 tuần.
Kiểm tra file robots.txt trong Google Search Console
Báo cáo robots.txt trong Search Console cho biết Google đã đọc tệp nào

Những lỗi robots.txt thường gặp

  • Disallow: / còn sót sau khi chuyển website từ bản thử nghiệm sang bản chính, khiến Google không thu thập được trang nào.
  • Chặn CSS, JavaScript hoặc /wp-content/, làm Google hiển thị trang sai.
  • Dùng robots.txt để giấu trang bí mật: tệp này công khai, còn vô tình chỉ đường tới khu vực nhạy cảm.
  • Chặn trang đang gắn noindex.
  • Viết sai chữ hoa, chữ thường hoặc thiếu dấu / đầu đường dẫn.
  • Chặn trang phân trang hoặc chuyên mục là đường duy nhất để Google tìm tới bài viết, sản phẩm.

Câu hỏi thường gặp về robots.txt

Chặn bằng robots.txt có làm trang biến mất khỏi Google không?

Không chắc chắn. URL bị chặn vẫn có thể được lập chỉ mục nếu có liên kết trỏ tới. Muốn loại trang khỏi Google, hãy dùng noindex và cho phép thu thập.

WordPress có tự tạo robots.txt không?

Có. WordPress tạo robots.txt ảo nếu chưa có tệp thật. Rank Math hoặc Yoast cho phép chỉnh nội dung tệp ảo này ngay trong trang quản trị.

Có nên chặn /wp-admin/ không?

Có thể chặn, nhưng nhớ cho phép /wp-admin/admin-ajax.php vì nhiều giao diện và plugin dùng tệp này ở phía người xem.

Có nên chặn các bot AI trong robots.txt?

Đó là lựa chọn kinh doanh. Chặn các bot như GPTBot hay ClaudeBot không ảnh hưởng đến Google Search, nhưng có thể làm thương hiệu ít xuất hiện trên các nền tảng AI đó.

Kết luận

Robots.txt là công cụ điều tiết thu thập dữ liệu: chặn những vùng sinh URL vô hạn, cho phép mọi tài nguyên Google cần để hiển thị trang, khai báo sitemap. Đừng dùng nó để ẩn trang hay bảo mật. Mỗi lần thay đổi, hãy kiểm tra trong Search Console vì một dòng sai có thể chặn cả website.

Nếu bạn không chắc robots.txt hiện tại có đang chặn nhầm trang quan trọng, dịch vụ audit website của Xuyên Việt Media sẽ kiểm tra robots.txt cùng toàn bộ tình trạng thu thập và lập chỉ mục.

Tài liệu tham khảo

  • Google. How Google interprets the robots.txt specification. Truy cập 24/10/2026.
  • Google Search Central. Giới thiệu về robots.txt.
  • Google Search Console Trợ giúp. Báo cáo robots.txt.

Để lại một bình luận

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *