File Robots.txt: Cấu trúc, vai trò, cách tạo chuẩn

Bạn vừa hoàn thiện một website tuyệt đẹp, nội dung chất lượng, nhưng traffic vẫn lẹt đẹt và Google dường như ngó lơ những trang quan trọng nhất? Rất có thể, vấn đề không nằm ở nội dung mà nằm ở cánh cổng chào đón các bot tìm kiếm: file Robots.txt.

Hãy tưởng tượng website của bạn là một ngôi nhà lớn. Nếu không có người hướng dẫn, khách tham quan (Googlebot) sẽ đi lạc vào nhà kho, phòng ngủ bừa bộn thay vì bước vào phòng khách sang trọng. File Robots.txt chính là người quản gia đó. Nó đưa ra chỉ dẫn rõ ràng: “Hãy vào đây” hoặc “Cấm vào chỗ này”.

Trong bài viết này, Xuyên Việt Media sẽ giải phẫu chi tiết về Robots.txt, từ khái niệm cơ bản đến các kỹ thuật nâng cao giúp bạn kiểm soát hoàn toàn cách Google thu thập dữ liệu trên website của mình.

File Robots.txt là gì?

Robots.txt là một tệp văn bản đơn giản nằm trong thư mục gốc (root directory) của website. Nhiệm vụ cốt lõi của nó là cung cấp các chỉ dẫn cho các trình thu thập thông tin (crawlers) của các công cụ tìm kiếm về việc những trang nào được phép truy cập và những trang nào không.

Về mặt kỹ thuật, đây là một phần của giao thức loại trừ robot (Robots Exclusion Protocol). Trước khi Googlebot hay bất kỳ bot nào khác thu thập dữ liệu (crawl) trang web của bạn, việc đầu tiên chúng làm là tìm đọc file này tại địa chỉ: yourdomain.com/robots.txt.

Tại sao Robots.txt lại quan trọng trong SEO?

Nhiều chủ doanh nghiệp thường bỏ qua file này vì nghĩ nó quá kỹ thuật. Tuy nhiên, tác động của nó đến hiệu suất SEO là cực kỳ lớn:

• Tối ưu ngân sách thu thập dữ liệu (Crawl Budget): Google không dành cả ngày để đọc website của bạn. Nó chỉ cấp cho mỗi site một hạn mức (budget) nhất định. Robots.txt giúp chặn bot đi vào các trang vô nghĩa (admin, trang lọc, kết quả tìm kiếm nội bộ), dồn tài nguyên cho các trang đích quan trọng.
• Ngăn chặn lập chỉ mục các trang rác: Tránh việc Google index các nội dung trùng lặp hoặc các trang đang thử nghiệm chưa hoàn thiện.
• Bảo mật thông tin cơ bản: Dù không phải là công cụ bảo mật tuyệt đối, nhưng nó giúp giấu các đường dẫn nhạy cảm khỏi kết quả tìm kiếm công khai.
• Giảm tải cho server: Ngăn chặn các bot rác hoặc các công cụ SEO (Ahrefs, Semrush, MJ12bot) crawl liên tục gây tốn băng thông máy chủ.

Các thuật ngữ dùng trong tệp Robots.txt

Sau đây sẽ là những cú pháp được xem là những ngôn ngữ riêng của file Robots.txt. Hiểu rõ được từ lệnh trong bài file sẽ giúp bạn chủ động hơn khi cần gắn hoặc xóa lệnh theo ý muốn. 

• User-agent: Phần này là tên gọi của các trình thu thập, truy cập dữ liệu web mà bạn đang hướng dẫn thu thập thông tin (thường là các công cụ tìm kiếm như: Google, Bingbot,…)
• Allow: Nếu bạn muốn báo với Googlebot rằng hãy đọc thông tin trên website của bạn thì hãy gắn Allow vào nhé.
• Disallow: Lệnh này được đưa ra khi chủ Web không cho phép các chú bot thu thập thông tin trên một bài viết, trang nào đó trên Website. Và 1 Disallow được sử dụng cho 1 URL, không dùng cho tất cả các trang trong Web, tức với bài viết nào mà bạn không muốn Googlebot quét qua thì gắn lệnh này vào.
• Crawl-delay: Thông báo cho các web Crawler biết rằng cần bao nhiêu giây để trình thu thông tin trước tải và thu thập nội dung trang.
• Sitemap:  Đây là liên kết sitemap cho phép gọi vị trí bất kỳ sitemap XML nào được liên kết với URL này. Lệnh này chỉ dùng cho Google bot.

Cấu trúc và Cú pháp chuẩn của Robots.txt

Một file Robots.txt hợp lệ được cấu thành từ các lệnh rất đơn giản. Bạn không cần phải là một lập trình viên đại tài mới hiểu được chúng. Dưới đây là 3 thành phần cốt lõi:

1. User-agent

Đây là lệnh xác định danh tính của con bot mà bạn muốn ra lệnh. Mỗi công cụ tìm kiếm có một tên User-agent riêng.

• Googlebot: Bot của Google Search.
• Googlebot-Image: Bot tìm kiếm hình ảnh của Google.
• Bingbot: Bot của Microsoft Bing.
• *: Dấu sao đại diện cho tất cả các loại bot.

2. Disallow (Chặn)

Lệnh này thông báo cho User-agent biết không được phép truy cập vào đường dẫn hoặc thư mục nào. Đây là lệnh quan trọng nhất để bảo vệ Crawl Budget.

3. Allow (Cho phép)

Lệnh này dùng để ghi đè lên lệnh Disallow. Ví dụ: Bạn chặn cả thư mục /wp-admin/ nhưng muốn bot truy cập vào một file cụ thể trong đó, bạn sẽ dùng lệnh Allow cho file đó.

4. Sitemap

Khai báo đường dẫn file Sitemap XML của bạn để bot tìm kiếm dễ dàng định vị cấu trúc website.

File Robots.txt hoạt động như thế nào? 

Nhìn chung nhiệm vụ chính của file này đó là cào dữ liệu sau đó index nội dung để đáp ứng theo yêu cầu tìm kiếm của người dùng. Cụ thể công việc của nó bao gồm: 

• Cào và quét dữ liệu.
• Index nội dung trên công cụ tìm kiếm.

Để tiến hành Crawl (cào) dữ liệu trên Web thì công cụ sẽ đi theo đường dẫn của những liên kết, cứ lần lượt như vậy nó sẽ thu được thông tin từ nhiều trang khác nhau. Quá trình cào dữ liệu này còn được gọi là “Spidering”. 

Khi vào được website, việc làm đầu tiên của Googlebot là tìm kiếm file Robots.txt để thực hiện nhiệm vụ Crawl và index dữ liệu trên Web. Nếu trên file Robots.txt không có lệnh User-gent hoặc website của bạn thiếu mất tệp tin này thì các “chú bots” của Google sẽ quét và thu thập toàn bộ các thông tin có trên website.

Các mẫu lệnh Robots.txt thông dụng nhất hiện nay

Tại Xuyên Việt Media, khi triển khai dịch vụ SEO tổng thể cho khách hàng, chúng tôi thường gặp các tình huống cần cấu hình file robots khác nhau. Dưới đây là các kịch bản phổ biến:

Cho phép tất cả bot truy cập toàn bộ website

User-agent: *
Disallow:

Hoặc bạn có thể bỏ trống file, nhưng tốt nhất nên có dòng lệnh trên để tường minh.

Chặn toàn bộ website (Thường dùng khi Dev/Staging)

User-agent: *
Disallow: /

Cảnh báo: Đây là lỗi sai kinh điển khiến website “bay màu” khỏi Google sau khi launch web mới mà quên xóa lệnh này.

Chặn một thư mục cụ thể và các trang con bên trong

User-agent: *
Disallow: /wp-admin/
Disallow: /private/

Chặn bot truy cập một file cụ thể

User-agent: *
Disallow: /chinh-sach-bao-mat.html

Sử dụng Wildcard () và kết thúc chuỗi ($)

Để linh hoạt hơn, bạn có thể dùng các ký tự đại diện:

• : Đại diện cho chuỗi ký tự bất kỳ. Ví dụ chặn tất cả các url có chứa dấu hỏi (thường là bộ lọc): Disallow: /?
• $: Đánh dấu kết thúc URL. Ví dụ chặn các file có đuôi .xls: Disallow: /.xls$

Quy trình tạo và kiểm tra file Robots.txt chuẩn SEO

Bước 1: Tạo file Robots.txt

Bạn có thể sử dụng bất kỳ trình soạn thảo văn bản nào như Notepad (Windows) hoặc TextEdit (Mac). Tuyệt đối không dùng Word vì nó chứa các định dạng ẩn gây lỗi.

Nếu bạn sử dụng WordPress, các plugin SEO như Rank Math hoặc Yoast SEO đều hỗ trợ chỉnh sửa file này ngay trong trang quản trị mà không cần truy cập hosting.

Bước 2: Upload lên thư mục gốc

Sử dụng FTP hoặc File Manager của hosting để tải file lên. Đảm bảo đường dẫn truy cập phải là: domain.com/robots.txt. Google không chấp nhận file nằm trong thư mục con (ví dụ: domain.com/blog/robots.txt là vô hiệu).

Bước 3: Kiểm tra tính hợp lệ

Đừng tin tưởng tuyệt đối vào mắt thường. Hãy sử dụng công cụ Robots.txt Tester trong Google Search Console cũ hoặc các công cụ kiểm tra bên thứ ba để đảm bảo bạn không vô tình chặn các trang quan trọng.

Những cách tạo file Robots.txt cực đơn giản

Để giúp các chủ trang web quản lý được lưu lượng truy cập của những con bot của Google vào trang web thu thập thông tin thì các chủ website cần tạo file Robots.txt. Sau đây là những cách tạo file robots.txt cực đơn giản:

Upload file Robots.txt qua FPT sau khi tạo

Bạn có thể tạo file Robots.txt thủ công bằng phương pháp tạo rồi upload file Robots.txt qua PDF. Bạn có thể thực hiện theo các bước sau:

• Bước 1: Mở notepad hoặc Textedit có sẵn trong máy để tạo file Robots.txt WordPress
• Bước 2: Sau đó mở FPT > nhấp chọn thư mục public_html > chọn file Robots.txt > Nhấp Upload.

Tạo tệp robots.txt bằng Plugin All in One SEO

Với plugin All in One SEO cho phép bạn tạo hoặc sửa file Robots.txt một cách khá dễ dàng, đây cũng là một plugin tiện ích cho WordPress đơn giản và dễ sử dụng. 

• Bước 1: Để tạo được file Robots.txt WordPress, đầu tiên bạn bạn cần tải plugin All in One SEO. Nếu chưa có hãy nhấn vào đây để cài đặt nhé. 
• Bước 2: Chọn All in One SEO > chọn mục Feature Manager > Nhấp vào mục Active và chọn file Robots.txt
• Bước 3: Đến đây bạn có thể tạo hoặc tùy chỉnh file Robots.txt theo ý muốn. 

Sử dụng plugin Yoast SEO để tạo file Robots.txt

Nếu bạn muốn chỉnh sửa hoặc tạo File Robots.txt thì plugin Yoast SEO quen thuộc vẫn có thể giúp bạn làm “chuyện ấy”. Từng bước tạo file Robots.txt bằng plugin Yoast SEO như sau: 

• Bước 1: Cũng tương tự như trên, để sử dụng Plugin trên WordPress bạn hãy vào kho plugin tìm kiếm Yoast SEO và cài đặt. Nếu đã cài đặt thành công thì vui lòng bỏ qua bước này nhé. 
• Bước 2: Phía bên trái màn hình, click vào SEO > Chọn mục Tools > Chọn File Editor.

• Bước 3: Tiếp đó bạn sẽ thấy mục Robots.txt và htaccess file. Đến đây thì bạn có thể tùy chỉnh file theo yêu cầu của mình. 

Tại sao các bạn cần tạo file Robots.txt?

Thiết lập file Robots.txt WordPress cho website của bạn giúp kiểm soát được truy cập của các con bots đến những khu vực nhất định trên web. Việc tạo file Robots.txt mang lại nhiều lợi ích như sau:

•  Ngăn chặn những nội dung trùng lặp trong website.
• Giữ một số phần của trang ở chế độ riêng tư.
• Giữ kết quả các tìm kiếm nội bộ không hiển thị công khai
• Chỉ định vị trí sơ đồ trang web (Sitemap)
• Dùng lệnh Crawl-delay nhằm chỉ định độ trễ thu thập dữ liệu để ngăn máy chủ không bị quá tải khi trình thu thập dữ liệu tải nhiều phần trong cùng một lúc.