Tập tin Robots.txt
Tiêu chuẩn loại trừ robots, còn được gọi là giao thức loại trừ rcho phép bạn kiểm soát những trang nào có thể được thu thập thông tin và lập chỉ mục bởi các công cụ tìm kiếm.
Sử dụng Robots.txt
Tệp robots.txt là một trang được xuất bản trên trang web của bạn, cung cấp các hướng dẫn thu thập thông tin cho robots của công cụ tìm kiếm. Tệp này thường được sử dụng để bảo vệ các trang riêng tư khỏi bị các công cụ tìm kiếm thu thập dữ liệu. Tệp robots.txt của bạn sẽ tự động được tạo khi bạn xuất bản trang web của mình. Ví dụ: http://seo.weba.vn/robots.txt
