Robots.txt là gì ? File Robots.txt là 1 dạng văn bản chứa các mã lệnh mà người quản trị web tạo ra, nó có tác dụng điều hướng các bots của công cụ tìm kiếm khi vào website của các bạn. Mà cụ thể là nó cho phép hay không cho phép Bot đánh chỉ mục 1 thư mục bất kỳ nào đó trong website của bạn hay không ? Cách tạo sitemap cho website File Robots.txt được đặt trong thư mục gốc đầu tiên của website và ngang hàng với các file index.php, sitemap.xml… ví dụ như: http://thietkeweb.congay.com/robots.txt Cách tạo file Robots.txt ? Cách tạo 1 file robots.txt rất đơn giản, bạn chỉ cần mở notepad hoặc notepad ++ chèn các mã lệnh và lưu file dưới đạng đuôi .txt Ví dụ file robots.txt của tôi có dạng như sau: HTML: User-agent: * Allow: /media/ Disallow: /wp-admin/ Disallow: /wp-includes/ Sitemap: http://thietkeweb.congay.com/sitemap.xml User-agent : dùng để xác định bot của công cụ tìm kiếm nào. Allow: cho phép bot vào thư mục, trang nào đó. Disallow: chặn bot vào thư mục, trang nào đó. Như ở ví dụ trên thì cho phép tất cả các robots công cụ tìm kiếm, cho phép truy cập và đánh chỉ mục thư mục media, còn chặn bot truy cập và không cho đánh chỉ mục thư mục wp-admin, wp-includes. Theo như cách hướng dẫn trên, các bạn có thể hiểu 1 cách đơn giản như sau: thư mục nào mà chúng ta không cần index thì nên chặn bots còn không thì ngược lại. Việc điều hướng này rất có ích trong việc SEO bởi các bots tìm kiếm sẽ không tự động lập chỉ mục các file, thư mục không mong muốn. Sau khi tạo xong file robots.txt các bạn có thể trực tiếp vào công cụ webmaster tool để gửi cập nhập và kiểm tra lại cho chính xác.
Đoạn này sai sai rồi bác ơi, bác phải tải file này lên host trước, vào webmaster tool chỉ để thông báo cho Google nó vào xem thôi chứ không thể quăng file lên bằng webmaster tool được đâu.
cấu hình con robot.txt còn tham số nào nữa không chủ thớt, không lẽ chỉ có allow và disallow, sitemap? Chủ thớt trả lời nốt cho anh em nắm được. Bác KrytallLe nói chuẩn đấy phải có trên host thì google nó mới kiểm tra được.
Chuẩn luôn bác. Theo như chủ thớt nói là :"Sau khi tạo xong file robots.txt các bạn có thể trực tiếp vào công cụ webmaster tool để gửi cập nhập và kiểm tra lại cho chính xác. Nếu bạn mà làm như vậy thì chưa khai báo cho gg biết. Thay vào đó bạn tải file bạn tạo đó vào host nhé.