Cách tạo và cấu hình file Robots.txt cho website chuẩn SEO

Thảo luận trong 'Tối ưu Website' bắt đầu bởi chuvanduyhn91, 1/11/16.

Đã xem: 6,245

  1. chuvanduyhn91 Thành Viên Tiêu Biểu

    Robots.txt là gì ?
    File Robots.txt là 1 dạng văn bản chứa các mã lệnh mà người quản trị web tạo ra, nó có tác dụng điều hướng các bots của công cụ tìm kiếm khi vào website của các bạn. Mà cụ thể là nó cho phép hay không cho phép Bot đánh chỉ mục 1 thư mục bất kỳ nào đó trong website của bạn hay không ?

    Cách tạo sitemap cho website
    File Robots.txt được đặt trong thư mục gốc đầu tiên của website và ngang hàng với các file index.php, sitemap.xml… ví dụ như: http://thietkeweb.congay.com/robots.txt

    Cách tạo file Robots.txt ?
    Cách tạo 1 file robots.txt rất đơn giản, bạn chỉ cần mở notepad hoặc notepad ++ chèn các mã lệnh và lưu file dưới đạng đuôi .txt

    Ví dụ file robots.txt của tôi có dạng như sau:
    HTML:
    User-agent: *
    Allow: /media/
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Sitemap: http://thietkeweb.congay.com/sitemap.xml
    User-agent : dùng để xác định bot của công cụ tìm kiếm nào.
    Allow: cho phép bot vào thư mục, trang nào đó.
    Disallow: chặn bot vào thư mục, trang nào đó.
    [​IMG]
    Như ở ví dụ trên thì cho phép tất cả các robots công cụ tìm kiếm, cho phép truy cập và đánh chỉ mục thư mục media, còn chặn bot truy cập và không cho đánh chỉ mục thư mục wp-admin, wp-includes.
    Theo như cách hướng dẫn trên, các bạn có thể hiểu 1 cách đơn giản như sau: thư mục nào mà chúng ta không cần index thì nên chặn bots còn không thì ngược lại. Việc điều hướng này rất có ích trong việc SEO bởi các bots tìm kiếm sẽ không tự động lập chỉ mục các file, thư mục không mong muốn.
    Sau khi tạo xong file robots.txt các bạn có thể trực tiếp vào công cụ webmaster tool để gửi cập nhập và kiểm tra lại cho chính xác.
     

    Các file đính kèm:

    Đang tải...
    nam lim xanh

    Bình Luận Bằng Facebook

  2. KrystalLe Thành Viên

    Số bài viết: 23
    Đã được thích: 3
    Điểm thành tích: 3
    Web:
    Đoạn này sai sai rồi bác ơi, bác phải tải file này lên host trước, vào webmaster tool chỉ để thông báo cho Google nó vào xem thôi chứ không thể quăng file lên bằng webmaster tool được đâu.
     
    cuongnt thích bài này.
  3. cuongnt Thành Viên

    Số bài viết: 16
    Đã được thích: 2
    Điểm thành tích: 3
    cấu hình con robot.txt còn tham số nào nữa không chủ thớt, không lẽ chỉ có allow và disallow, sitemap?
    Chủ thớt trả lời nốt cho anh em nắm được. Bác KrytallLe nói chuẩn đấy phải có trên host thì google nó mới kiểm tra được.
     
  4. trungnb Thành Viên Kì Cựu

    Số bài viết: 243
    Đã được thích: 27
    Điểm thành tích: 28
    Chuẩn luôn bác. Theo như chủ thớt nói là :"Sau khi tạo xong file robots.txt các bạn có thể trực tiếp vào công cụ webmaster tool để gửi cập nhập và kiểm tra lại cho chính xác.
    Nếu bạn mà làm như vậy thì chưa khai báo cho gg biết. Thay vào đó bạn tải file bạn tạo đó vào host nhé.