quang cao hosting

Hướng dẫn cách cấu hình file Robots.txt giúp Google index hiệu quả

Xem: 3012    Tải: 0   Thảo luận: 0   Mục: Tài liệu tham khảo   Lĩnh vực: none

3 điểm   ( 8 đánh giá ) File đã được kiểm thử

Như các bạn đã biết các lỗi 404 (lỗi liên kết link không tồn tại hoặc bị chuyển hướng tới link đã chết) trên công cụ tìm kiếm sẽ khiến website của bạn bị công cụ tìm kiếm đánh giá. Và khi có quá nhiều lỗi liên kết này thì đừng hỏi tại sao bạn SEO mà website không lên top Google nhé.
SEO Onpage là một bước rất quan trọng trong quá trình SEO website. Và sử dụng Robots.txt sẽ là cách tốt nhất để cải thiện các lỗi mà bạn đang gặp phải với liên kết lỗi.
Vậy sử dụng robots.txt như thế nào.

Như các bạn đã biết Robots.txt là một file dùng để điều chỉnh hành động cũng như kiểm soát việc index của các công cụ tìm kiếm tới một website. Nó như một cánh cửa đóng hoặc mở việc index của các công cụ tim kiếm vào một website nào đó.
Robots.txt cần phải được đặt trong thư mục gốc của web:
Ví dụ : http:/www.example.com/robots.txt
Đầu tiên bạn cần chú ý cấu trúc của 1 file Robots.txt như sau:

User-agent: *
Disallow: /images/
Disallow: /cgi-bin/
Trong đó : User-agent: (dùng để khai báo thông tin của các công cụ tìm kiếm)
Ví dụ bạn khai báo : User-agent: googlebot tức là các câu lệnh trong Robots.txt áp dụng cho công cụ tìm kiếm Google.
Còn nếu bạn khai báo : User-agent: * ( tức là sẽ áp dụng cho tất cả các công cụ tìm kiếm)
Disallow: /images/ (tức là chặn toàn bộ index trong thư mục Images của website)

Về cơ bản thì file robots.txt sẽ giúp bạn chặn các liên kết từ công cụ tìm kiếm, tức là nếu bạn muốn Google không index vào đường link nào, hoặc thư mục website bạn sẽ dùng Robots.txt để chặn điều này.
VD: bạn có 1 đường dẫn là : www.tên-miền.com/link-lỗi
Để google không index vào các link lỗi này
Bạn sẽ mở file robots.txt chèn text:
Disallow: /link-lỗi/
Ngoài ra bạn cũng có thể dùng robots.txt để chặn cả một thư mục website cũng dùng câu lệnh:
Disallow: /folder-lỗi/

Chú ý khi sử dụng Robots.txt
Bạn không nên sử dụng chú thích trong file robots.txt vì sẽ rất dễ bị nhầm lẫn đôi khi chú thích của bạn lại sẽ chính là lỗi và làm google chặn vào các danh mục, đường dẫn không cần thiết.
Chỉ nên chặn các thư mục, đường link quản trị, hoặc không có giá trị đọc. Vì index là điều rất quan trọng trong quá trình phát triển website, nó sẽ giúp bạn có nhiều đáp án tìm kiếm trên google hơn, và khi bạn chặn điều này tức là bạn đang chặn chính website của mình trên google.
Đừng bao giờ để website của bạn có câu lênh này :
Disallow: /   (vì nó sẽ chặn toàn bộ website của bạn trên công cụ tìm kiếm và bạn sẽ mất hẳn trên Google)
Trong Webmaster Google của bạn sẽ báo lỗi : Some important page is blocked by robots.txt. More Details trên các link.

hướng dẫn sử dụng robots.txt

Và khi đó khi bạn tìm kiếm site của bạn trên Google bạn sẽ thấy phần mô tả website bị lỗi : A description for this result is not available because of this site's robots.txt

chặn liên kết web với robots.txt

Và bạn thử hỏi vì sao bạn lại cần chặn index ? chẳng phải là index càng nhiều càng tốt ?
Trên thực tế SEO website số lượng index càng lớn điều đó có nghĩa là bạn sẽ có cơ hội xuất hiện nhiều hơn trên các công cụ tìm kiếm, Và sẽ là rất tốt khi website của bạn có nhiều kết quả tìm kiếm của người dùng.
Nhưng trong một số trường hợp nhất định mà bạn không muốn Google index tới các đường dẫn này như :

  •  Khi bạn có một hệ thống website quản lý nội bộ và không muốn các thông in này được index trên Google bạn có thể chặn nó bằng Robots.txt.
  •  Khi bạn bị hack file .httpaccess và bị chuyển hướng hoặc chèn các link lạ đã bị google index, bạn có thể dùng robots.txt để chặn các link bị lỗi này.
  •  Khi bạn có một website, hoặc các liên kết thường xuyên thay đổi, bạn nên dùng robots.txt để chặn index để tránh các liên kết thay đổi này.

Hướng dẫn cách cấu hình file Robots.txt giúp Google index hiệu quả

Hướng dẫn cách cấu hình file Robots.txt giúp Google index hiệu quả Đăng ngày 25-07-2014  Như các bạn đã biết các lỗi 404 (lỗi liên kết link không tồn tại hoặc bị chuyển hướng tới link đã chết) trên công cụ tìm kiếm sẽ khiến website của bạn bị công cụ tìm kiếm đánh giá. Và khi có quá nhiều lỗi liên kết này thì đừng hỏi tại sao bạn SEO mà website không lên top Google nhé. 0.375/10 3012

Thảo luận:

Để bình luận bạn phải đăng nhập thành viên.

File tương tự

Files cùng mục

 
File gợi ý cho bạn
File tải nhiều nhất
Megacode.vn - Thư viện mã nguồn chia sẻ, tải file cho cộng đồng
Copyright © 2013-2021. All rights reserved. Bản quyền thuộc VinaGon
Email: info@vinagon.com
Hotline: 086.924.3838