Thẻ Meta robots là gì? Cách kiểm tra và thay đổi thuộc tính của thẻ Meta robots

Ngày đăng: 26/07/2022

Tác giả: Vũ Việt Hoàng

Thẻ Meta robots là gì? Cách kiểm tra và thay đổi thuộc tính của thẻ Meta robots

Tối ưu Onpage là một yếu tố quan trọng trong SEO, những thẻ meta hiện nay vẫn là những công cụ rất cần thiết trong quá trình thực hiện tối ưu ấy. Trong đó phải cả đến thẻ Meta robots - robots Meta Tag. Vậy Meta robots là gì? Cách kiểm tra và thay đổi thuộc tính của nó như thế nào? Cũng Ori tìm hiểu trong bài viết này nhé!

Mục Lục

I. Thẻ Meta robots là gì?
II. Tầm quan trọng của thẻ Meta robots trong SEO
III. Các tham số kiểm soát chỉ mục
IV. Cách kiểm tra và thay đổi thuộc tính của thẻ Meta robots
V. Hướng dẫn ứng dụng robots Meta Tag cho mỗi nội dung
VI. So sánh thẻ Meta robots với thẻ X‑robots-Tag?

I. Thẻ Meta robots là gì?

Thẻ Meta robots là gì? Thẻ Meta robots (hay robots Meta Tag) là các đoạn mã cung cấp và hướng dẫn cho trình thu thập thông tin về cách để thu thập dữ liệu hoặc cách để lập chỉ mục nội dung trang web.
Thẻ Meta Robot là thẻ quan trọng trong SEO Google

Thẻ meta robots yêu cầu được đặt trong phần

của một trang nhất định.

Thẻ robots Meta Tag có dạng:

"meta name=”robots” content=”noindex”"

II. Tầm quan trọng của thẻ Meta robots trong SEO

Thẻ Meta robots là thẻ được sử dụng với nhiều mục đích khác nhau. Tuy nhiên đoạn mã này thường được sử dụng để ngăn các trang mà doanh nghiệp muốn ngăn chặn Google lập chỉ mục và đưa trang đó ra kết quả tìm kiếm trên Google.

Các trang thường bị ngăn chặn không muốn lập chỉ mục đó là:

Các trang có nội dung mỏng, nội dung ít, không có nhiều giá trị cho người dùng
Các trang quản trị
Các trang tài liệu nội bộ
Các chương trình khuyến mãi
Các nội dung trùng lặp

Trong SEO, việc sử dụng các thẻ giúp Google hiểu rõ hơn website của doanh nghiệp. Ngoài việc sử dụng thẻ Meta Robots giúp lập chỉ mục website, và rất nhều thẻ khác giúp hỗ trợ tối ưu SEO thì không thể không kể đến thẻ Hreflang tag. Vậy thẻ Hrefslang tag là gì, hãy cùng tìm hiểu nhé!

III. Các tham số kiểm soát chỉ mục

Các giá trị Thẻ meta robots bao gồm:

index: Cho phép công cụ tìm kiếm được quyền lập chỉ mục một trang.

Lưu ý: Doanh nghiệp không cần thêm thẻ meta này bởi vì nó là mặc định.

noindex: Ngăn chặn công cụ tìm kiếm không lập chỉ mục một trang.
follow: Cho phép công cụ tìm kiếm có thể theo dõi các liên kết trên một trang để quá trình thu thập thông tin và tìm thấy các trang khác.

Lưu ý: Doanh nghiệp không cần thêm thẻ meta này bởi vì nó là mặc định.

nofollow: Ngăn không cho robots thu thập các liên kết trên trang. Tuy nhiên vẫn có thể lập chỉ mục các trang này.
none: Tương đương với việc sử dụng cùng lúc cả 2 thẻ noindex và nofollow.
all: Tương đương với việc sử dụng thẻ index và follow đồng thời.
noimageindex: Ngăn không cho lập chỉ mục bất kỳ hình ảnh nào trên một trang.
noarchive: Ngăn không cho hiển thị một liên kết đã lưu trong bộ nhớ đệm cho một trang trên kết quả tìm kiếm.
nocache: Tương tự như noarchive, nhưng chỉ được phép sử dụng trên công cụ Internet Explorer và Firefox.
nosnippet: Ngăn hiển thị đoạn văn bản (tức là mô tả meta) hoặc đoạn video của trang trên kết quả tìm kiếm.
notranslate: Ngăn hiển thị bản dịch của một trang trong SERPs.
unavailable after: Yêu cầu Google không hiển thị một trang trong kết quả tìm kiếm sau thời gian cụ thể.

Bất kỳ lệnh nào được sử dụng được trong thẻ meta robots cũng có thể được chỉ định là một X-robots-Tag.

Lưu ý: Có thể tạo nhiều lệnh bằng cách dùng dấu phẩy vào câu lệnh

Ví dụ:

"meta name=”robots” content=”noindex, nofollow”"

Thẻ này ngăn chặn lập chỉ mục trang này và không được thu thập dữ liệu tất cả các liên kết trên trang.

IV. Cách kiểm tra và thay đổi thuộc tính của thẻ Meta robots

1. Cách kiểm tra thẻ Meta robots

Để có thể kiểm tra, theo dõi meta robots có được áp dụng trên một trang bất kỳ hay không và cách để thay đổi các thuộc tính của thẻ có thể làm theo các bước:

Bước 1: Tại trang muốn kiểm tra chọn “xem nguồn trang” hoặc dùng tổ hợp phím Ctrl + U (với máy win); Option + Command + U (với máy Mac)

Bước 2: Nhấn tổ hợp phím Ctrl + F hay Command + F để thực hiện tìm kiếm

Bước 3: Gõ meta name=”robots” hoặc meta content để tìm kiếm và thực hiện kiểm tra.

Tại đây doanh nghiệp có thể thấy các thuộc tính mà trang web này đang áp dụng

Lưu ý: Nếu không thể tìm thấy thì mặc định là Index

2. Thay đổi trong HTML/CSS

Doanh nghiệp có thể thực hiện thay đổi thuộc tính cho Meta robots với các cách sau:

Cách 1: Chỉnh sửa các file robots.txt

Cách 2: Chỉnh sửa các thẻ meta robots

3. Sử dụng Plugin Yoast SEO với Website WordPress

Nếu doanh nghiệp đang sở hữu website trên nền tảng WordPress thì có thể chỉnh sửa các thuộc tính cho thẻ Meta robots dễ dàng và nhanh chóng với các thao tác:

Bước 1: Truy cập vào trang web mà cần thiết lập với quyền quản trị

Bước 2: Kéo xuống phần thiết lập nâng cao

Tại đây doanh nghiệp có thể tùy chỉnh “noindex” và “nofollow”

Tại tab “robots meta nâng cao” doanh nghiệp có thể thực hiện thiết lập những thẻ meta khác

4. Sử dụng Plugin Rank Math

Nếu doanh nghiệp sử dụng Plugin Rank Math thì thực hiện các thao tác sau:

Bước 1: Chọn vào phần chỉnh sửa của bài viết

Bước 2: Chọn “Advanced”

Chọn mục Advanced để thay đổi

Bước 3: Chọn các thẻ mà doanh nghiệp muốn đặt

V. Hướng dẫn ứng dụng robots Meta Tag cho mỗi nội dung

1. Sử dụng thẻ index

Sử dụng thẻ index ứng dụng robots Meta Tag cho mỗi nội dung.

Đây là cách thức giải quyết dữ liệu hiện nay đang phổ biến nhất trên Web và được dùng cho tất cả những nội dung mà doanh nghiệp muốn khách hàng tìm thấy và thứ hạng của trang trên kết quả tìm kiếm. Hay nói cách khác đó là trang có một nội dung hoàn chỉnh.

2. Khám phá thẻ noindex

Sử dụng thẻ noindex ứng dụng robots Meta Tag cho mỗi nội dung.

Khi làm thông tin, có đôi khi doanh nghiệp phải tạo ra những bài viết chỉ dành để phục vụ cho người dùng ở một thời điểm nhất định như khuyến mãi, giảm giá,…Hoặc đơn giản là những bài viết có nội dung như trang kết quả của tìm kiếm, trang cảm ơn,… Doanh nghiệp hoàn toàn không cần quan tâm tới thứ hạng tìm kiếm những nội dung này. Do đó đây chính là lúc doanh nghiệp sử dụng thẻ Noindex để giúp Google có thể ập trung vào những thông tin quan trọng.

Cấu trúc thông tin tại những trang này sẽ được phân bổ như sau:

Nếu như index và noindex chủ yếu được sử dụng cho những nội dung là những trang bài viết, thông tin sản phẩm,… thì nofollow và dofollow lại được dùng trọng điểm cho các đường dẫn (internal link, external link).
Trong trường hợp đặt ở đầu trang thì 2 lệnh này được áp dụng cho toàn bộ các đường dẫn trong bài viết, sản phẩm,…

3. Cách dùng lệnh Nofollow

Sử dụng lệnh Nofollow ứng dụng robots Meta Tag cho mỗi nội dung.

Hãy tưởng tượng Web của doanh nghiệp là một bình đựng nước và các đường dẫn (link) là các đường ống. Lượng nước tại đây được đại diện cho “độ uy tín”, “sức mạnh” được nhắc đến là “Link juice”. Theo khái niệm thì lệnh Nofollow là cái van giúp doanh nghiệp chặn việc đánh mất sức mạnh từ trang này sang trang khác.

Khi sử dụng Nofollow doanh nghiệp nói với Google rằng đây không phải nội dung quan trọng chỉ mang thuộc tính đọc thêm dành cho người dùng. Do đó Google không nhất thiết phải theo dõi để có thể cập nhật những nội dung đó.

Bằng cách kết hợp với 2 lệnh index và noindex doanh nghiệp có thể có những dạng cấu trúc sau:

Bạn muốn Google index 1 lần duy nhất mà không cập nhật lại
Bạn không muốn google index và không cập nhật

5. Thời điểm nên sử dụng Dofollow

Trái lại với lệnh nofollow, đường dẫn với lệnh Dofollow được hiểu là thông tin được cập nhập thường xuyên và có những giá trị nhất định.

Chính vì lý vì lẽ đó doanh nghiệp phải cần nhận xét mức độ “uy tín”, “sức mạnh” của trang được trỏ tới vì đây cũng là yếu để Google nhận xét thứ hạng cho Web của doanh nghiệp.

VD: Các web mạnh và uy tín như: Youtube, Google, Wikipedia,…

VI. So sánh thẻ Meta robots với thẻ X‑robots-Tag?

Tương tự với các thẻ Meta robots, tuy nhiên với thẻ X-robots-Tag cung cấp cho doanh nghiệp sự linh hoạt hơn bằng cách cho phép doanh nghiệp kiểm soát cách (các loại) tệp cụ thể được lập chỉ mục.

1. Ví dụ về cách sử dụng X-robots-Tag

Nếu doanh nghiệp muốn ngăn các công cụ tìm kiếm hiển thị các tệp doanh nghiệp đã tạo bằng PHP, có thể thêm phần sau vào phần đầu của tệp header.php:

"header(“X-robots-Tag: noindex”, true)"

Điều này sẽ không thể ngăn được các công cụ tìm kiếm theo các liên kết trên các trang đó. Nếu doanh nghiệp muốn làm điều đó, hãy thay đổi ví dụ trước đó như sau:

"header(“X-robots-Tag: noindex, nofollow”, true)"

Mặc dù sử dụng phương pháp này trong PHP đều có những lợi ích riêng của nó, có thể doanh nghiệp sẽ muốn chặn hoàn toàn các loại tệp cụ thể. Cách tối ưu nhất là thêm X-robots-Tag vào cấu hình máy chủ Apache của doanh nghiệp hoặc tệp .htaccess .

Khi doanh nghiệp chạy một trang web cũng có một số tệp .doc, nhưng lại không muốn các công cụ tìm kiếm lập chỉ mục trên loại tệp đó vì một số lý do cụ thể. Trên máy chủ Apache, doanh nghiệp nên thêm dòng sau vào tệp cấu hình .htaccess:

"Header set X-robots-Tag “noindex, noarchive, nosnippet”"

Hoặc, nếu doanh nghiệp muốn thực hiện việc này cho cả tệp .doc và .pdf:

"Header set X-robots-Tag “noindex, noarchive, nosnippet”"

Nếu doanh nghiệp đang chạy Nginx thay vì máy chủ Apache, doanh nghiệp có thể nhận được kết quả tương tự bằng việc thêm phần sau vào cấu hình của máy chủ:

"location ~* .(doc|pdf)$ {

add_header X-robots-Tag “noindex, noarchive, nosnippet”;

}"

Có những trường hợp mà tệp robots.txt có thể được hiển thị trên các kết quả tìm kiếm. Bằng cách sử dụng một thay đổi của phương pháp trước đó, doanh nghiệp có thể ngăn điều này xảy ra với trang web của mình:

"Header set X-robots-Tag “noindex”"

Và trong Nginx:

"location = robots.txt {

add_header X-robots-Tag “noindex”;

}"

2. Khi nào nên sử dụng thẻ X robots thay thế cho Meta robots

Với những nơi mà doanh nghiệp không thể dùng HTML để thiết lập thẻ Meta robots thì đây là lúc doanh nghiệp cần phải sử dụng X-robots-tag.

Các trường hợp cần sử dụng đến thẻ X-robots-tag:

Khi cần noindex toàn bộ phần tên miền hay các danh mục con…
Khi muốn đặt đoạn mã HTML
Các tệp không phải là HTML như PDF, hình ảnh…doanh nghiệp sẽ không thể can thiệp bằng HTML.

Meta robots tag là một trong những công cụ để tối ưu SEO Onpage tuyệt vời. Khi hiểu rõ meta robots là gì và những vấn đề xoay quanh meta robots sẽ giúp website mà doanh nghiệp bạn sở hữu đạt được mục đích như mong muốn.