Softonic

Công cụ kiểm tra khả năng lập chỉ mục

Bước 1 / 3 Kiểm tra khả năng lập chỉ mục
Tiếp theo

Một trang có thể hoàn toàn hợp lệ nhưng không được công cụ tìm kiếm hiển thị vì chỉ một thẻ chứa thông tin “noindex” hoặc tệp robots.txt đang chặn hoạt động của trình thu thập dữ liệu. Hãy dán một địa chỉ URL vào công cụ này; nó sẽ đánh giá tất cả các yếu tố mà Google sử dụng – bao gồm robots.txt, meta robots, tiêu đề X-Robots-Tag, mục đích chuẩn (canonical target) và trạng thái HTTP – từ đó xác định xem trang có thể được lập chỉ mục hay không, lý do tại sao, và đề xuất những thay đổi cần thực hiện nếu không phù hợp.

Cách kiểm tra khả năng lập chỉ mục

  1. 1

    Nhập địa chỉ URL

    Trình kiểm tra thu thập địa chỉ URL giống như cách Googlebot thực hiện.

  2. 2

    Nó giải quyết các truy cập chuyển hướng.

    Một chuỗi gồm 301 hoặc 302 bước nhảy được xác định; địa chỉ URL cuối cùng là địa chỉ được đánh giá.

  3. 3

    Nó đọc tất cả các tín hiệu khả năng lập chỉ mục.

    Các quy tắc trong file Robots.txt, meta robots, thẻ X-Robots, định dạng chuẩn (canonical), mã trạng thái.

  4. 4

    Phán quyết và lý do

    Có thể lập chỉ mục / không thể lập chỉ mục / một phần, kèm theo tín hiệu chính xác đã dẫn đến kết luận đó.

Các tín hiệu khả năng lập chỉ mục và thứ tự ưu tiên của chúng

Google đánh giá một tập hợp các tín hiệu theo thứ tự nhất định; chỉ cần một tín hiệu tiêu cực duy nhất trong chuỗi cũng đủ để ngăn việc lập chỉ mục.

Thứ tự đánh giá tín hiệu

  1. Trạng thái HTTP: Cần có mã 2xx; các chuỗi mã 3xx sẽ được áp dụng; các mã 4xx và 5xx kết thúc quá trình chỉ mục hóa.
  2. robots.txt: Nếu địa chỉ URL không được phép sử dụng bởi Googlebot, trang đó sẽ không bao giờ được thu thập dữ liệu – nghĩa là các thẻ noindex trên trang đó cũng sẽ không được hiển thị.
  3. Tiêu đề X-Robots: Giá trị noindex trong các tiêu đề phản hồi HTTP sẽ ngăn chặn việc lập chỉ mục.
  4. Meta robots: <meta name="robots" content="noindex"> ngăn chặn việc lập chỉ mục.
  5. Canonical: Việc chỉ định địa chỉ khác theo kiểu canonical có nghĩa là Google sẽ lập chỉ mục cho URL đó thay vì URL ban đầu.
  6. Chất lượng nội dung và phát hiện nội dung trùng lặp: Google có thể không thực hiện lập chỉ mục ngay cả khi không có chỉ dẫn rõ ràng.

Các lỗi phổ biến mà công cụ này phát hiện được

Vấn đề Nguyên nhân
Toàn bộ phần không được lập chỉ mục Quy tắc Disallow: trong file robots.txt
Trang cụ thể chưa được lập chỉ mục noindex trong meta robots
Được lập chỉ mục bằng URL không chính xác Giá trị canonical trỏ đến một vị trí khác
Kẹt ở mã 5xx Lỗi máy chủ khiến quá trình thu thập dữ liệu bị gián đoạn
Xung đột Disallow + noindex Robots.txt chặn thu thập dữ liệu, thẻ noindex không bao giờ được đọc
Chuyển các lỗi rò rỉ từ môi trường thử nghiệm sang sản xuất X-Robots-Tag: noindex – phần còn lại từ môi trường thử nghiệm

Bẫy robots.txt + noindex

Nếu bạn đặt một URL trong tệp robots.txt với thẻ Disallow:, Google sẽ không thực hiện việc thu thập dữ liệu từ URL đó, do đó thẻ noindex sẽ không được hiển thị. URL này vẫn có thể xuất hiện trong kết quả tìm kiếm dưới dạng mục “trống”, chỉ chứa địa chỉ URL mà không có mô tả nào. Để xóa một URL khỏi danh sách chỉ mục một cách chính xác, hãy cho phép việc thu thập dữ liệu và sử dụng thẻ noindex; chỉ sau khi Google đã loại bỏ URL đó khỏi danh sách chỉ mục thì mới chặn việc thu thập dữ liệu liên quan đến nó.

Kiểm thử từ góc độ Googlebot

Trình kiểm tra sẽ gửi thông tin đến đại diện người dùng của Googlebot để các thủ thuật kiểu “chỉ cho trình thu thập dữ liệu phía máy chủ nhìn thấy nội dung nhất định” được hiển thị rõ ràng. Luôn kiểm tra các URL trong môi trường sản xuất, chứ không phải trong môi trường thử nghiệm.

Câu hỏi thường gặp

Việc có thể lập chỉ mục chỉ có nghĩa là không tồn tại các rào cản kỹ thuật; điều này không đảm bảo việc lập chỉ mục sẽ được thực hiện thành công. Google cũng đưa ra quyết định dựa trên chất lượng nội dung, tình trạng nội dung trùng lặp và ngân sách thu thập dữ liệu từ web. Để nhận kết quả chính xác từ chính Google, bạn nên sử dụng tính năng Kiểm tra URL trong Search Console.

Thông thường, chỉ cần sử dụng các thẻ meta robot (hoặc thẻ X-Robot) là đủ. Tệp robots.txt ngăn chặn việc thu thập dữ liệu từ trang web; trong khi thẻ meta robot ngăn chặn việc lập chỉ mục. Đối với những trang không muốn được lập chỉ mục, hãy cho phép việc thu thập dữ liệu để Google có thể nhận diện thẻ noindex của bạn.

Google đánh giá đích cuối cùng của chuỗi chuyển hướng. Một trang 301 từ A đến B có nghĩa là Google cuối cùng sẽ chỉ lập chỉ mục tại B chứ không phải tại A. Hệ thống kiểm tra mô phỏng tình huống này bằng cách xử lý tất cả các lần chuyển hướng trước khi thực hiện đánh giá.

Không. Những trang cần xác thực theo định nghĩa thì không thể lập chỉ mục được. Nếu bạn cần tối ưu hóa cho chúng về mặt SEO, hãy cân nhắc sử dụng phiên bản xem trước công khai.

Công cụ liên quan

Trình kiểm tra độ dài mô tả siêu dữ liệu

Đo mô tả meta theo ký tự và pixel ước tính, so sánh các mốc biên tập và xem bố cục minh họa trên máy tính lẫn thiết bị di động.

Trình mô phỏng kết quả Google

Xem snippet gần đúng theo kiểu Google với giới hạn ký tự cho điện thoại và máy tính. Bản nháp chỉ ở trong phiên trình duyệt này.

Trình kiểm tra header bảo mật HTTP

Dán header phản hồi HTTP và kiểm tra cục bộ HSTS, CSP, clickjacking, MIME, referrer cùng chính sách cross-origin.

Trình kiểm tra sơ đồ trang web XML

Kiểm tra XML của sơ đồ trang web trong trình duyệt để tìm lỗi phân tích, vị trí còn thiếu, URL trùng lặp và giá trị trường phổ biến.

Trình tạo thẻ chuẩn

Tạo thẻ liên kết rel=canonical hợp lệ cho bất kỳ URL nào. Bao gồm xác thực URL và các lỗi phổ biến cần tránh.

Trình kiểm tra URL chuẩn

Dán HTML của một trang và kiểm tra thẻ rel=canonical: có tồn tại không, có phải URL tuyệt đối hợp lệ không, có khớp với URL trang không.

Công cụ này có phiên bản bằng các ngôn ngữ khác