Tầm Quan Trọng của Việc Ưu Tiên Crawling và Nhu Cầu Tìm Kiếm
Trên một podcast được phát hành cách đây hai tuần, Illyes giải thích cách Google quyết định bao nhiêu trang web được crawling:
"Nếu nhu cầu tìm kiếm giảm, thì giới hạn crawling cũng giảm theo."
Mặc dù ông không cung cấp một định nghĩa rõ ràng về 'nhu cầu tìm kiếm,' nhưng có thể đây là việc đòi hỏi về nhu cầu tìm kiếm từ góc độ của Google. Nói cách khác, nếu có sự giảm trong số lượt tìm kiếm cho một chủ đề cụ thể, Google có thể ít lý do hơn để crawling các trang web liên quan đến chủ đề đó.
Illyes cũng nhấn mạnh về sự quan trọng của thuyết phục các công cụ tìm kiếm rằng nội dung trên trang web xứng đáng được lấy về.
"Nếu bạn muốn tăng cường lượng crawling của chúng tôi, thì bạn phải thuyết phục tìm kiếm rằng nội dung của bạn đáng để lấy về, đó chính là điều mà bộ lập lịch đang lắng nghe."
Mặc dù Illyes không đi sâu vào cách thức đạt được điều này, một cách giải thích có thể là đảm bảo rằng nội dung luôn phản ánh xu hướng người dùng và luôn được cập nhật.
Tập Trung vào Chất Lượng
Google trước đây đã làm rõ rằng một 'ngân sách crawling' cố định chủ yếu là một điều huyền thoại.
Thay vào đó, quyết định crawling của các công cụ tìm kiếm là động và dựa trên chất lượng nội dung.
Như Illyes nói:
"Lịch trình rất linh hoạt. Ngay khi chúng tôi nhận được tín hiệu từ việc lập chỉ mục tìm kiếm rằng chất lượng nội dung đã tăng trên số lượng trang web này, chúng tôi sẽ bắt đầu tăng nhu cầu."
Hướng Đi Tiếp Theo
Nhiệm vụ của Illyes để cải thiện hiệu quả crawling bằng cách giảm lượng crawling và byte trên dây là một bước tiến hướng hơn và thực tế hơn cho web.
Khi ông tìm kiếm ý kiến từ cộng đồng, Illyes mời góp ý về các bản nháp hoặc tiêu chuẩn internet thú vị từ IETF hoặc các tổ chức tiêu chuẩn khác có thể đóng góp cho nỗ lực này.
"Giảm lượng crawling mà không làm tổn thương chất lượng crawling sẽ mang lại lợi ích cho mọi người," ông kết luận.
