Nội Dung Bài Viết

Trong hệ sinh thái WordPress hiện đại, việc tối ưu hóa công cụ tìm kiếm (SEO) không còn đơn thuần là câu chuyện nhồi nhét từ khóa hay tinh chỉnh thẻ meta description. Một khía cạnh kỹ thuật quan trọng thường bị bỏ ngỏ chính là cách Googlebot và các công cụ tìm kiếm khác tương tác với hạ tầng máy chủ của bạn. Plugin Yoast SEO, vốn được xem là “kim chỉ nam” cho cộng đồng webmaster, đã giới thiệu tính năng Crawl Optimization (Tối ưu hóa thu thập dữ liệu).

Tính năng này ban đầu chỉ dành riêng cho bản Premium (từ phiên bản 18.6) nhưng nay đã được phổ cập xuống phiên bản miễn phí (từ bản 20.4), mang lại sức mạnh to lớn cho hàng triệu website. Về cơ bản, Crawl Optimization giúp website của bạn trở nên “gọn gàng” hơn bằng cách loại bỏ các tài nguyên thừa thãi, từ đó giúp Googlebot tập trung “ngân sách thu thập dữ liệu” (Crawl Budget) vào những nội dung thực sự giá trị. Việc cấu hình đúng không chỉ giúp tăng tốc độ index bài viết mà còn giảm tải đáng kể cho máy chủ, tiết kiệm băng thông và năng lượng. Hãy cùng Thủ Thuật đi sâu vào chi tiết cách thiết lập tính năng này một cách chuẩn xác nhất.

Giao diện cài đặt Crawl Optimization trong Yoast SEO giúp tối ưu hóa thu thập dữ liệu

Truy cập và kích hoạt trình quản lý Crawl Optimization

Trước khi đi vào từng cài đặt chi tiết, bạn cần xác định vị trí của công cụ này trong trang quản trị WordPress. Quy trình truy cập như sau:

Đăng nhập vào Dashboard (Bảng tin) của WordPress.
Tìm menu Yoast SEO ở thanh bên trái.
Chọn Cài đặt (Settings).
Kéo xuống phần Nâng cao (Advanced) và chọn Crawl optimization.

Tại đây, Yoast SEO chia các thiết lập thành nhiều nhóm chức năng riêng biệt: từ quản lý siêu dữ liệu, định dạng nội dung, tài nguyên tĩnh cho đến việc chặn các bot AI. Việc hiểu rõ bản chất kỹ thuật của từng mục là cực kỳ quan trọng để tránh tình trạng “tối ưu quá đà” gây lỗi website.

Remove unwanted metadata (Dọn dẹp siêu dữ liệu rác)

WordPress mặc định chèn rất nhiều thẻ <link> và metadata vào phần <head> của mã nguồn HTML. Nhiều trong số đó là tàn dư của các công nghệ cũ hoặc phục vụ cho những tính năng mà 99% người dùng hiện đại không còn sử dụng. Việc loại bỏ chúng giúp giảm kích thước file HTML, làm nhẹ tải cho trình duyệt và bot.

Trong mục Remove unwanted metadata, bạn sẽ thấy các tùy chọn sau:

Remove shortlinks: WordPress tự động tạo các liên kết ngắn dạng ?p=ID. Nếu bạn đã thiết lập đường dẫn tĩnh (Permalinks) chuẩn SEO (ví dụ: ten-bai-viet), liên kết này là hoàn toàn thừa.
Remove REST API links: API này cần thiết nếu bạn dùng các ứng dụng bên ngoài để lấy dữ liệu từ web. Tuy nhiên, nếu website chỉ đơn thuần là blog hoặc trang tin tức, việc tắt nó đi còn giúp hạn chế các cuộc dò quét lỗ hổng bảo mật.
Remove RSD / WLW links: Đây là các giao thức hỗ trợ đăng bài từ xa qua các phần mềm desktop cũ kỹ như Windows Live Writer. Trong kỷ nguyên viết bài trực tiếp trên trình duyệt hoặc qua ứng dụng mobile, thẻ này là vô nghĩa.
Remove oEmbed links: Tính năng này cho phép người khác nhúng bài viết của bạn đẹp mắt hơn trên web của họ. Nếu bạn không quan tâm đến việc này hoặc muốn tiết kiệm băng thông, hãy tắt nó.
Remove generator tag: Thẻ này công khai phiên bản WordPress bạn đang dùng. Về mặt bảo mật, việc ẩn thông tin này là một thực hành tốt (Security through obscurity).

Xem thêm: Hướng Dẫn Tích Hợp Akismet Vào Contact Form 7: Giải Pháp Chống Spam "Tàng Hình" Hiệu Quả Nhất

Tùy chọn Remove Unwanted Metadata trong Yoast SEO để loại bỏ dữ liệu rác

Disable unwanted content formats (Tắt các định dạng nội dung thừa)

WordPress là một nền tảng hào phóng khi tự động tạo ra hàng loạt luồng dữ liệu (RSS Feeds) cho mọi thứ: từ chuyên mục, tác giả, thẻ (tag) cho đến từng bài viết và bình luận. Đối với SEO, điều này tạo ra một “ma trận” các đường dẫn chất lượng thấp mà Googlebot buộc phải thu thập, gây lãng phí tài nguyên nghiêm trọng.

Bạn nên cân nhắc vô hiệu hóa các định dạng sau:

Global feed: Đây là luồng RSS chính của web. Chỉ giữ lại nếu bạn có lượng độc giả đăng ký theo dõi qua Feedly hoặc dùng nó cho Email Marketing tự động.
Comments feed: Hầu như không có giá trị SEO. Google không cần index luồng bình luận riêng lẻ. Hãy tắt nó.
Author / Post type / Category / Tag feeds: Nếu website của bạn không phải là một trang báo lớn cần phân phối nội dung đa kênh (syndication), các feed này chỉ làm loãng cấu trúc website.
Atom/RDF feeds: Các chuẩn định dạng cũ, nên tắt và chỉ ưu tiên chuẩn RSS 2.0 phổ biến.

Lưu ý quan trọng: Nếu website của bạn đang kết nối với Google News Publisher hoặc các hệ thống lấy tin tự động, hãy kiểm tra kỹ luồng Global feed trước khi tắt.

Cấu hình Disable Unwanted Content Formats giúp tắt các RSS Feed không dùng đến

Remove unused resources (Loại bỏ tài nguyên tĩnh không dùng)

Tốc độ tải trang (Page Speed) là một yếu tố xếp hạng quan trọng. Một trong những nguyên nhân khiến web chậm là việc trình duyệt phải tải và xử lý các file JavaScript (JS) hoặc CSS không cần thiết.

Yoast SEO cho phép xử lý vấn đề này qua mục Remove unused resources:

Remove Emoji scripts: Trước đây, WordPress chèn một đoạn mã JS lớn để hỗ trợ hiển thị emoji trên các trình duyệt cũ. Ngày nay, mọi trình duyệt hiện đại đều hỗ trợ emoji ở cấp độ hệ điều hành. Việc tắt script này giúp tiết kiệm một lượng HTTP request đáng kể.
Block index WP-JSON API: Ngăn Google index các đường dẫn API. Điều này giúp tránh việc nội dung cấu trúc dữ liệu JSON bị index nhầm thành nội dung trang, gây lỗi trùng lặp nội dung (Duplicate Content).

Tùy chọn Remove Unused Resources giúp loại bỏ script Emoji và WP-JSON

Block unwanted bots (Chặn bot và AI Scrapers)

Kỷ nguyên AI bùng nổ kéo theo sự xuất hiện của hàng nghìn bot thu thập dữ liệu nhằm huấn luyện các mô hình ngôn ngữ lớn (LLM). Bên cạnh đó là các bot từ các công cụ SEO hoặc bot quảng cáo. Chúng liên tục “cào” dữ liệu, tiêu tốn băng thông và tài nguyên CPU của máy chủ mà không mang lại giá trị traffic trực tiếp.

Yoast SEO cung cấp giải pháp chặn các bot này ngay từ file robots.txt hoặc HTTP Header:

Google AdsBot: Nếu bạn không chạy quảng cáo Google Ads dẫn về website, bot này là không cần thiết.
AI Bots (GPTBot, Google Bard/Gemini, CCBot): Nếu bạn muốn bảo vệ bản quyền nội dung, không muốn bài viết của mình bị OpenAI hay Google dùng miễn phí để huấn luyện AI, hãy kích hoạt chặn các bot này.
SEO Tools Bots: Chặn các bot từ Ahrefs, Semrush, MJ12bot… nếu bạn không muốn đối thủ phân tích website của mình (tuy nhiên cần cân nhắc nếu bạn chính là người đang dùng các tool này để audit web).

Xem thêm: Hướng Dẫn Hiển Thị User Role Trong Bình Luận WordPress Cho Theme Paradise

Tính năng Block Unwanted Bots giúp chặn các trình thu thập dữ liệu AI và quảng cáo

Internal site search cleanup (Dọn dẹp và bảo mật tìm kiếm nội bộ)

Ô tìm kiếm trên website là một tính năng hữu ích cho người dùng, nhưng lại là “tử huyệt” bị hacker và spammer lợi dụng. Kẻ xấu có thể tạo ra hàng nghìn URL tìm kiếm với các từ khóa rác (về cờ bạc, thuốc kích dục…) nhằm mục đích SEO bẩn. Nếu Google index các URL này, uy tín tên miền (Domain Authority) của bạn sẽ bị ảnh hưởng nghiêm trọng.

Tính năng Internal site search cleanup giúp bạn:

Filter search terms: Tự động lọc bỏ các ký tự đặc biệt, emoji hoặc các mẫu spam phổ biến trong truy vấn tìm kiếm.
Limit query length: Giới hạn độ dài từ khóa (ví dụ: tối đa 50 ký tự) để ngăn chặn các cuộc tấn công DoS vào cơ sở dữ liệu.
Block search URLs: Đây là tùy chọn quan trọng nhất. Nó thêm thẻ noindex vào các trang kết quả tìm kiếm nội bộ (?s=...), tuân thủ đúng khuyến nghị của Google là “Không index trang kết quả tìm kiếm”.

Mục Internal Site Search Cleanup giúp ngăn chặn spam URL tìm kiếm

Advanced: URL cleanup (Xử lý nâng cao tham số URL)

Cuối cùng là phần tinh chỉnh dành cho các chuyên gia: xử lý các tham số URL (Query parameters). Các tham số theo dõi chiến dịch như utm_source=facebook, fbclid=..., gclid=... thường tạo ra vô số biến thể của cùng một bài viết gốc. Điều này làm phân tán sức mạnh SEO và gây ra lỗi trùng lặp nội dung.

Trong phần URL cleanup, bạn có thể:

Xóa các tham số theo dõi: Hệ thống sẽ tự động loại bỏ các tham số UTM hoặc ID chiến dịch sau khi trang tải xong. Người dùng vẫn truy cập bình thường, hệ thống analytics vẫn ghi nhận, nhưng URL trên thanh địa chỉ sẽ sạch đẹp.
Xóa tham số không đăng ký: Loại bỏ bất kỳ tham số lạ nào không được khai báo.

Cảnh báo từ Thủ Thuật: Hãy cực kỳ thận trọng với tùy chọn “Xóa tham số không đăng ký”. Nếu website của bạn là trang thương mại điện tử (WooCommerce) sử dụng các bộ lọc sản phẩm (ví dụ: ?color=red&size=l), việc kích hoạt tùy chọn này có thể làm hỏng chức năng lọc hàng.

Tùy chọn Advanced URL Cleanup để xử lý các tham số theo dõi chiến dịch

Lời kết

Tính năng Crawl Optimization của Yoast SEO thực sự là một cuộc cách mạng nhỏ trong việc đơn giản hóa SEO kỹ thuật (Technical SEO) cho người dùng phổ thông. Bằng cách mạnh dạn loại bỏ những “mỡ thừa” trong mã nguồn và thiết lập hàng rào bảo vệ trước các bot vô ích, bạn đang trực tiếp nâng cao hiệu suất và trải nghiệm người dùng trên website.

Tuy nhiên, “Thủ Thuật” khuyến nghị bạn nên thực hiện từng bước một và kiểm tra kỹ lưỡng (đặc biệt là các tính năng liên quan đến API và RSS Feed) để đảm bảo không gây gián đoạn các dịch vụ bên thứ ba. Một website tinh gọn, tải nhanh và bảo mật tốt chính là nền tảng vững chắc nhất để chinh phục các thứ hạng cao trên Google.