Robots.txt là gì ?
Robots.txt là một tập tin văn bản, nó bao gồm một vài dòng code đơn giản. Nó được lưu trên trang web của bạn hoặc máy chủ của Blog, dẫn hướng cho các robot trong bộ máy tìm kiếm thu thập dữ liệu trên trang blog của bạn, giúp cho nội dùng trên trang blog được index nhanh hơn. Điều đó có nghĩa bạn có thể hạn chế bất kỳ trang web trên blog của bạn từ trình thu thập web để nó không thể được lập chỉ mục trong công cụ tìm kiếm như trang blog nhãn của bạn, trang giới thiệu của bạn hoặc bất kỳ trang nào khác mà không phải là quan trọng để có được lập chỉ mục. Luôn luôn nhớ rằng trình thu thập tìm kiếm quét các tập tin robots.txt trước khi thu thập dữ liệu bất kỳ trang web.
Hướng dẫn thêm Robots.txt cho Blogger
1. Đăng nhập vào trình quản lý Blogger
2. Đi tới Settings >> Search Preferences ›› Crawlers and indexing ›› Custom robots.txt ›› Edit ›› Yes (Ngôn ngữ tiếng anh)
Tiếng Việt: Cài đặt >> Tùy Chọn Tìm Kiếm >> Robots.txt tùy chỉnh >> Chỉnh Sửa >> Tích vào Có
3. Copy đoạn code dưới đây vào khung:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Disallow: /search
Disallow: /*?updated-max=*
Disallow: *archive.html
Sitemap: http://Tên Blog.blogspot.com/feeds/posts/default?orderby=UPDATED
Thay Tên Blog bằng Tên blog của bạn nhé
4. Lưu lại
Sau khi lưu xong các bạn có thể check bằng cách truy cập: http://Tên Blog.blogspot.com/robots.txt
Demo: http://yeunhacvang123.blogspot.com/robots.txt
Chúc các bạn thành công !
0 comments