Robots.txt disallows Web Robot, User-agentBài viết giới thiệu về Robots Exclusion Protocol với tệp tin robots.txt và cú pháp, cách sử dụng đúng và danh sách các User Agent Names.Robots, HTML Meta và Google, Yahoo, MicrosoftGiới thiệu về Robots Exclusion Protocol (REP), qui ước chung của Google, Yahoo và Microsoft : Qui ước robots.txt và qui ước HTML META Tags.Googlebot và Robots.txt : Allow, DisallowCách ứng dụng Robots Exclusion Protocol (REP) bằng việc sử dụng tệp tin robots.txt đối với máy tìm kiếm Google. Cách biên dịch đặc biệt tệp tin robots.txt của spider GoogleBot.Robots META Tag - Metadata ElementsỨng dụng Robots Exclusion Protocol (REP) thông qua sử dụng thẻ Metadata Robots cho các trang đơn lẻ. Các User Agent của Google

Google có vài user-agent chính. Bạn có thể ngăn chúng bằng cách thêm tên của bọ tìm kiếm tương ứng và trong dòng User-agent tương ứng trong bảng ghi robots.txt. Nếu bạn chặn Googlebot thì có nghĩa là bạn chặn tất cả các bọ tìm kiếm với từ khóa “Googlebot”.
GooglebotĐánh chỉ số từ các chỉ mục cũ và mới của Google.Googlebot-MobileĐánh chỉ số cho các thiết bị cầm tay hoặc di động.Googlebot-ImageĐánh chỉ số các tệp tin ảnh.Mediapartners-GoogleXuất hiện trong các trang dăng quảng cáo của Google Adsense.Adsbot-GoogleĐánh chỉ số các trang được nhà quảng cáo sử dụng giới thiệu sản phẩm hay dịch vụ thông qua Google Adwords. Nó cho phép đánh giá chất lượng của trang dùng dịch vụ Adwords. Chặn Googlebot

Để chặn toàn bộ Googlebot thì bạn thêm cú pháp sau vào file robots loại trừ :
User-agent: Googlebot
Disallow: / Cho phép Googlebot

Trong trường hợp bạn muốn chặn tất cả các bọ tìm kiếm khác trừ một robot, Googlebot chẳng hạn, thì bạn có thể sử dụng cú pháp sau. Tuy nhiên nếu bạn không muốn trang liên quan biến mất khỏi kết quả tìm kiếm của các máy tìm kiếm như Yahoo, MSN Live hay Ask thì bạn không nên làm như thế.
User-agent: *
Disallow: /

User-agent: Googlebot
Disallow: Cho phép mở rộng

Google hỗ trợ cú pháp mở rộng “Allow” trong tệp tin robots.txt. Có nhiều máy tìm kiếm không hỗ trợ phần mở rộng này, vì thế bạn nên tham khảo kỹ. Dòng lệnh “Allow” hoạt động cũng giống như “Disallow” chỉ khác là nó liệt kê các thư mục hay trang bạn cho phép đánh chỉ số.
Bạn có thể sử dụng đồng thời “Allow” và “Disallow” cùng nhau. Chẳng hạn để cấm tất cả các trang trong một thư mục “seoblog” chẳng hạn, trừ tệp tin “quang-ba-web.html”, bạn hãy làm như sau :
User-agent: Googlebot
Disallow: /seoblog/
Allow: /seoblog/quang-ba-web.html Còn trong trường hợp bạn muốn chặn Googlebot và sau đó lại vẫn muốn cho các bot khác của Google (Googlebot-Mobile) chẳng hạn, bạn có thể sử dụng lệnh Allow như sau :
User-agent: Googlebot
Disallow: /

User-agent: Googlebot-Mobile
Allow: / Sử dụng mẫu tổ hợp

Đặc biệt hữu ích trong trường hợp bạn không muốn phải liệt kê tất cả các trang mà bạn muốn chặn. Đây là phần đuôi mở rộng mà GoogleBot hỗ trợ. Chú ý là các máy tìm kiếm khác chưa chắc đã hỗ trợ tính năng này.
Mẫu tổ hợp chuỗi các ký tự sử dụng dấu sao (*)

Bạn có thể sử dụng dấu sao (*) để liệt kê tổ hợp chuỗi các lkys tự. Ví dụ bạn có thể chặn một loạt các thư mục con bắt đầu bằng chữ wp (ví dụ wp-admin, wp-content cho blog WordPress) như sau :
User-agent: Googlebot
Disallow: /wp*/
Để chặn tất cả đường dẫn URL mà chứa ký tự (?) chứa tham biến (trong ngôn ngữ PHP), bạn hãy làm như sau :
User-agent: *
Disallow: /*?
Kiểm tra phần kết của chuỗi ký tự URL bằng $

Bạn cũng có thể sử dụng dấu dollard ($) để liệt kê các URL có phần kết tương ứng. Ví dụ để chặn tất cả các đường dẫn URL kết thúc với pdf (phiên bản pdf trên website để tránh trùng nội dung chẳng hạn) :
User-agent: Googlebot
Disallow: /*.pdf$
Bạn cũng có thể sử dụng tổ hợp kết này với lệnh Allow. Ví dụ nếu như có dấu hỏi ? tương ứng với một session ID, bạn có thể loại trừ chúng để tránh cho GoogleBot phải đánh chỉ số một nội dung trùng lặp. Thế nhưng các URLs kết thúc bởi dấu hỏi ? lại là một phiên bản trang mà bạn muốn thêm vào. Trong trường hợp này, hãy đặt tệp tin robots.txt của bạn như sau :
User-agent: *
Allow: /*?$
Disallow: /*?
Dòng lệnh Disallow:/ *? sẽ chặn tất cả các URL có chứa ký tự ? (Cụ thể là nó sẽ chặn tất cả các URL bắt đầu bằng tên miền, tiếp theo các ký tự, tiếp theo là dấu hỏi ?, tiếp theo bởi bất kể ký tự nào khác)
Dòng lệnh Allow: /*?$ sẽ cho phép bất kể đường dẫn nào kết thúc bởi dấu hỏi ? (Cụ thể là với bất kể URL nào bắt đầu bằng tên miên, theo bởi chuỗi ký tự, theo tiêp bởi dấu hỏi ?, không có ký tự nào nằm sau dấu hỏi này).
Hoài Nam - Quảng bá Web.
Bài viết cùng chủ đề liên quan

1. Robots.txt disallows Web Robot, User-agent
   Như các bạn đã biết, để đánh chỉ số một trang Web thì các máy tìm kiếm thường gửi các bọ tìm kiếm tới viếng thăm trang Web cần được...
2. Robots, HTML Meta và Google, Yahoo, Microsoft
   Robots Exclusion Protocol (REP) Một trong những quan tâm hàng đầu của các quản trị website (webmaster) là mức độ phổ biến và khả thị (visibility) trong website của...
3. Web crawler - web spider - web robot - googlebot - slurp
   Web crawler, web spider hay web robot là một chương trình tự động tìm kiếm trên Internet. Nó được thiết kết để thu thập tài nguyên Internet (trang Web, hình...
4. Robots META Tag - Metadata Elements
   Thường thì tệp tin robots.txt đặt tại thư mục gốc của tên miền là công cụ lý tưởng để giao tiếp với các máy tìm kiếm (Robots với Google, Yahoo...

__________________
chào mừng đến với site của tớ
www.get2you.com

Robots Exclusion Protocol (REP)

Một trong những quan tâm hàng đầu của các quản trị website (webmaster) là mức độ phổ biến và khả thị (visibility) trong website của họ. Đây là một trong những vấn đề chính trong thủ thuật SEO, thủ thuật tối ưu hóa website cho công cụ tìm kiếm (search engine optimization) nhằm giúp cho bọ tìm kiếm dễ dàng đánh chỉ số nội dung trang web.

Tuy nhiên, trong vài trường hợp thì webmaster lại không muốn đăng tải một số thông tin nhất định lên máy tìm kiếm. Trong trường hợp này họ sẽ sử dụng tệp tin loại trừ robots.txt (Robots Exclusion Protocol - REP) để hướng dẫn bọ tìm kiếm tiếp cận tài nguyên trên toàn website hay các phần quan trọng. Trong trường hợp từng trang đơn lẻ thì các webmaster sẽ sử dụng thẻ META Tags.
Quay trở lại với chuẩn REP vừa nói ở trên, Robots Exclusion Protocol xuất hiện trong những năm 90 và sớm trở thành một trong những chuẩn giúp webmaster chỉ định các thành phần của trang web mà họ muốn đăng tải lên máy tìm kiếm và các thành phần họ muốn giữ kín. Ngày nay, Robots Exclusion Protocol đã trở lên hết sức phổ biến và được sử dụng rộng rài nhờ tính đơn giản và hiệu quả trong việc liên lạc với các máy tìm kiếm. Điểm mạnh của nó còn nằm ở khả năng tùy biến cao thích ứng với World Wide Web. Chuẩn này được ứng dụng cho hầu hết các máy tìm kiếm và các bọ tìm kiếm và tất cả các website lớn nhỏ, không kể qui mô.
Trong tài liệu này, chúng ta sẽ cũng phân tích cách thức ứng dụng Robots Exclusion Protocol (REP). vietSEO sẽ giới thiệu các qui ước chung sử dụng bởi cả 3 ông lớn Google, Yahoo và Microsoft mới được công bố gần đây.
Qui ước chung của Google, Yahoo và Microsoft

Danh sách các tính năng chủ yếu sau của Robots Exclusion Protocol được ứng dụng bởi cả Google, Microsoft và Yahoo. Với mỗi tính năng, bạn sẽ hiểu được ý nghĩa và cách sử dụng.
Mỗi qui ước được ứng dụng cho tât cả các bọ tìm kiếm hay các bọ tìm kiếm đặt biệt được chỉ định bởi User-Agent (Xem thêm các bài viết liên quan về Robots.txt trên vietSEO).
Qui ước robots.txt

Qui ước robots.txt cho Google, Yahoo và Microsoft Robots.txt Directives Qui ước Ý nghĩa Ứng dụng SEO Disallow ‘No Crawl’ page : Yêu cầu bọ tìm kiếm không được đánh chỉ số tài nguyên. Tuy nhiên tệp tin robots.txt vẫn cần được đánh chỉ số để tìm được các chỉ định, các trang web bị cấm sẽ không được quyét. “Không quét” các tài nguyên trên một trang. Qui ước này ngầm cấm các bọ tìm kiếm tiếp cận các đường dẫn đến một số tài nguyên đặc biệt trên một trang Web. Allow Yêu cầu các bọ tìm kiếm đánh chỉ số một số trang nhất định trên website của bạn. Bạn có thể sử dụng kết hợp với Disallow. Đặc biệt hữu ích khi sử dụng cùng Disallow, khi mà một phần lớn các tài nguyên bị cấm trừ một phần nhỏ trong đó. $ - Wildcard Yêu cầu bọ tìm kiếm xác định mọi thứ từ cuối đường dẫn URL - một phần quan trọng các thư mục mà không phải chỉ định từng trang một. ‘No Crawl’ files : Không đánh chỉ số các files với qui luật nhất định. Ví dụ các tệp tin với thành phần đuôi mở rộng nhất định, như PDF chẳng hạn. * - Wildcard Yêu cầu bọ tìm kiếm xác định tập hợp ký tự. ‘No Crawl’ URLs : Kiểm tra đường dẫn URL với qui luật nhất định. Ví dụ cấm các đường dẫn với URLs chứ các session id hoặc các tham biến phụ. Sitemap Yêu cầu bọ tìm kiếm tìm tệp tin sitemap của website. Trỏ tới vị trí đặt sitemap XML hay các luồng tin RSS. Qui ước HTML META

Như bài viết trước về thẻ META tags, phần này chúng ta sẽ bổ sung thêm các qui ước chung cho cả 3 đại gia tìm kiếm Google, Yahoo và Microsoft :
Qui ước META tags cho Google, Yahoo và Microsoft HTML META Directives Qui ước Ý nghĩa Ứng dụng SEO NOINDEX META Tag Bọ tìm kiếm không đánh chỉ số trang liên quan. Không cho phép đánh chỉ số trang chỉ định. Ngoài ra, nó còn rút trang đó khỏi danh mục nếu được được đánh chỉ số. NOFOLLOW META Tag Bọ tìm kiếm không được theo đường dẫn URL nằm trong nội dung trang chỉ định. Giúp chống lại nạn spam các trang cho phép viết bài hòng tăng liên kết. Thẻ nofollow bào cho bọ tìm kiếm biết bạn bỏ qua các liên kết trỏ đến các trang bên ngoài trong nội dung trang chứ thẻ META tags nofollow. NOSNIPPET META Tag Yêu cầu bọ tìm kiếm không hiển thị snippets trong kết quả tìm kiếm đối với trang này. Loại bỏ phần mô tả snippet ra khỏi trang kết quả tìm kiếm. NOARCHIVE META Tag Cấm không cho bọ tìm kiếm được hiển thị bản sao trang web trong bộ nhớ “cache” đối với trang sử dụng thẻ này. Không cho phép người dùng xem phiên bản copy chứ trong bộ nhớ của máy tìm kiếm. NOODP META Tag Yêu cầu máy tìm kiếm không được sử dụng tiêu đề (title) và snippets từ các danh bạ Web - Open Directory Project cho trang được chỉ định. không sử dụng ODP - Open Directory Project, tiêu đề và phần mô tả snippets trong kết quả tìm kiếm cho trang này. Các qui ước trên được áp dụng cho các loại tài nguyên khác nhau trên Website. Chúng có thể được đặt trong một trang HTMK hay với HTTP header cho các trang không có nội dung là HTML, ví dụ các tệp tin PDF, Video, ect. (X-Robots-Tag).
Một số qui ước REP khác

Các qui ước trên đều được sử dụng cho Microsofts, Google và Yahoo. Tuy nhiên chúng không được áp dụng cho tất cả các máy tìm kiếm khác. Ngoài ra, còn có một số qui ước được Google sử dụng nhưng lại không được các máy tìm khác hỗ trợ :
UNAVAILABLE_AFTER Meta TagThông báo cho bọ tìm kiếm thời hạn của trang. Ví dụ ngày mà trang đó không còn có hiệu lực và sẽ không xuất hiện trong kết quả tìm kiếm.NOIMAGEINDEX Meta TagYêu cầu bọ tìm kiếm không quét các files ảnh trong trang được chỉ định và hiển thị trong kết quả tìm kiếm.NOTRANSLATE Meta TagYêu cầu bọ tìm kiếm không được dịch nối dung của trang sang một ngôn ngữ khác trong kết quả tìm kiếm. Robots và Search Engine Optimization

Ngoài những ứng dụng đã nhắc ở phần trên thì lợi ích của robots trong quảng bá web rất là lớn. Đặc biệt phải kể đến ứng dụng của REP trong việc tối ưu hóa Website cho công cụ tìm kiếm (Search Engine Optimization).
Lấy ví dụ một Blog, thì việc thông tin có thể được truy cập và hiển thị qua nhiều đường dẫn khác nhau làm phát sinh nhiều nội dung trùng lặp (Duplicate Content) (qua category, tags, archive, RSS). Bạn có thể loại trừ các nội dung trong phần tags, archive hay RSS bằng cách ứng dụng Robots. Nếu sử dụng robots.txt, bạn có thể sử dụng lệnh sau trong blog WordPress của bạn.
User-agent: *
Disallow: */trackback*
Disallow: /wp-*
Disallow: */feed*
Disallow: /20*
Disallow: /page/
Allow: / Ngoài ra bạn có thể dùng thẻ META tag. Vấn đề ứng dụng REP cho Blog, Forum mình sẽ quay trở lại sau trong một chủ đề liên quan.
Ngoải ra, bạn có thể sử dụng dòng lệch sitemap để giúp bọ tìm kiếm tiếp cận với cấu trúc, nội dung mới của trang Web bằng việc thêm đường dẫn Sitemap XML và Feed RSS trong file robots.txt. Ví dụ :
Sitemap: http://aevn.fr/indexsitemap_invm.xml.gz
Sitemap: AEVN - Sinh Vien du hoc
Sitemap: Sinh vien Viet Nam - Hoc tap - Giai tri

__________________
chào mừng đến với site của tớ
www.get2you.com

Hội nghị PubCon

Trong hội nghị PubCon (một diễn đàn lớn cho những chuyên gia về SEO) , Matt Cutts - sếp, nhân viên nổi tiếng của Google, chi nhánh chống thư rác, spam đã đồng ý trả lời phỏng vấn Stephan Spencer - một chuyên gia quảng cáo trực tuyến theo blog cá nhân của tác giả.
Xung quanh cuộc phỏng vấn này, có rất nhiều thông tin thú vị và có ích cho giới SEO, nên tớ xin phép tóm lược lại vài điểm chính sau :

Matt Cutts trả lời về Duplicate Content

• Stephan Spencer : Xin chào, tôi có vài câu hỏi mong muốn được anh trả lời Matt. Trước tiên khi một bài viết hay một thông tin của tác giả nào đó được phát đi (lường tin RSS) hoặc đăng tải bằng cách khác. Liệu có tốt hơn không khi bản cóp py trỏ tới địa chỉ của bài viết gốc trên trang của chính tác giả hay cũng như nhau khi chỉ trỏ liên kết tới trang chủ của tác giả thôi ?
• Matt Cutts :
  • Tôi khuyên các bạn nên trỏ liên kết tới địa chỉ của bài viết gốc trên chính trang của tác giả. Lý do là : Thừ hình dung xem nếu anh viết một bài hay, rồi lại quyết định đăng lại ở chỗ khác. Tất nhiên ít có khả năng là bài viết này nhân được nhiều link trỏ đến và có thêm PageRank. Và như vậy khi bọ tìm kiếm Google hoặc hệ thống Google định vị và đánh chỉ số những trang này, sẽ thấy hai bản cóp py của cùng một bài viết. Trong phần lớn các trường hợp, việc trỏ link như trên sẽ giúp người ta biết được đâu là bài viết nguyên bản (được đăng tải đầu tiên); bài viết mà có PageRank cao hơn.
  • Bời vậy, khi một bài viết được đăng tải lại đâu đó nên có liên kết trỏ tới bản gốc, dù rất khó có thể đảm bào rằng liên kết nguyên bản có thứ hạng PageRank cao hơn khi so sánh với tất cả các chế bản khác. Việc này cũng tạo thuận lợi cho chúng tôi xác định nội dung kép (Duplicate Content) để kết luân rằng “Bạn biết không ? Đây là bản gốc đấy; Bản tốt đó, hãy xem bản đó đi !”.

Nhận xét cá nhân

Điều làm tớ ngạc nhiên nhất trong đoạn phỏng vấn trên đó là khi Matt Cutts nói rằng kết quả phụ thược vào thứ hạng PageRank. Mình đã không nghĩ rằng PageRank lại đóng vai trò quan trọng đến khi thế; Vì có rất nhiều trang có vị trí trong trang kết quả cao hơn dù PageRank thấp hơn các trang khác cho cùng một từ khóa tìm kiếm.
Nhưng kiểu gì thì mình cũng rút ra kết luận (sẽ viết một bài về nội dung kép thủ thuật WordPress chi tiết hơn ): phải đặt khóa MORE cao hơn nữa trong các bài viết, nhất là khi kích hoạt các chức năng luông tin RSS Feed
Bài viết tổng hợp của Hoài Nam - vietSEO
[tags]blog, Duplicate Content, Google, Matt Cutts,PubCon, SEO, Stephan, trùng lặp nội dung, Spencer,wordpress,vietnam, webmaster,hoai nam[/tags]
Bài viết cùng chủ đề liên quan

1. Thảo luận Webmaster sau phỏng vấn Matt Cutts về trùng lặp nội dung
   Sau cuộc phỏng vấn Matt Cutts về trùng lặp nội dung kéo dài khoảng nửa tiếng đồng hồ, rất nhiều ý kiến đã được nêu ra cùng nhiều tranh luận,...
2. Chỉ mục bổ sung và nội dung trùng lặp
   Nhiều webmaster nghĩ rằng nội dung cuối cùng cũng chẳng có giá trị gì trong chỉ mục bổ sung (supplemental index) nhưng giảm số lượng trang trong chỉ mục...
3. Google cập nhật PageRank Toolbar tháng 7 2008
   Trên một số diễn đàn ((Digital Forum : Google PageRank Update : july 2008?)) và Website của nhân viên Google ((Blog Matt Cutts : New Toolbar PageRanks coming)) thông báo...
4. Nội dung kép và phương pháp phát hiện mới của Google
   Google không thích các nội dung kép. Lý do là Google muốn trong trang kết quả tìm kiếm, mười kết quả đầu tiên sẽ là mười trang khác nhau với...

__________________
chào mừng đến với site của tớ
www.get2you.com

Như các bạn đã biết, để đánh chỉ số một trang Web thì các máy tìm kiếm thường gửi các bọ tìm kiếm tới viếng thăm trang Web cần được chỉ số hóa. Ngoài việc sử dụng thẻ Meta Tag Robots, thì bạn có thể ứng dụng một file text đặc biệt đặt tại thư mục gốc của tên miền để điều chỉnh ứng xử của bọ tìm kiếm (trường hợp ứng dụng cho Google xem Google Robots). Bài viết này vietSEO và các bạn sẽ cùng phân tích ứng dụng của file robots.txt này.

Giới thiệu Robots.txt

Như đã viết ở trên, khi đánh chỉ số một trang Web thì các bọ tìm kiếm sẽ kiểm tra nội dung một tệp tin đặc biệt đặt tại thư mục gốc tên là robots.txt. Tệp tin này chứa hoàn toàn nội dung văn bản text (không phải HTML). Robots.txt được hiểu với nghĩa là “Robots Exclusion Protocol”; nó cho phép người quản trị Web (Webmaster) định ra các thành phần với quyền hạn riêng biệt cho từng bọ tìm kiếm. Nói cách khác thông qua tệp tin này, Webmaster sẽ giao tiếp với bọ tìm kiếm để điều khiển tác vụ của các bọ tìm kiếm nói trên.
Cú pháp trong Robots.txt

Cú pháp dùng trong tệp tin này thường dùng để cấm robots (bọ tìm kiếm) quét các trang mà đường dẫn URL được chỉ ra. Mỗi đoạn văn bản thường gồm có tên của bọ tìm kiếm (user agent hay robot) và đường dẫn mà nó không được quét. Và thường là bạn không thể chỉ định ra thư mục nhất định hay là các loại tệp tin mà bọ tìm kiếm có thể đánh chỉ số. Nên nhớ rằng, ngầm định, các robots có thể truy cập bất kể thư mục nào theo đường dẫn URL không được cấm trong tệp tin robots.txt. Tất cả mọi tài nguyên không bị cấm thì đều có thể được truy cập.
Bạn có thể hiển thị file robots.txt chỉ đơn giản bằng trình duyệt ( http://vietseo.net/robots.txt ). Bạn sẽ thấy một tệp tin định dạng text, rất dễ hiểu.
Xin nói thêm rằng Google gần đây có hỗ trợ cú pháp Sitemap trong robots.txt cho phép chỉ định sơ đồ Web (Sitemap XML) trong robots.txt
Ví dụ phần cú pháp Sitemap được chỉ định trong fie robots.txt trên vietSEO như sau :
[source:html]
#BEGIN XML-SITEMAP-PLUGIN
Sitemap: http://www.vietseo.net/sitemaps.xml.gz
#END XML-SITEMAP-PLUGIN
[/source]
Ứng dụng robots.txt

Đây là toàn bộ tài liệu liên quan tới chuẩn loại trừ Robot, mà theo lý thuyết thì tất cả các robots đề phải tuân theo các chỉ định trong file robots.txt.
Sử dụng file robots.txt Cú pháp Ghi chú cho Webmaster User-agent: *
Disallow: Dấu (*) có nghĩa là áp dụng cho mọi robots. Nhưng vì không có tài nguyên nào bị cấm nên thành ra tất cả mọi thư mục đề được cho phép. User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/ Tất cả mọi robots đều có quyền truy cập tất cả các thư mục trừ ba thư mục được trích dẫn phía sau. User-agent: SpamBot
Disallow: / Trường hợp này robot SpamBot bị cấm truy cập tất cả thư mục. Dấu gạch chéo “/” có nghĩa là tất cả các thư mục.User-Agent có thể là ký tự đơn và các robots không phần biệt chữ hoa và chữ thường. User-agent: SpamBot
Disallow: /

User-agent: *
Disallow: /private/
Để bắt đầu chỉ định mới thì bạn hãy đặt một dòng trắng. SpamBot bị cấm truy cập tất cả tài nguyên. Trong khi các robots khác được được truy cập tất cả trừ thư mục “private”. User-agent: SpamBot
Disallow: /tmp/
Disallow: /private/
Disallow: /tailieu/canhan.html

User-agent: *
Disallow: /tmp/
Disallow: /private/
Không cho phép SpamBot dò các thư mục được liệt kê phía sau : thư mục “tmp”, “private” và tệp tin “canhan.html” trong thư mục “tailieu”.
Các bọ tìm kiếm các được dò mọi thứ trừ hai thư mục “tmp” và “private”. Sử dụng sai - Phản ví dụ Các cách dùng sai syntax và file robots.txt
User-agent: *
Disallow /
KHÔNG ! Đây là cách dùng sai vì thiếu dấu hai chấm “:” sau disallow. User-agent: *
Disallow: *
KHÔNG ! Nếu muốn cấm toàn bộ mọi thứ thì hãy sử dụng ký tự gạch ngang “/” (chỉ định thư mục gốc) User-agent: sidewiner
Disallow: /tmp/
KHÔNG ! Robots sẽ bỏ qua các tên sai của User Agent. Hãy xem file logs trên server hoặc xem thêm danh sách User Agent names. User-agent: *
Disallow: /tmp/

User-agent: SpamBot
Disallow: /tailieu/canhan.html
Disallow: /tmp/
KHÔNG ! Robots đọc theo thứ tự từ trên xuống dưới và nó sẽ dùng lại khi tìm thấy phần văn bản liên quan tới nó. Bởi vậy “SpamBot” sẽ dừng ngay tại bảng ghi đầu tiên với dấu sao “*” mà không cần đến bảng ghi tiếp theo dành riêng cho nó. Ngoài ra, bạn có thể ưng dụng file robots.txt trong việc ngăn ngừa phần nào các robots có hại, mang tính chất spam, email extractor hay nhằm giảm nội dung trùng lặp, loại bỏ đường dẫn URL đã bị đánh chỉ số. Chúng ta sẽ trở lại vấn đề này trong các bài viết với từng chủ đề liên quan.
Danh sách User Agent Names

Các User Agent của Google

Google thường sử dụng vài User Agent cho từng dịch vụ riêng của mình. Bạn có thể chỉ định từng dòng User Agent riêng rẽ. Trong trường hợp bạn chặn (disallow) Googlebot thị bạn sẽ chặn tất cả các User Agent bắt đầu bằng “Goooglebot”

• Googlebot: Đánh chỉ số các trang Web và cập nhật các trang mới trong cơ sở dữ liệ của Google
• Googlebot-Mobile: Đánh chỉ số các trang cho dịch vụ mobile (các thiết bị di động, cầm tay)
• Googlebot-Image: Đánh chỉ số các trang cho tìm kiếm file ảnh.
• Mediapartners-Google: Đánh chỉ số trang để xác định nội dung cho Google Adsense. Bọ tìm kiếm này chỉ xuất hiện trên các trang sử dụng dịch vụ quảng cáo trực tuêysn Google Adsense.
• Adsbot-Google: Đánh chỉ số các trang để xác định chất lượng của các trang AdWords. Bọ này chỉ được sử dụng nếu trang của bạn sử dụng dịch vụ quảng cáo Adwords dành cho các nhà quảng cáo sản phẩm dịch vụ của họ..

Các User Agent khác

Đây là một số danh sách các User-Agent mà bạn có thể tham khảo như đã viết ở trên :

1. Web Robots Database : Chứa tòan bộ các robots active;
2. Search Engine Robots : Danh sách chứa tât cả máy tìm kiếm, bọ tìm kiếm và thông tin về đường dẫn, cập nhập.

__________________
chào mừng đến với site của tớ
www.get2you.com