Właściwy robots.txt ?

[Wodzu]

Mam taki robots.txt i nie jestem pewien czy jest dobrze sformułowany .Czy może ktoś przeanalizować ?

User-Agent: *
Allow: /

User-Agent: Googlebot
Disallow: /faq.php
Disallow: /misc
Disallow: /MAINTAINERS.txt
Disallow: /user/register
Disallow: /?q=logout
Disallow: /?q=user/login
Disallow: /INSTALL.txt
Disallow: /profiles
Disallow: /aggregator
Disallow: /UPGRADE.txt
Disallow: /logout
Disallow: /admin
Disallow: /xmlrpc.php
Disallow: /?q=user/password
Disallow: /?q=node/add
Disallow: /sites
Disallow: /CHANGELOG.txt
Disallow: /includes
Disallow: /?q=search
Disallow: /scripts
Disallow: /user/login
Disallow: /?q=admin
Disallow: /database
Disallow: /modules
Disallow: /search
Disallow: /themes
Disallow: /LICENSE.txt
Disallow: /updates
Disallow: /?q=comment/reply
Disallow: /?q=contact
Disallow: /comment/reply
Disallow: /?q=aggregator
Disallow: /?q=user/register
Disallow: /install.php
Disallow: /node/add
Disallow: /cron.php
Disallow: /contact
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /user/password
Disallow: /update.php
Allow: /

[pit]

Ludzie piszą że wystarczy

Kod: Zaznacz cały

User-agent: *
Disallow: /adm/
Disallow: /cache/
Disallow: /files/
Disallow: /includes/
Disallow: /language/
Disallow: /store/
Disallow: /styles/
Disallow: /common.php
Disallow: /config.php
Disallow: /cron.php
Disallow: /mcp.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /ucp.php
Disallow: /viewonline.php

i że jest zbędny.

[jaroslw]

Wodzu, ten plik robots.txt nie jest dla phpBB, a prawdopodobnie dla Drupala. Wystarczy wersja podana przez pita.

[Wodzu]

A nie powinien tak wyglądać ?

User-Agent: *
Allow: /

User-Agent: Googlebot
Disallow: /adm/
Disallow: /cache/
Disallow: /files/
Disallow: /includes/
Disallow: /language/
Disallow: /store/
Disallow: /styles/
Disallow: /common.php
Disallow: /config.php
Disallow: /cron.php
Disallow: /mcp.php
Disallow: /posting.php
Allow: /

[jaroslw]

Chyba chcesz zablokować te pliki i katalogi dla wszystkich robotów, a nie tylko Google? Linia Allow: / na końcu jest niepotrzebna. Na swoim forum mam taki plik:

Kod: Zaznacz cały

User-agent: *

Disallow: /*.cfg$
Disallow: /*.css$
Disallow: /*.js$

Disallow: /adm/
Disallow: /cache/
Disallow: /docs/
Disallow: /files/
Disallow: /includes/
Disallow: /language/
Disallow: /store/
Disallow: /styles/
Disallow: /common.php
Disallow: /config.php
Disallow: /cron.php
Disallow: /mcp.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /ucp.php
Disallow: /viewonline.php

[Wodzu]

Ok wrzucę twój dzięki .