Strona 1 z 1

Właściwy robots.txt ?

: 30 maja 2009, 06:27
autor: Wodzu
Mam taki robots.txt i nie jestem pewien czy jest dobrze sformułowany .Czy może ktoś przeanalizować ?
User-Agent: *
Allow: /

User-Agent: Googlebot
Disallow: /faq.php
Disallow: /misc
Disallow: /MAINTAINERS.txt
Disallow: /user/register
Disallow: /?q=logout
Disallow: /?q=user/login
Disallow: /INSTALL.txt
Disallow: /profiles
Disallow: /aggregator
Disallow: /UPGRADE.txt
Disallow: /logout
Disallow: /admin
Disallow: /xmlrpc.php
Disallow: /?q=user/password
Disallow: /?q=node/add
Disallow: /sites
Disallow: /CHANGELOG.txt
Disallow: /includes
Disallow: /?q=search
Disallow: /scripts
Disallow: /user/login
Disallow: /?q=admin
Disallow: /database
Disallow: /modules
Disallow: /search
Disallow: /themes
Disallow: /LICENSE.txt
Disallow: /updates
Disallow: /?q=comment/reply
Disallow: /?q=contact
Disallow: /comment/reply
Disallow: /?q=aggregator
Disallow: /?q=user/register
Disallow: /install.php
Disallow: /node/add
Disallow: /cron.php
Disallow: /contact
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /user/password
Disallow: /update.php
Allow: /

Re: Właściwy robots.txt ?

: 30 maja 2009, 09:48
autor: pit
Ludzie piszą że wystarczy

Kod: Zaznacz cały

User-agent: *
Disallow: /adm/
Disallow: /cache/
Disallow: /files/
Disallow: /includes/
Disallow: /language/
Disallow: /store/
Disallow: /styles/
Disallow: /common.php
Disallow: /config.php
Disallow: /cron.php
Disallow: /mcp.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /ucp.php
Disallow: /viewonline.php
i że jest zbędny.

Re: Właściwy robots.txt ?

: 30 maja 2009, 10:33
autor: jaroslw
Wodzu, ten plik robots.txt nie jest dla phpBB, a prawdopodobnie dla Drupala. Wystarczy wersja podana przez pita.

Re: Właściwy robots.txt ?

: 30 maja 2009, 14:29
autor: Wodzu
A nie powinien tak wyglądać ?
User-Agent: *
Allow: /

User-Agent: Googlebot
Disallow: /adm/
Disallow: /cache/
Disallow: /files/
Disallow: /includes/
Disallow: /language/
Disallow: /store/
Disallow: /styles/
Disallow: /common.php
Disallow: /config.php
Disallow: /cron.php
Disallow: /mcp.php
Disallow: /posting.php
Allow: /

Re: Właściwy robots.txt ?

: 30 maja 2009, 14:35
autor: jaroslw
Chyba chcesz zablokować te pliki i katalogi dla wszystkich robotów, a nie tylko Google? Linia Allow: / na końcu jest niepotrzebna. Na swoim forum mam taki plik:

Kod: Zaznacz cały

User-agent: *

Disallow: /*.cfg$
Disallow: /*.css$
Disallow: /*.js$

Disallow: /adm/
Disallow: /cache/
Disallow: /docs/
Disallow: /files/
Disallow: /includes/
Disallow: /language/
Disallow: /store/
Disallow: /styles/
Disallow: /common.php
Disallow: /config.php
Disallow: /cron.php
Disallow: /mcp.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /ucp.php
Disallow: /viewonline.php

Re: Właściwy robots.txt ?

: 31 maja 2009, 16:56
autor: Wodzu
Ok wrzucę twój dzięki .