Przede wszystkim dziekuję Kolegom za odpowiedź i zainspirowanie mnie do poszukania rozwiązań w być może właściwym miejscu. Nie jest to reklama ani lizusostwo, a jedynie odpowiedź od serca. Jedynie na tym szacownym forum zdecydowano się mi pomóc. Postaram się w ramach podziękowania wspomnieć o Państwa pomocy (rewanżując się także adresem phpbb.pl) poprzez wpis w tym prestiżowym na naszym forum wątku:
http://forum-ogrodnicze.oleander.pl/his ... t2202.html
Adres ten znajduje się w kilku miejscach w sieci i jak widać, bez dostępu do samej strony google nie może niczego zaindeksować. W sumie z wielu przyczyn to dobrze, że nie indeksują stron których nie mogą zweryfikować booty.
Co do meritum. Panel, skrypt forum daje możliwości ustawienia różnych poziomów dostępu. Wydawało mi się, że mam to wszystko dobrze ustawione już dawno temu - przydzielałem dostęp botom. Jednak po dokładniejszym sprawdzeniu okazało się, że nie do końca miałem to ustawione tak jak powinienem.
W ustawienia globalne grupy, wybierając "boty" nie mogłem wybrać nic innego pasującego do tej grupy jak "zwykłe możliwości" które zawierają przeglądanie wątków.
Największy błąd był w uprawnienia lokalne, dostęp do działów. Ja ustawiałem to tak, że zaznaczałem wszystkie działy, następnie "wyślij" i z grupy boty wybierałem edytuj uprawnienia. Wydawało mi się, że tym sposobem wszystko co trzeba jest ustawione. Błąd, bo te ustawienia mi się nie zapisują. Gdy powtórnie wchodzę do tego miejsca w celu weryfikacji wszystko jest po staremu "brak ustawień". Dopiero gdy z zakładki poniżej (w ramach Uprawnienia lokalne/Dostęp do działów/Wybierz dział/Wybranie z tej listy działu spowoduje również wybranie jego poddziałów) wybrałem konkretny dział i tam przydzieliłem ustawienia botom to te ustawienia są trwałe i po sprawdzeniu widać je zaznaczone właściwie.
Ponadto zdecydowałem się na usunięcie starych sitemapów bo umieszczałem je kilka razy i szczerze powiedziawszy już się w tym pogubiłem które są zaindeksowane. Wyglądały na właściwe, ale czy aby na pewno - tego wcale nie jestem pewny i przede wszystkim pytanie czy się nie dublowały z adresami samych wątków? Stwierdziłem, że być może zaindeksowane mapy blokują zaindeksowanie takich samych adresów z forum. W tym celu nie tylko zgłosiłem te sitemapy do usunięcia ale i ustawiłem robots.txt w ten sposób:
User-agent: *
Disallow: /*.cfg$
Disallow: /*.css$
Disallow: /*.js$
Disallow: /adm/
Disallow: /cache/
Disallow: /docs/
Disallow: /files/
Disallow: /includes/
Disallow: /language/
Disallow: /sitemaps/
Disallow: /store/
Disallow: /styles/
Disallow: /common.php
Disallow: /config.php
Disallow: /cron.php
Disallow: /maps/
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /news/
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Po kilku godzinach od zgłoszenia w "narzędziach dla webmastera" prośby o usunięcie wybranych stron (głównie sitemapy) np:
http://www.nazwa.pl/sitemap12.xml wszystkie sitemapy i śmieciowe podstrony zostały usunięte z indeksu. Obecnie z poprzednio zaindeksowanych wszystkich 46 podstron pozostawiłem tylko 8 szt w tym 1, słownie jeden link z kilku tysięcy które mam na tym forum - dający się kreślić jako "normalny" link do postu.
http://forum-ogrodnicze.oleander.pl/hip ... t2259.html
Wygląda na to, że to co pozostawiłem to jeden z pierwszych linków które boot widział na mojej stronie w jakimś tam momencie gdy ją odwiedził (pierwszy dział, aktywny wpis). Pozostałe zaindeksowane to np faq
Zastanawiają mnie te dwa pozostawione linki:
Informacja - Przyjazne forum ogrodnicze Oleander
forum-ogrodnicze.oleander.pl/eurosanit1-u7562.html
Przyjazne forum ogrodnicze Oleander. Rośliny to nasza pasja... Przejdź do zawartości. Strona główna forum; Zmień rozmiar tekstu. FAQ ...
Informacja - Przyjazne forum ogrodnicze Oleander
forum-ogrodnicze.oleander.pl/hipeastrum-t2259.html
Informacja.
Nie masz wystarczających uprawnień, aby przeglądać ten dział. Język forum: Strona główna forum; Strefa czasowa: UTC. Powered by phpBB® ...
Wytłuściłem to co może odnosić się do niewłaściwie przydzielonych uprawnień dla bootów na co nakierwali i podpowiedzieli mi Koledzy.
Jeszcze takie pytanie, czy "widzialność" adresów kończących się index.php jest potrzebna dla bootów ? przykładowo: forum-ogrodnicze.oleander.pl/index.php
U mnie wszystkie adresy wątków kończą się *.html więc może w robots.txt też wyłączyć ten plik jeśli chodzi o dostępność dla bootów?
Zobaczymy za kilka dni lub tygodni jak sprawdzą się zastosowane zmiany, ale już teraz jeszcze raz serdecznie dziękuję za pomoc i zajęcie się moim zapytaniem.