Malo sam čačkao oko svog bloga SPORT - infO Centar i tražio način kako da ga unaprijedim na veće pozicije u pretraživačima. Na početku mi se dešavalo da ukucam gotovo adresu u pretraživaču i opet me nema nigdje. Proveo sam par dana samo pisajući postove na blogu i opet ništa. Ni aktivnost mi nije pomogla da me ljudi nađu. Zatim sam kontaktirao prijatelja i objasnio mu situaciju. Rekao mi je za ROBOTS.TXT, ali nije bio puno upućen u sve to. Malo sam "guglao" i jedva našao nešto škrto oko toga. Postavio sam nešto i eto. Kroz par dana mi se promoet na blogu povećao. Još sam malo istraživao oko ovoga i unaprijedio svoj blog, a najviše mi je pomogao tex ispod kojeg sam našao na jednom forumu:
Važnost fajla robots.txt
Iako je fajl robots.txt veoma
važan ukoliko želite da vaš sajt bude dobro pozicioniran na
pretraživačima, mnogi web sajtovi nemaju ovaj fajl.
Ako na vašem
sajtu ne postoji fajl robots.txt, ovaj članak će vam pokazati kako da
ga kreirate. Ako imate fajl robots.txt, pročitajte nekoliko saveta kako
bi izbegli eventualne greške koje ovaj fajl može da sadrži.
Iako je fajl robots.txt veoma
važan ukoliko želite da vaš sajt bude dobro pozicioniran na
pretraživačima, mnogi web sajtovi nemaju ovaj fajl.
Ako na vašem
sajtu ne postoji fajl robots.txt, ovaj članak će vam pokazati kako da
ga kreirate. Ako imate fajl robots.txt, pročitajte nekoliko saveta kako
bi izbegli eventualne greške koje ovaj fajl može da sadrži.
Osnovne stvari o fajlu robots.txt?
Kada crawler web pretraživača poseti vaš sajt, on prvo traži jedan poseban
fajl. Taj fajl nosi naziv robots.txt a njegova je namena da spajderu
web pretraživača kaže koje strane vašeg sajta treba da budu indeksirane
a koje treba da ignoriše.
Fajl robots.txt je obični tekstualni fajl (ne HTML), koji se smešta u root direktorijuma sajta.
Kako se kreira fajl robots.txt?
Kao što je prethodno pomenuto, fajl robots.txt je obični tekstualni fajl.
Za njegovo kreiranje možete koristiti bilo koji tekst editor. Sadržaj
robots.txt fajla čine tzv. zapisi (records).
Zapis sadrži informacije bitne za pretraživače. Svaki zapis čine dva polja: jedna
User agent linija i jedna ili više Disallow linija. Evo i primera:
User-agent: googlebot
Disallow: /cgi-bin/
Fajl robots.txt će omogućitii pristup “googlebot-uâ€, Google-ovom spajderu,
da indeksira sve stranice sajta osim fajlova u okviru “cgi-binâ€
direktorijuma. Svi fajlovi iz direktorijuma “cgi-bin†biće ignorisani
od strane googlebot-a.
Ako ostavite Disallow liniju praznu,
pretraživač će indeksirati sve web stranice. U svakom slučaju, morate
uneti Disallow liniju za svaki zapis User agent linije.
Ako spajderima svih pretraživača želite da dodelite ista prava, sadržaj fajla robots.txt treba da izgleda ovako:
User-agent: *
Disallow: /cgi-bin/
Kako da saznate nazive user agent-a?
Nazive user agent-a ćete naći proverom log fajla po fajlu robots.txt.
Najčešće, spajderima svih pretraživača treba dodeliti ista prava. U tom
slučaju koristite “User-agent: *†kao što je predhodno navedeno.
Šta treba izbegavati?
Ako pravilno ne formatirate vaš robots.txt fajl, pojedini ili svi fajlovi
vašeg sajta neće biti indeksirani od strane pretraživača. Da bo ovo
sprečili, uradite sledeće:
1.Ne koristite komentare u robots.txt fajlu
Iako su komentari dozvoljeni u okviru robots.txt fajlova, oni ipak mogu zbuniti spajdere nekih pretraživača.
“Disallow:
support # Don’t index the support directory†može biti interpretirano
kao “Disallow: support#Don’t index the support directoryâ€.
2. Ne stavljajte praznine na početak linija. Na primer, ne:
User-agent: *
Disallow: /support
nego
User-agent: *
Disallow: /support
3. Ne menjajte raspored komandi. Nemojte pisati:
Disallow: /support
User-agent: *
već
User-agent: *
Disallow: /support
4. Ne stavljajte više od jednog direktorijuma u jednoj Disallow liniji. Na primer:
User-agent: *
Disallow: /support /cgi-bin/ /images/
Spajderi pretraživača ne razumeju ovaj format. Prava sintaksa izgleda ovako:
User-agent: *
Disallow: /support
Disallow: /cgi-bin/
Disallow: /images/
5.
Koristite odgovarajuću veličinu slova. Imena fajlova na vašem serveru
su case senzitivna. Ako je ime vašeg direktorijuma “Supportâ€, ne pišite
“support†u robots.txt fajlu.
6. Ne nabrajajte sve fajlove.
Ukoliko želite da spajderi pretraživača ignorišu sve fajlove određenog
direktorijuma, ne morate nabrajati sve fajlove. Primer:
User-agent: *
Disallow: /support/orders.html
Disallow: /support/technical.html
Disallow: /support/helpdesk.html
Disallow: /support/index.html
Umesto toga, dovoljno je samo:
User-agent: *
Disallow: /support
7. Ne postoji “Allow†komanda
Ne koristite “Allow†komandu u vašem robots.txt fajlu. Samo navedite
fajlove i direktorijume koji ne trebaju biti indeksirani. Svi ostali
fajlovi će automatski biti indeksirani.
Fajl robots.txt - saveti i trikovi:
1. Kako da dopustite spajderima pretraživača da indeksiraju sve fajlove
Svi fajlovi vašeg web sajta će biti indeksiranu ukoliko vaš robors.txt fajl sadrži samo sledeće dve linije:
User-agent: *
Disallow:
2. Kako blokirati indeksiranje svih fajlova od strane spajdera
Ukoliko ne želite da spajderi indeksiraju fajlove vašeg sajta, upišite sledeće dve linije:
User-agent: *
Disallow: /
3. Kako naći složenije primere robots.txt fajlova
Ukoliko želite da vidite malo složenije primere, pogledajte robots.txt fajlove velikih web sajtova.
Vaši sajtovi treba da imaju odgovarajuće robots.txt fajlove ukoliko želite
da imate dobre pozicije na pretraživačima. Pretraživači mogu visoko
rangirati vaš sajt, jedino kada znaju šta treba da rade sa fajlovima
vašeg sajta.
Kao što je prethodno pomenuto, fajl robots.txt je obični tekstualni fajl.
Za njegovo kreiranje možete koristiti bilo koji tekst editor. Sadržaj
robots.txt fajla čine tzv. zapisi (records).
Zapis sadrži informacije bitne za pretraživače. Svaki zapis čine dva polja: jedna
User agent linija i jedna ili više Disallow linija. Evo i primera:
User-agent: googlebot
Disallow: /cgi-bin/
Fajl robots.txt će omogućitii pristup “googlebot-uâ€, Google-ovom spajderu,
da indeksira sve stranice sajta osim fajlova u okviru “cgi-binâ€
direktorijuma. Svi fajlovi iz direktorijuma “cgi-bin†biće ignorisani
od strane googlebot-a.
Ako ostavite Disallow liniju praznu,
pretraživač će indeksirati sve web stranice. U svakom slučaju, morate
uneti Disallow liniju za svaki zapis User agent linije.
Ako spajderima svih pretraživača želite da dodelite ista prava, sadržaj fajla robots.txt treba da izgleda ovako:
User-agent: *
Disallow: /cgi-bin/
Kako da saznate nazive user agent-a?
Nazive user agent-a ćete naći proverom log fajla po fajlu robots.txt.
Najčešće, spajderima svih pretraživača treba dodeliti ista prava. U tom
slučaju koristite “User-agent: *†kao što je predhodno navedeno.
Šta treba izbegavati?
Ako pravilno ne formatirate vaš robots.txt fajl, pojedini ili svi fajlovi
vašeg sajta neće biti indeksirani od strane pretraživača. Da bo ovo
sprečili, uradite sledeće:
1.Ne koristite komentare u robots.txt fajlu
Iako su komentari dozvoljeni u okviru robots.txt fajlova, oni ipak mogu zbuniti spajdere nekih pretraživača.
“Disallow:
support # Don’t index the support directory†može biti interpretirano
kao “Disallow: support#Don’t index the support directoryâ€.
2. Ne stavljajte praznine na početak linija. Na primer, ne:
User-agent: *
Disallow: /support
nego
User-agent: *
Disallow: /support
3. Ne menjajte raspored komandi. Nemojte pisati:
Disallow: /support
User-agent: *
već
User-agent: *
Disallow: /support
4. Ne stavljajte više od jednog direktorijuma u jednoj Disallow liniji. Na primer:
User-agent: *
Disallow: /support /cgi-bin/ /images/
Spajderi pretraživača ne razumeju ovaj format. Prava sintaksa izgleda ovako:
User-agent: *
Disallow: /support
Disallow: /cgi-bin/
Disallow: /images/
5.
Koristite odgovarajuću veličinu slova. Imena fajlova na vašem serveru
su case senzitivna. Ako je ime vašeg direktorijuma “Supportâ€, ne pišite
“support†u robots.txt fajlu.
6. Ne nabrajajte sve fajlove.
Ukoliko želite da spajderi pretraživača ignorišu sve fajlove određenog
direktorijuma, ne morate nabrajati sve fajlove. Primer:
User-agent: *
Disallow: /support/orders.html
Disallow: /support/technical.html
Disallow: /support/helpdesk.html
Disallow: /support/index.html
Umesto toga, dovoljno je samo:
User-agent: *
Disallow: /support
7. Ne postoji “Allow†komanda
Ne koristite “Allow†komandu u vašem robots.txt fajlu. Samo navedite
fajlove i direktorijume koji ne trebaju biti indeksirani. Svi ostali
fajlovi će automatski biti indeksirani.
Fajl robots.txt - saveti i trikovi:
1. Kako da dopustite spajderima pretraživača da indeksiraju sve fajlove
Svi fajlovi vašeg web sajta će biti indeksiranu ukoliko vaš robors.txt fajl sadrži samo sledeće dve linije:
User-agent: *
Disallow:
2. Kako blokirati indeksiranje svih fajlova od strane spajdera
Ukoliko ne želite da spajderi indeksiraju fajlove vašeg sajta, upišite sledeće dve linije:
User-agent: *
Disallow: /
3. Kako naći složenije primere robots.txt fajlova
Ukoliko želite da vidite malo složenije primere, pogledajte robots.txt fajlove velikih web sajtova.
Vaši sajtovi treba da imaju odgovarajuće robots.txt fajlove ukoliko želite
da imate dobre pozicije na pretraživačima. Pretraživači mogu visoko
rangirati vaš sajt, jedino kada znaju šta treba da rade sa fajlovima
vašeg sajta.
______________________________________________________________________
nadam se da će vam biti od pomoći....
Nema komentara:
Objavi komentar