- Ја почнал/а темата
- #1
psybaron
Intern
Eве баш пред некое време "закачував" веб страна. Па ми текана да напишам нешто за роботчиња. Можеби ке послужи на некого.
Web Robots (веб роботи) се програми што патуваат по Web-ot автомаски. Претражубачи како што се Google, Yahoo итн., ги користат за да ги сортираат веб страните што излегуваат на Интернетот, спамерите ги користат за да бараат незаштитени е-маилови како и ред други потреби.
Администратори на веб сајтови ги корстат фајл robots.txt кој е сместен најчесто во root-to на сајтот за да дадат инструкции за нивниот сајт на роботот. Процесот е наречен The Robots Exclusion Protocol.
Пример за содржина на robots.txt фајлот:
Users-agent:* во овој случај означува дека сајтот е дозволен за сите роботи, а Diasallow: / означува дека роботот не смее да посети ниедна од страниците на сајтот.
* - ознака за "се"
/ - oзнака за root
BAЖНО:
Користење:
Најкраток одговор е ставете го robots.txt фајлот во root-ot на вашиот веб сервер. ex. http://www.primer.com/robots.txt
Следат неколку пример за користенје на robots.txt фајлот:
Забрана за сите роботи на целот сервер:
Дозвола за сите робот на целиот сервер:
Забрана за сите робот на одредени фолдери/фајлови од серверот:
Забрана за еден робот:
Дозвола за еден робот:
Напомена:
Web Robots (веб роботи) се програми што патуваат по Web-ot автомаски. Претражубачи како што се Google, Yahoo итн., ги користат за да ги сортираат веб страните што излегуваат на Интернетот, спамерите ги користат за да бараат незаштитени е-маилови како и ред други потреби.
Администратори на веб сајтови ги корстат фајл robots.txt кој е сместен најчесто во root-to на сајтот за да дадат инструкции за нивниот сајт на роботот. Процесот е наречен The Robots Exclusion Protocol.
Пример за содржина на robots.txt фајлот:
Код:
User-agent: *
Disallow: /
* - ознака за "се"
/ - oзнака за root
BAЖНО:
- Роботите можат да го избегнат фајлот robots.txt, oсобено спамерските, малверските итн, роботи.
- Фајлот robots.txt е јавно видлив. Секој може да види кој дел од серверот не сакате да биде посетен од роботите. Затоа не користете го овој фајл да криете некои битни податоци.
- Пример можете да го видите моето robots.txt на http://www.psybaron.mkd.net/robots.txt , како и на скоро сите други сајтови.
Користење:
Најкраток одговор е ставете го robots.txt фајлот во root-ot на вашиот веб сервер. ex. http://www.primer.com/robots.txt
Следат неколку пример за користенје на robots.txt фајлот:
Забрана за сите роботи на целот сервер:
Код:
User-agent: *
Disallow: /
Код:
User-agent: *
Disallow:
Код:
User-agent: *
Disallow: /sliki/
Disallow: /muzika/
Disallow: /mesto/ajax.php
Код:
User-agent: Bot
Disallow: /
Код:
User-agent: Google
Disallow:
User-agent: *
Disallow: /
- Секое ново Disallow: се пишува во нова линија. Значи за секој фолдер, секој фајл мора да пишувате ново Disallow:.
- Знапомнете да го креирате фајлот robots.txt со МАЛИ букви. Значи не Robots.txt.