robotparser — Парсер robots.txt

Этот модуль предоставляет единственный класс, RobotFileParser, который отвечает на вопросы о том, может ли определённый пользовательский агент получить доступ к URL на веб-сайте, на котором опубликован файл robots.txt. Более подробную информацию об структуре файлов robots.txt см. на странице http://www.robotstxt.org/orig.html.

class robotparser.RobotFileParser(url='')

Этот класс предоставляет методы для чтения, разбора и ответа на вопросы о файле robots.txt по адресу url.

set_url(url)

Устанавливает URL, указывающий на файл robots.txt.

read()

Читает URL robots.txt и передаёт его парсеру.

parse(lines)

Разбирает аргумент lines.

can_fetch(useragent, url)

Возвращает True, если useragent разрешено получать доступ к url в соответствии с правилами, содержащимися в обработанном файле robots.txt.

mtime()

Возвращает время последнего получения файла robots.txt. Это полезно для веб-пауков с длительным циклом работы, которым необходимо периодически проверять наличие новых файлов robots.txt.

modified()

Устанавливает время последнего получения файла robots.txt на текущее время.

Следующий пример демонстрирует базовое использование класса RobotFileParser.

>>> import robotparser
>>> rp = robotparser.RobotFileParser()
>>> rp.set_url("http://www.musi-cal.com/robots.txt")
>>> rp.read()
>>> rp.can_fetch("*", "http://www.musi-cal.com/cgi-bin/search?city=San+Francisco")
False
>>> rp.can_fetch("*", "http://www.musi-cal.com/")
True