Как получить интернет-ресурсы с помощью пакета urllib

Введение

urllib.request — это модуль Python для получения URL-адресов (Uniform Resource Locators). Он предлагает очень простой интерфейс в виде функции urlopen. Он способен получать URL-адреса с помощью различных протоколов. Он также предлагает несколько более сложный интерфейс для обработки распространённых ситуаций, таких как основная аутентификация, файлы cookie, прокси и так далее. Они предоставляются объектами, называемыми обработчиками и открывателями.

urllib.request поддерживает получение URL-адресов для многих «схем URL» (определяемых строкой перед ":" в URL-адресе — например, "ftp" — это схема URL "ftp://python.org/" ) с помощью соответствующих сетевых протоколов (например, FTP, HTTP). Этот учебник фокусируется на наиболее распространённом случае — HTTP.

В простых ситуациях urlopen очень прост в использовании. Но как только вы столкнётесь с ошибками или нетривиальными случаями при открытии HTTP-URL-адресов, вам потребуется некоторое понимание протокола передачи гипертекста. Самый полный и авторитетный справочник по HTTP — это RFC 2616. Это технический документ, и он не предназначен для простого чтения. Это руководство по использованию urllib должно предоставить достаточно подробной информации о HTTP, чтобы помочь вам, не заменяя urllib.request документацию, а дополняя её.

Получение URL-адресов

Самый простой способ использования urllib.request следующий:

import urllib.request
with urllib.request.urlopen('http://python.org/') as response:
   html = response.read()

Если вы хотите получить ресурс по URL-адресу и сохранить его во временном месте, вы можете сделать это с помощью функций shutil.copyfileobj() и tempfile.NamedTemporaryFile():

import shutil
import tempfile
import urllib.request

with urllib.request.urlopen('http://python.org/') as response:
    with tempfile.NamedTemporaryFile(delete=False) as tmp_file:
        shutil.copyfileobj(response, tmp_file)

with open(tmp_file.name) as html:
    pass

Многие случаи использования urllib будут такими же простыми (обратите внимание, что вместо URL-адреса «http:» мы могли бы использовать URL-адрес, начинающийся с «ftp:», «file:» и т. д.). Однако цель этого учебника — объяснить более сложные случаи, уделяя особое внимание HTTP.

HTTP основан на запросах и ответах — клиент отправляет запросы, а серверы отправляют ответы. urllib.request отражает это с помощью объекта Request , представляющего HTTP-запрос, который вы отправляете. В своём простом виде вы создаёте объект Request, который указывает URL-адрес, который вы хотите получить. Вызов urlopen с этим объектом Request возвращает объект ответа для запрошенного URL-адреса. Этот ответ — это объект наподобие файла, что означает, что вы можете, например, вызвать .read() для ответа:

import urllib.request

req = urllib.request.Request('http://www.voidspace.org.uk')
with urllib.request.urlopen(req) as response:
   the_page = response.read()

Обратите внимание, что urllib.request использует тот же интерфейс Request для обработки всех схем URL. Например, вы можете сделать запрос FTP следующим образом:

req = urllib.request.Request('ftp://example.com/')

В случае HTTP существуют две дополнительные возможности, которые предоставляют объекты Request: Во-первых, вы можете передать данные, которые необходимо отправить на сервер. Во-вторых, вы можете передать дополнительную информацию («метаданные») о данных или о самом запросе на сервер — эта информация передаётся в виде HTTP-«заголовков». Давайте рассмотрим каждый из этих аспектов.

import urllib.parse
import urllib.request

url = 'http://www.someserver.com/cgi-bin/register.cgi'
values = {'name' : 'Michael Foord',
          'location' : 'Northampton',
          'language' : 'Python' }

data = urllib.parse.urlencode(values)
data = data.encode('ascii') # data should be bytes
req = urllib.request.Request(url, data)
with urllib.request.urlopen(req) as response:
   the_page = response.read()

>>> import urllib.request
>>> import urllib.parse
>>> data = {}
>>> data['name'] = 'Somebody Here'
>>> data['location'] = 'Northampton'
>>> data['language'] = 'Python'
>>> url_values = urllib.parse.urlencode(data)
>>> print(url_values)  # The order may differ from below.  
name=Somebody+Here&language=Python&location=Northampton
>>> url = 'http://www.example.com/example.cgi'
>>> full_url = url + '?' + url_values
>>> data = urllib.request.urlopen(full_url)

import urllib.parse
import urllib.request

url = 'http://www.someserver.com/cgi-bin/register.cgi'
user_agent = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64)'
values = {'name': 'Michael Foord',
          'location': 'Northampton',
          'language': 'Python' }
headers = {'User-Agent': user_agent}

data = urllib.parse.urlencode(values)
data = data.encode('ascii')
req = urllib.request.Request(url, data, headers)
with urllib.request.urlopen(req) as response:
   the_page = response.read()

Обработка исключений

urlopen вызывает URLError , когда не может обработать ответ (хотя, как обычно в API Python, могут быть вызваны встроенные исключения, такие как ValueError, TypeError и т. д.).

HTTPError — подкласс URLError , вызываемый в конкретном случае HTTP-URL-адресов.

Классы исключений экспортируются из модуля urllib.error.

>>> req = urllib.request.Request('http://www.pretend_server.org')
>>> try: urllib.request.urlopen(req)
... except urllib.error.URLError as e:
...     print(e.reason)      
...
(4, 'getaddrinfo failed')

# Table mapping response codes to messages; entries have the
# form {code: (shortmessage, longmessage)}.
responses = {
    100: ('Continue', 'Request received, please continue'),
    101: ('Switching Protocols',
          'Switching to new protocol; obey Upgrade header'),

    200: ('OK', 'Request fulfilled, document follows'),
    201: ('Created', 'Document created, URL follows'),
    202: ('Accepted',
          'Request accepted, processing continues off-line'),
    203: ('Non-Authoritative Information', 'Request fulfilled from cache'),
    204: ('No Content', 'Request fulfilled, nothing follows'),
    205: ('Reset Content', 'Clear input form for further input.'),
    206: ('Partial Content', 'Partial content follows.'),

    300: ('Multiple Choices',
          'Object has several resources -- see URI list'),
    301: ('Moved Permanently', 'Object moved permanently -- see URI list'),
    302: ('Found', 'Object moved temporarily -- see URI list'),
    303: ('See Other', 'Object moved -- see Method and URL list'),
    304: ('Not Modified',
          'Document has not changed since given time'),
    305: ('Use Proxy',
          'You must use proxy specified in Location to access this '
          'resource.'),
    307: ('Temporary Redirect',
          'Object moved temporarily -- see URI list'),

    400: ('Bad Request',
          'Bad request syntax or unsupported method'),
    401: ('Unauthorized',
          'No permission -- see authorization schemes'),
    402: ('Payment Required',
          'No payment -- see charging schemes'),
    403: ('Forbidden',
          'Request forbidden -- authorization will not help'),
    404: ('Not Found', 'Nothing matches the given URI'),
    405: ('Method Not Allowed',
          'Specified method is invalid for this server.'),
    406: ('Not Acceptable', 'URI not available in preferred format.'),
    407: ('Proxy Authentication Required', 'You must authenticate with '
          'this proxy before proceeding.'),
    408: ('Request Timeout', 'Request timed out; try again later.'),
    409: ('Conflict', 'Request conflict.'),
    410: ('Gone',
          'URI no longer exists and has been permanently removed.'),
    411: ('Length Required', 'Client must specify Content-Length.'),
    412: ('Precondition Failed', 'Precondition in headers is false.'),
    413: ('Request Entity Too Large', 'Entity is too large.'),
    414: ('Request-URI Too Long', 'URI is too long.'),
    415: ('Unsupported Media Type', 'Entity body in unsupported format.'),
    416: ('Requested Range Not Satisfiable',
          'Cannot satisfy request range.'),
    417: ('Expectation Failed',
          'Expect condition could not be satisfied.'),

    500: ('Internal Server Error', 'Server got itself in trouble'),
    501: ('Not Implemented',
          'Server does not support this operation'),
    502: ('Bad Gateway', 'Invalid responses from another server/proxy.'),
    503: ('Service Unavailable',
          'The server cannot process the request due to a high load'),
    504: ('Gateway Timeout',
          'The gateway server did not receive a timely response'),
    505: ('HTTP Version Not Supported', 'Cannot fulfill request.'),
    }

>>> req = urllib.request.Request('http://www.python.org/fish.html')
>>> try:
...     urllib.request.urlopen(req)
... except urllib.error.HTTPError as e:
...     print(e.code)
...     print(e.read())  
...
404
b'<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
  "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">\n\n\n<html
  ...
  <title>Page Not Found</title>\n
  ...

from urllib.request import Request, urlopen
from urllib.error import URLError, HTTPError
req = Request(someurl)
try:
    response = urlopen(req)
except HTTPError as e:
    print('The server couldn\'t fulfill the request.')
    print('Error code: ', e.code)
except URLError as e:
    print('We failed to reach a server.')
    print('Reason: ', e.reason)
else:
    # everything is fine

from urllib.request import Request, urlopen
from urllib.error import URLError
req = Request(someurl)
try:
    response = urlopen(req)
except URLError as e:
    if hasattr(e, 'reason'):
        print('We failed to reach a server.')
        print('Reason: ', e.reason)
    elif hasattr(e, 'code'):
        print('The server couldn\'t fulfill the request.')
        print('Error code: ', e.code)
else:
    # everything is fine

info и geturl

Возвращаемый urlopen (или HTTPError экземпляр) ответ имеет два полезных метода info() и geturl() и определен в модуле urllib.response..

geturl - это возвращает реальный URL страницы, полученной. Это полезно, потому что urlopen (или используемый объект открывателя) мог следовать перенаправлению. URL полученной страницы может не совпадать с запрошенным URL.

info - это возвращает объект, похожий на словарь, который описывает полученную страницу, в частности заголовки, отправленные сервером. В настоящее время это экземпляр http.client.HTTPMessage.

Типичные заголовки включают ‘Content-length’, ‘Content-type’ и так далее. См. Быстрое справочное руководство по заголовкам HTTP для полезного перечисления заголовков HTTP с краткими пояснениями их значения и использования.

Открыватели и обработчики

При получении URL вы используете открывателя (экземпляр, возможно, запутанно названного urllib.request.OpenerDirector). Обычно мы использовали открывателя по умолчанию - через urlopen - но вы можете создавать пользовательские открыватели. Открыватели используют обработчики. Вся «тяжелая работа» выполняется обработчиками. Каждый обработчик знает, как открывать URL для определенной схемы URL (http, ftp и т. д.), или как обрабатывать аспект открытия URL, например, HTTP-перенаправления или HTTP-cookies.

Вы захотите создать открыватели, если хотите получать URL с установленным на них конкретными обработчиками, например, чтобы получить открывателя, обрабатывающего cookies, или чтобы получить открывателя, не обрабатывающего перенаправления.

Чтобы создать открывателя, создайте экземпляр OpenerDirector, а затем вызовите .add_handler(some_handler_instance) многократно.

В качестве альтернативы вы можете использовать build_opener, что является удобной функцией для создания объектов открывателей с помощью одного вызова функции. build_opener добавляет несколько обработчиков по умолчанию, но обеспечивает быстрый способ добавить больше и/или переопределить обработчики по умолчанию.

Другие типы обработчиков, которые вы можете захотеть, могут обрабатывать прокси, аутентификацию и другие общие, но немного специализированные ситуации.

install_opener может быть использован для назначения объекта opener в качестве (глобального) открывателя по умолчанию. Это означает, что вызовы urlopen будут использовать установленного вами открывателя.

Объекты открывателя имеют метод open, который можно вызывать непосредственно для получения URL таким же образом, как и функция urlopen: нет необходимости вызывать install_opener, за исключением удобства.

Базовая аутентификация

Чтобы проиллюстрировать создание и установку обработчика, мы будем использовать HTTPBasicAuthHandler. Для более подробного обсуждения этой темы - включая объяснение того, как работает базовая аутентификация - см. Учебник по базовой аутентификации.

Когда требуется аутентификация, сервер отправляет заголовок (а также код ошибки 401), запрашивающий аутентификацию. Это определяет схему аутентификации и «область». Заголовок выглядит следующим образом: WWW-Authenticate: SCHEME realm="REALM".

например

WWW-Authenticate: Basic realm="cPanel Users"

Затем клиент должен повторить запрос с соответствующим именем и паролем для области, включенным в заголовок запроса. Это «базовая аутентификация». Чтобы упростить этот процесс, мы можем создать экземпляр HTTPBasicAuthHandler и открывателя для использования этого обработчика.

HTTPBasicAuthHandler использует объект, называемый менеджером паролей, для обработки сопоставления URL и областей с паролями и именами пользователей. Если вы знаете, что такое область (из заголовка аутентификации, отправленного сервером), то вы можете использовать HTTPPasswordMgr. Часто не важно, что такое область. В этом случае удобно использовать HTTPPasswordMgrWithDefaultRealm. Это позволяет вам указать имя пользователя и пароль по умолчанию для URL. Это будет предоставлено в отсутствие вами альтернативной комбинации для определенной области. Мы указываем это, предоставив None в качестве аргумента области методу add_password.

URL верхнего уровня - это первый URL, который требует аутентификации. URL «глубже», чем URL, который вы передаете в .add_password(), также будут соответствовать.

# create a password manager
password_mgr = urllib.request.HTTPPasswordMgrWithDefaultRealm()

# Add the username and password.
# If we knew the realm, we could use it instead of None.
top_level_url = "http://example.com/foo/"
password_mgr.add_password(None, top_level_url, username, password)

handler = urllib.request.HTTPBasicAuthHandler(password_mgr)

# create "opener" (OpenerDirector instance)
opener = urllib.request.build_opener(handler)

# use the opener to fetch a URL
opener.open(a_url)

# Install the opener.
# Now all calls to urllib.request.urlopen use our opener.
urllib.request.install_opener(opener)

top_level_url фактически является полным URL (включая компонент схемы «http:», имя хоста и необязательно номер порта), например "http://example.com/" или «авторитетом» (т. е. именем хоста, необязательно включая номер порта), например "example.com" или "example.com:8080" (в последнем примере указан номер порта). Авторитет, если он присутствует, НЕ должен содержать компонент «userinfo» - например "joe:password@example.com" неверно.

Прокси

urllib автоматически обнаружит настройки прокси и будет их использовать. Это происходит через ProxyHandler, который является частью обычной цепочки обработчиков при обнаружении настроек прокси. Обычно это хорошо, но бывают случаи, когда это может быть бесполезно 5. Один из способов сделать это - настроить собственный ProxyHandler, без определенных прокси. Это делается с помощью шагов, аналогичных настройке обработчика базовой аутентификации:

>>> proxy_support = urllib.request.ProxyHandler({})
>>> opener = urllib.request.build_opener(proxy_support)
>>> urllib.request.install_opener(opener)

Сокеты и слои

Поддержка Python для получения ресурсов из сети многослойная. urllib использует библиотеку http.client, которая в свою очередь использует библиотеку сокетов.

Начиная с Python 2.3, вы можете указать, сколько времени сокет должен ждать ответа перед таймаутом. Это может быть полезно в приложениях, которым необходимо получать веб-страницы. По умолчанию модуль сокетов не имеет таймаута и может зависнуть. В настоящее время таймаут сокетов не доступен на уровнях http.client или urllib.request. Однако вы можете установить таймаут по умолчанию для всех сокетов глобально, используя

import socket
import urllib.request

# timeout in seconds
timeout = 10
socket.setdefaulttimeout(timeout)

# this call to urllib.request.urlopen now uses the default timeout
# we have set in the socket module
req = urllib.request.Request('http://www.voidspace.org.uk')
response = urllib.request.urlopen(req)

Примечания

Этот документ был проверен и пересмотрен Джоном Ли.

1

Например, Google.

2

Обнаружение браузера - очень плохая практика для проектирования веб-сайтов - создание сайтов с использованием веб-стандартов гораздо более разумно. К сожалению, многие сайты по-прежнему отправляют разные версии разным браузерам.

3

Пользовательский агент для MSIE 6 - ‘Mozilla/4.0 (совместимый; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)’

4

Подробные сведения о других заголовках HTTP-запросов см. в Быстрое справочное руководство по заголовкам HTTP.

5

В моем случае мне нужно использовать прокси для доступа к интернету на работе. Если вы пытаетесь получить URL localhost через этот прокси, он их блокирует. IE настроен на использование прокси, что urllib обнаруживает. Чтобы протестировать скрипты с локальным сервером, мне нужно помешать urllib использовать прокси.

6

Открыватель urllib для прокси SSL (метод CONNECT): Рецепт Cookbook ASPN.