Базы данных

Данное руководство описывает поддержку Django для взаимодействия с несколькими базами данных. Большая часть остальной документации Django предполагает работу с одной базой данных. Если вам нужно взаимодействовать с несколькими базами данных, вам потребуется выполнить дополнительные шаги.

Определение баз данных

Первый шаг для использования более одной базы данных с Django — сообщить Django о серверах баз данных, которые вы будете использовать. Это делается с помощью настройки DATABASES. Эта настройка сопоставляет псевдонимы баз данных, которые являются способом обращения к определенной базе данных в Django, со словарем настроек для этого конкретного подключения. Настройки во внутренних словарях подробно описаны в документации DATABASES.

Базы данных могут иметь любой выбранный вами псевдоним. Однако псевдоним default имеет особое значение. Django использует базу данных с псевдонимом default при отсутствии выбора другой базы данных.

Следующий пример settings.py фрагмент определяет две базы данных — базу данных PostgreSQL по умолчанию и базу данных MySQL под названием users.

DATABASES = {
    'default': {
        'NAME': 'app_data',
        'ENGINE': 'django.db.backends.postgresql',
        'USER': 'postgres_user',
        'PASSWORD': 's3krit'
    },
    'users': {
        'NAME': 'user_data',
        'ENGINE': 'django.db.backends.mysql',
        'USER': 'mysql_user',
        'PASSWORD': 'priv4te'
    }
}

Если понятие базы данных по умолчанию не имеет смысла в контексте вашего проекта, вам нужно быть внимательным и всегда указывать используемую базу данных. Django требует, чтобы была определена запись базы данных по умолчанию, но словарь параметров можно оставить пустым, если он не будет использоваться. Для этого необходимо настроить DATABASE_ROUTERS для всех моделей ваших приложений, включая те, которые находятся в любых приложениях contrib и сторонних приложениях, которые вы используете, чтобы никакие запросы не направлялись в базу данных по умолчанию. Следующий пример settings.py фрагмент определяет две базы данных, отличные от базы данных по умолчанию, с записью default намеренно оставленной пустой:

DATABASES = {
    'default': {},
    'users': {
        'NAME': 'user_data',
        'ENGINE': 'django.db.backends.mysql',
        'USER': 'mysql_user',
        'PASSWORD': 'superS3cret'
    },
    'customers': {
        'NAME': 'customer_data',
        'ENGINE': 'django.db.backends.mysql',
        'USER': 'mysql_cust',
        'PASSWORD': 'veryPriv@ate'
    }
}

Если вы попытаетесь получить доступ к базе данных, которая не определена в настройке DATABASES, Django поднимет исключение django.db.utils.ConnectionDoesNotExist.

Синхронизация баз данных

Команда управления migrate работает с одной базой данных за раз. По умолчанию она работает с базой данных по умолчанию default, но с помощью опции --database вы можете указать ей выполнить синхронизацию другой базы данных. Таким образом, чтобы синхронизировать все модели со всеми базами данных в первом примере выше, вам необходимо выполнить:

$ ./manage.py migrate
$ ./manage.py migrate --database=users

Если вы не хотите, чтобы каждое приложение синхронизировалось с определенной базой данных, вы можете определить маршрутизатор баз данных, который реализует политику, ограничивающую доступность определенных моделей.

Если, как и во втором примере выше, вы оставили базу данных default пустой, вы должны каждый раз указывать имя базы данных при запуске migrate. Пропуск имени базы данных вызовет ошибку. Для второго примера:

$ ./manage.py migrate --database=users
$ ./manage.py migrate --database=customers

Использование других команд управления

Большинство других команд django-admin, взаимодействующих с базой данных, работают так же, как и migrate — они всегда работают с одной базой данных за раз, используя --database для управления используемой базой данных.

Исключение из этого правила — команда makemigrations. Она проверяет историю миграций в базах данных, чтобы выявить проблемы с существующими файлами миграций (которые могут быть вызваны редактированием) перед созданием новых миграций. По умолчанию она проверяет только базу данных default, но консультируется с методом allow_migrate() маршрутизаторов, если они установлены.

Автоматическая маршрутизация баз данных

Самый простой способ использования нескольких баз данных — настроить схему маршрутизации баз данных. Схема маршрутизации по умолчанию гарантирует, что объекты остаются «привязанными» к своей исходной базе данных (т. е. объект, извлеченный из базы данных foo, будет сохранен в той же базе данных). Схема маршрутизации по умолчанию гарантирует, что если база данных не указана, все запросы возвращаются к базе данных default.

Вам ничего не нужно делать, чтобы активировать схему маршрутизации по умолчанию — она предоставляется «из коробки» в каждом проекте Django. Однако, если вы хотите реализовать более интересные поведенческие схемы распределения баз данных, вы можете определить и установить свои собственные маршрутизаторы баз данных.

Маршрутизаторы баз данных

Маршрутизатор баз данных — это класс, который предоставляет до четырех методов:

db_for_read(model, **hints)

Предлагает базу данных, которая должна использоваться для операций чтения для объектов типа model.

Если операция базы данных может предоставить дополнительную информацию, которая может помочь в выборе базы данных, она будет предоставлена в словаре hints. Подробности о допустимых подсказках приведены ниже.

Возвращает None если нет предложения.

db_for_write(model, **hints)

Предлагает базу данных, которая должна использоваться для записи объектов типа Model.

Если операция базы данных может предоставить дополнительную информацию, которая может помочь в выборе базы данных, она будет предоставлена в словаре hints. Подробности о допустимых подсказках приведены ниже.

Возвращает None если нет предложения.

allow_relation(obj1, obj2, **hints)

Возвращает True если отношение между obj1 и obj2 должно быть разрешено, False если отношение должно быть предотвращено, или None если маршрутизатор не имеет мнения. Это чисто операция проверки, используемая операциями foreign key и many-to-many для определения, разрешено ли отношение между двумя объектами.

Если ни один маршрутизатор не имеет мнения (т. е. все маршрутизаторы возвращают None), разрешаются только отношения внутри одной базы данных.

allow_migrate(db, app_label, model_name=None, **hints)

Определите, разрешена ли операция миграции в базе данных с псевдонимом db. Возвращает True если операция должна выполняться, False если операция не должна выполняться, или None если маршрутизатор не имеет мнения.

Позиционный аргумент app_label — метка приложения, которое мигрируется.

model_name устанавливается большинством операций миграции в значение model._meta.model_name (нижняя часть модели __name__) мигрируемой модели. Его значение None для операций RunPython и RunSQL, если они не предоставят его с помощью подсказок.

hints используются некоторыми операциями для передачи дополнительной информации маршрутизатору.

Когда model_name установлено, hints обычно содержит класс модели по ключу 'model'. Обратите внимание, что это может быть историческая модель, и поэтому не имеет пользовательских атрибутов, методов или менеджеров. Вы должны полагаться только на _meta.

Этот метод также может использоваться для определения доступности модели в заданной базе данных.

makemigrations всегда создает миграции для изменений модели, но если allow_migrate() возвращает False, любые операции миграции для model_name будут пропущены при запуске migrate на db. Изменение поведения allow_migrate() для моделей, которые уже имеют миграции, может привести к нарушению внешних ключей, дополнительным таблицам или отсутствующим таблицам. При проверке истории миграций makemigrations пропускает базы данных, где ни одно приложение не может мигрировать.

Маршрутизатор не обязан предоставлять все эти методы — он может опустить один или несколько из них. Если один из методов опущен, Django пропустит этот маршрутизатор при выполнении соответствующей проверки.

Подсказки

Подсказки, полученные маршрутизатором базы данных, могут использоваться для определения, какая база данных должна получить данный запрос.

В настоящее время единственная подсказка, которая будет предоставлена, — instance, экземпляр объекта, относящийся к операции чтения или записи, которая выполняется. Это может быть экземпляр, который сохраняется, или это может быть экземпляр, который добавляется в многозначном отношении. В некоторых случаях подсказка экземпляра вообще не будет предоставлена. Маршрутизатор проверяет наличие подсказки экземпляра и определяет, следует ли использовать эту подсказку для изменения поведения маршрутизации.

Использование маршрутизаторов

Маршрутизаторы баз данных устанавливаются с помощью настройки DATABASE_ROUTERS. Эта настройка определяет список имен классов, каждый из которых указывает на маршрутизатор, который должен использоваться главным маршрутизатором (django.db.router).

Главный маршрутизатор используется операциями базы данных Django для распределения использования базы данных. Всякий раз, когда запросу нужно узнать, какую базу данных использовать, он вызывает главный маршрутизатор, передавая модель и подсказку (если доступна). Django затем пытается каждый маршрутизатор по очереди, пока не найдет предложение базы данных. Если предложение не найдено, он пытается использовать текущую _state.db подсказки. Если экземпляр подсказки не был предоставлен или экземпляр в настоящее время не имеет состояния базы данных, главный маршрутизатор будет распределять default базу данных.

Пример

Итак, что это означает на практике? Давайте рассмотрим другую примерную конфигурацию. В ней будет несколько баз данных: одна для приложения auth, а все остальные приложения используют настройку мастер/реплики с двумя репликами чтения. Вот настройки, определяющие эти базы данных:

DATABASES = {
    'default': {},
    'auth_db': {
        'NAME': 'auth_db',
        'ENGINE': 'django.db.backends.mysql',
        'USER': 'mysql_user',
        'PASSWORD': 'swordfish',
    },
    'primary': {
        'NAME': 'primary',
        'ENGINE': 'django.db.backends.mysql',
        'USER': 'mysql_user',
        'PASSWORD': 'spam',
    },
    'replica1': {
        'NAME': 'replica1',
        'ENGINE': 'django.db.backends.mysql',
        'USER': 'mysql_user',
        'PASSWORD': 'eggs',
    },
    'replica2': {
        'NAME': 'replica2',
        'ENGINE': 'django.db.backends.mysql',
        'USER': 'mysql_user',
        'PASSWORD': 'bacon',
    },
}

Теперь нам нужно обработать маршрутизацию. Сначала мы хотим маршрутизатор, который знает, как отправлять запросы для приложения auth в auth_db:

class AuthRouter:
    """
    A router to control all database operations on models in the
    auth application.
    """
    def db_for_read(self, model, **hints):
        """
        Attempts to read auth models go to auth_db.
        """
        if model._meta.app_label == 'auth':
            return 'auth_db'
        return None

    def db_for_write(self, model, **hints):
        """
        Attempts to write auth models go to auth_db.
        """
        if model._meta.app_label == 'auth':
            return 'auth_db'
        return None

    def allow_relation(self, obj1, obj2, **hints):
        """
        Allow relations if a model in the auth app is involved.
        """
        if obj1._meta.app_label == 'auth' or \
           obj2._meta.app_label == 'auth':
           return True
        return None

    def allow_migrate(self, db, app_label, model_name=None, **hints):
        """
        Make sure the auth app only appears in the 'auth_db'
        database.
        """
        if app_label == 'auth':
            return db == 'auth_db'
        return None

И мы также хотим маршрутизатор, который отправляет все остальные приложения в конфигурацию мастер/реплики и случайным образом выбирает реплику для чтения:

import random

class PrimaryReplicaRouter:
    def db_for_read(self, model, **hints):
        """
        Reads go to a randomly-chosen replica.
        """
        return random.choice(['replica1', 'replica2'])

    def db_for_write(self, model, **hints):
        """
        Writes always go to primary.
        """
        return 'primary'

    def allow_relation(self, obj1, obj2, **hints):
        """
        Relations between objects are allowed if both objects are
        in the primary/replica pool.
        """
        db_list = ('primary', 'replica1', 'replica2')
        if obj1._state.db in db_list and obj2._state.db in db_list:
            return True
        return None

    def allow_migrate(self, db, app_label, model_name=None, **hints):
        """
        All non-auth models end up in this pool.
        """
        return True

Наконец, в файле настроек мы добавляем следующее (заменяя path.to. фактическим путём Python к модулю(ам), где определены маршрутизаторы):

DATABASE_ROUTERS = ['path.to.AuthRouter', 'path.to.PrimaryReplicaRouter']

Порядок обработки маршрутизаторов имеет значение. Маршрутизаторы будут запрошены в порядке их перечисления в настройке DATABASE_ROUTERS. В этом примере, AuthRouter обрабатывается до PrimaryReplicaRouter, и в результате решения, касающиеся моделей в auth обрабатываются до принятия любого другого решения. Если настройка DATABASE_ROUTERS размещала два маршрутизатора в другом порядке, PrimaryReplicaRouter.allow_migrate() обрабатывался бы первым. Всеобъемлющий характер реализации PrimaryReplicaRouter означал бы, что все модели будут доступны во всех базах данных.

С этой установленной настройкой, давайте запустим некоторый код Django:

>>> # This retrieval will be performed on the 'auth_db' database
>>> fred = User.objects.get(username='fred')
>>> fred.first_name = 'Frederick'

>>> # This save will also be directed to 'auth_db'
>>> fred.save()

>>> # These retrieval will be randomly allocated to a replica database
>>> dna = Person.objects.get(name='Douglas Adams')

>>> # A new object has no database allocation when created
>>> mh = Book(title='Mostly Harmless')

>>> # This assignment will consult the router, and set mh onto
>>> # the same database as the author object
>>> mh.author = dna

>>> # This save will force the 'mh' instance onto the primary database...
>>> mh.save()

>>> # ... but if we re-retrieve the object, it will come back on a replica
>>> mh = Book.objects.get(title='Mostly Harmless')

В этом примере определен маршрутизатор для обработки взаимодействия с моделями из приложения auth, и другие маршрутизаторы для обработки взаимодействия со всеми другими приложениями. Если вы оставили свою базу данных default пустой и не хотите определять всеобъемлющий маршрутизатор базы данных для обработки всех приложений, которые не указаны иначе, ваши маршрутизаторы должны обрабатывать имена всех приложений в INSTALLED_APPS до миграции. См. Поведение приложений contrib для получения информации о приложениях contrib, которые должны быть вместе в одной базе данных.

Ручное выбор базы данных

Django также предоставляет API, который позволяет вам сохранять полный контроль над использованием базы данных в вашем коде. Ручное указание базы данных будет иметь приоритет над базой данных, назначенной маршрутизатором.

Ручное выбор базы данных для запроса QuerySet

Вы можете выбрать базу данных для запроса QuerySet в любой момент в QuerySet «цепочке». Просто вызовите using() на QuerySet , чтобы получить другой QuerySet, использующий указанную базу данных.

using() принимает один аргумент: псевдоним базы данных, на которой вы хотите выполнить запрос. Например:

>>> # This will run on the 'default' database.
>>> Author.objects.all()

>>> # So will this.
>>> Author.objects.using('default').all()

>>> # This will run on the 'other' database.
>>> Author.objects.using('other').all()

Выбор базы данных для save()

Используйте ключевое слово using для Model.save() , чтобы указать, в какую базу данных должны быть сохранены данные.

Например, чтобы сохранить объект в базе данных legacy_users, вы бы использовали это:

>>> my_object.save(using='legacy_users')

Если вы не укажете using, метод save() сохранит в базу данных по умолчанию, назначенную маршрутизаторами.

Перемещение объекта из одной базы данных в другую

Если вы сохранили экземпляр в одной базе данных, вам может показаться заманчивым использовать save(using=...) в качестве способа миграции экземпляра в новую базу данных. Однако, если вы не предпримите соответствующие шаги, это может иметь неожиданные последствия.

Рассмотрим следующий пример:

>>> p = Person(name='Fred')
>>> p.save(using='first')  # (statement 1)
>>> p.save(using='second') # (statement 2)

В утверждении 1 новый объект Person сохраняется в базе данных first. В этот момент p не имеет первичного ключа, поэтому Django выполняет операцию SQL INSERT. Это создает первичный ключ, и Django назначает этот первичный ключ p.

Когда сохранение происходит в утверждении 2, у p уже есть значение первичного ключа, и Django попытается использовать этот первичный ключ в новой базе данных. Если значение первичного ключа не используется в базе данных second, проблем не возникнет – объект будет скопирован в новую базу данных.

Однако, если первичный ключ p уже используется в базе данных second, существующий объект в базе данных second будет перезаписан при сохранении p.

Вы можете избежать этого двумя способами. Во-первых, вы можете очистить первичный ключ экземпляра. Если у объекта нет первичного ключа, Django будет обрабатывать его как новый объект, избегая потерь данных в базе данных second.

>>> p = Person(name='Fred')
>>> p.save(using='first')
>>> p.pk = None # Clear the primary key.
>>> p.save(using='second') # Write a completely new object.

Второй вариант – использовать опцию force_insert для save() , чтобы убедиться, что Django выполняет операцию SQL INSERT.

>>> p = Person(name='Fred')
>>> p.save(using='first')
>>> p.save(using='second', force_insert=True)

Это гарантирует, что человек по имени Fred будет иметь тот же первичный ключ в обеих базах данных. Если этот первичный ключ уже используется при попытке сохранения в базу данных second, будет поднято исключение.

Выбор базы данных для удаления

По умолчанию вызов удаления существующего объекта выполняется в той же базе данных, что и для извлечения объекта в первую очередь:

>>> u = User.objects.using('legacy_users').get(username='fred')
>>> u.delete() # will delete from the `legacy_users` database

Чтобы указать базу данных, из которой будет удалена модель, передайте ключевой аргумент using к методу Model.delete(). Этот аргумент работает так же, как и ключевой аргумент using к методу save().

Например, если вы мигрируете пользователя из базы данных legacy_users в базу данных new_users, вы можете использовать эти команды:

>>> user_obj.save(using='new_users')
>>> user_obj.delete(using='legacy_users')

Использование менеджеров с несколькими базами данных

Используйте метод db_manager() менеджеров, чтобы дать менеджерам доступ к базе данных, отличной от базы данных по умолчанию.

Например, предположим, что у вас есть пользовательский метод менеджера, который взаимодействует с базой данных – User.objects.create_user(). Поскольку create_user() это метод менеджера, а не метод QuerySet, вы не можете сделать User.objects.using('new_users').create_user(). (Метод create_user() доступен только в User.objects, менеджере, а не в объектах QuerySet, производных от менеджера.) Решение заключается в использовании db_manager(), как показано ниже:

User.objects.db_manager('new_users').create_user(...)

db_manager() возвращает копию менеджера, привязанную к указанной базе данных.

Использование get_queryset() с несколькими базами данных

Если вы переопределяете get_queryset() в своём менеджере, убедитесь, что вы либо вызываете метод в родительском элементе (используя super()) или обрабатываете соответствующим образом атрибут _db в менеджере (строка, содержащая имя базы данных для использования).

Например, если вы хотите вернуть пользовательский класс QuerySet из метода get_queryset, вы можете сделать это так:

class MyManager(models.Manager):
    def get_queryset(self):
        qs = CustomQuerySet(self.model)
        if self._db is not None:
            qs = qs.using(self._db)
        return qs

Выставление нескольких баз данных в интерфейсе администрирования Django

Интерфейс администрирования Django не имеет явной поддержки нескольких баз данных. Если вы хотите предоставить интерфейс администрирования для модели в базе данных, отличной от той, которая определена вашей цепочкой маршрутизаторов, вам потребуется написать пользовательские классы ModelAdmin, которые направят администрирование на использование определённой базы данных для контента.

Объекты ModelAdmin имеют пять методов, требующих настройки для поддержки нескольких баз данных:

class MultiDBModelAdmin(admin.ModelAdmin):
    # A handy constant for the name of the alternate database.
    using = 'other'

    def save_model(self, request, obj, form, change):
        # Tell Django to save objects to the 'other' database.
        obj.save(using=self.using)

    def delete_model(self, request, obj):
        # Tell Django to delete objects from the 'other' database
        obj.delete(using=self.using)

    def get_queryset(self, request):
        # Tell Django to look for objects on the 'other' database.
        return super().get_queryset(request).using(self.using)

    def formfield_for_foreignkey(self, db_field, request, **kwargs):
        # Tell Django to populate ForeignKey widgets using a query
        # on the 'other' database.
        return super().formfield_for_foreignkey(db_field, request, using=self.using, **kwargs)

    def formfield_for_manytomany(self, db_field, request, **kwargs):
        # Tell Django to populate ManyToMany widgets using a query
        # on the 'other' database.
        return super().formfield_for_manytomany(db_field, request, using=self.using, **kwargs)

Здесь реализована стратегия с несколькими базами данных, в которой все объекты заданного типа хранятся в определённой базе данных (например, все объекты User находятся в базе данных other). Если ваше использование нескольких баз данных более сложное, ваш ModelAdmin должен отражать эту стратегию.

InlineModelAdmin объекты могут быть обработаны аналогичным образом. Они требуют трёх настроенных методов:

class MultiDBTabularInline(admin.TabularInline):
    using = 'other'

    def get_queryset(self, request):
        # Tell Django to look for inline objects on the 'other' database.
        return super().get_queryset(request).using(self.using)

    def formfield_for_foreignkey(self, db_field, request, **kwargs):
        # Tell Django to populate ForeignKey widgets using a query
        # on the 'other' database.
        return super().formfield_for_foreignkey(db_field, request, using=self.using, **kwargs)

    def formfield_for_manytomany(self, db_field, request, **kwargs):
        # Tell Django to populate ManyToMany widgets using a query
        # on the 'other' database.
        return super().formfield_for_manytomany(db_field, request, using=self.using, **kwargs)

После написания определений администрирования моделей их можно зарегистрировать в любом экземпляре Admin:

from django.contrib import admin

# Specialize the multi-db admin objects for use with specific models.
class BookInline(MultiDBTabularInline):
    model = Book

class PublisherAdmin(MultiDBModelAdmin):
    inlines = [BookInline]

admin.site.register(Author, MultiDBModelAdmin)
admin.site.register(Publisher, PublisherAdmin)

othersite = admin.AdminSite('othersite')
othersite.register(Publisher, MultiDBModelAdmin)

В этом примере настроены два сайта администрирования. На первом сайте отображаются объекты Author и Publisher; объекты Publisher имеют табличную вкладку, показывающую книги, опубликованные этим издателем. Второй сайт отображает только издателей без вкладок.

Использование сырых курсоров с несколькими базами данных

Если вы используете более одной базы данных, вы можете использовать django.db.connections для получения соединения (и курсора) для определенной базы данных. django.db.connections — это объект, подобный словарю, который позволяет получать определённое соединение, используя его псевдоним:

from django.db import connections
with connections['my_db_alias'].cursor() as cursor:
    ...

Ограничения использования нескольких баз данных

Связи между базами данных

В настоящее время Django не поддерживает связи "один ко многим" и "многие ко многим", охватывающие несколько баз данных. Если вы использовали маршрутизатор для распределения моделей по разным базам данных, все связи "один ко многим" и "многие ко многим", определённые этими моделями, должны быть внутренними для одной базы данных.

Это связано с целостностью ссылок. Для поддержания связи между двумя объектами Django необходимо знать, что первичный ключ связанного объекта действителен. Если первичный ключ хранится в отдельной базе данных, легко оценить действительность первичного ключа невозможно.

Если вы используете Postgres, Oracle или MySQL с InnoDB, это обеспечивается на уровне целостности данных — ограничения ключей на уровне базы данных предотвращают создание связей, которые нельзя проверить.

Однако, если вы используете SQLite или MySQL с таблицами MyISAM, принудительная целостность ссылок не обеспечивается; в результате вы можете «сымитировать» внешние ключи, охватывающие разные базы данных. Однако такая настройка не поддерживается официально Django.

Поведение приложений contrib

Несколько приложений contrib включают модели, и некоторые приложения зависят от других. Поскольку связи между базами данных невозможны, это создаёт некоторые ограничения на то, как вы можете разделить эти модели между базами данных:

• каждая из contenttypes.ContentType, sessions.Session и sites.Site может быть сохранена в любой базе данных при наличии подходящего маршрутизатора.
• auth модели — User, Group и Permission — связаны друг с другом и со ContentType, поэтому они должны храниться в той же базе данных, что и ContentType.
• admin зависит от auth, поэтому его модели должны находиться в той же базе данных, что и auth.
• flatpages и redirects зависят от sites, поэтому их модели должны находиться в той же базе данных, что и sites.

Кроме того, некоторые объекты автоматически создаются сразу после того, как migrate создаёт таблицу для их хранения в базе данных:

• по умолчанию Site,
• объект ContentType для каждой модели (включая те, которые не хранятся в этой базе данных),
• объекты Permission для каждой модели (включая те, которые не хранятся в этой базе данных).

В распространённых установках с несколькими базами данных нет смысла иметь эти объекты в более чем одной базе данных. Распространённые установки включают первичную/реплицированную базу данных и подключение к внешним базам данных. Поэтому рекомендуется написать маршрутизатор базы данных маршрутизатор базы данных, который позволяет синхронизировать эти три модели только с одной базой данных. Используйте тот же подход для приложений contrib и сторонних приложений, которым не нужны их таблицы в нескольких базах данных.