pandas.Series.to_sql

Series.to_sql(name, con, *, schema=None, if_exists='fail', index=True, index_label=None, chunksize=None, dtype=None, method=None)[source]

Запись данных, хранящихся в DataFrame, в базу данных SQL.

Поддерживаются базы данных, поддерживаемые SQLAlchemy [1]. Таблицы могут быть созданы заново, добавлены или перезаписаны.

Параметры:

name:str

Имя таблицы SQL.

con:sqlalchemy.engine.(Engine or Connection) or sqlite3.Connection

Использование SQLAlchemy позволяет использовать любую БД, поддерживаемую этой библиотекой. Предоставляется обратная совместимость с объектами sqlite3.Connection. Пользователь отвечает за удаление движка и закрытие соединения для SQLAlchemy connectable. См. здесь. Если передается sqlalchemy.engine.Connection, уже находящийся в транзакции, транзакция не будет подтверждена. Если передается sqlite3.Connection, откат вставки записей будет невозможен.

schema:str, optional

Укажите схему (если базовый язык базы данных это поддерживает). Если None, используется схема по умолчанию.

if_exists:{‘fail’, ‘replace’, ‘append’}, default ‘fail’

Как вести себя, если таблица уже существует.

• fail: Вызвать ValueError.

• replace: Удалить таблицу перед вставкой новых значений.

• append: Добавить новые значения в существующую таблицу.

index:bool, default True

Записать индекс DataFrame как столбец. Использует index_label как имя столбца в таблице. Создает индекс таблицы для этого столбца.

index_label:str or sequence, default None

Метка столбца для столбца(ов) индекса. Если None (по умолчанию) и index равно True, используются имена индекса. Последовательность должна быть указана, если DataFrame использует MultiIndex.

chunksize:int, optional

Укажите количество строк в каждом пакете, которые будут записываться одновременно. По умолчанию все строки будут записаны сразу.

dtype:dict or scalar, optional

Указание типа данных для столбцов. Если используется словарь, ключи должны быть именами столбцов, а значения — типами SQLAlchemy или строками для режима совместимости sqlite3. Если предоставлен скаляр, он будет применен ко всем столбцам.

method:{None, ‘multi’, callable}, optional

Управляет SQL-командой вставки, используемой:

• None : Использует стандартную SQL-команду INSERT (одна на строку).

• ‘multi’: Передать несколько значений в одной INSERT команде.

• callable с сигнатурой (pd_table, conn, keys, data_iter).

Подробности и пример реализации вызываемой функции можно найти в разделе метод вставки.

Возвращает:

None или int

Количество строк, затронутых to_sql. Возвращается None, если вызываемая функция, переданная в method, не возвращает целое число строк.

Число возвращенных строк, затронутых, является суммой атрибута rowcount sqlite3.Cursor или SQLAlchemy connectable, которая может не отражать точное количество записанных строк, как указано в sqlite3 или SQLAlchemy.

Новое в версии 1.4.0.

Возбуждает:

ValueError

Если таблица уже существует и if_exists равно ‘fail’ (по умолчанию).

См. также

read_sql

Чтение DataFrame из таблицы.

Примечания

Столбцы datetime с часовыми поясами будут записаны как тип Timestamp with timezone с SQLAlchemy, если это поддерживается базой данных. В противном случае даты и время будут храниться как даты и время без учета часового пояса, локальные для исходного часового пояса.

Не все хранилища данных поддерживают method="multi". Например, Oracle не поддерживает вставку нескольких значений.

Ссылки

[1]

https://docs.sqlalchemy.org

[2]

https://www.python.org/dev/peps/pep-0249/

Примеры

Создание временной базы данных SQLite.

>>> from sqlalchemy import create_engine
>>> engine = create_engine('sqlite://', echo=False)

Создание таблицы с нуля с 3 строками.

>>> df = pd.DataFrame({'name' : ['User 1', 'User 2', 'User 3']})
>>> df
     name
0  User 1
1  User 2
2  User 3

>>> df.to_sql(name='users', con=engine)
3
>>> from sqlalchemy import text
>>> with engine.connect() as conn:
...    conn.execute(text("SELECT * FROM users")).fetchall()
[(0, 'User 1'), (1, 'User 2'), (2, 'User 3')]

Можно также передать sqlalchemy.engine.Connection в con:

>>> with engine.begin() as connection:
...     df1 = pd.DataFrame({'name' : ['User 4', 'User 5']})
...     df1.to_sql(name='users', con=connection, if_exists='append')
2

Это разрешено для поддержки операций, требующих использования одного и того же соединения DBAPI для всей операции.

>>> df2 = pd.DataFrame({'name' : ['User 6', 'User 7']})
>>> df2.to_sql(name='users', con=engine, if_exists='append')
2
>>> with engine.connect() as conn:
...    conn.execute(text("SELECT * FROM users")).fetchall()
[(0, 'User 1'), (1, 'User 2'), (2, 'User 3'),
 (0, 'User 4'), (1, 'User 5'), (0, 'User 6'),
 (1, 'User 7')]

Перезапись таблицы только с df2.

>>> df2.to_sql(name='users', con=engine, if_exists='replace',
...            index_label='id')
2
>>> with engine.connect() as conn:
...    conn.execute(text("SELECT * FROM users")).fetchall()
[(0, 'User 6'), (1, 'User 7')]

Используйте method для определения вызываемого метода вставки, который ничего не делает, если есть конфликт первичного ключа в таблице в базе данных PostgreSQL.

>>> from sqlalchemy.dialects.postgresql import insert
>>> def insert_on_conflict_nothing(table, conn, keys, data_iter):
...     # "a" is the primary key in "conflict_table"
...     data = [dict(zip(keys, row)) for row in data_iter]
...     stmt = insert(table.table).values(data).on_conflict_do_nothing(index_elements=["a"])
...     result = conn.execute(stmt)
...     return result.rowcount
>>> df_conflict.to_sql(name="conflict_table", con=conn, if_exists="append", method=insert_on_conflict_nothing)  
0

Для MySQL, функция для обновления столбцов b и c при конфликте по первичному ключу.

>>> from sqlalchemy.dialects.mysql import insert
>>> def insert_on_conflict_update(table, conn, keys, data_iter):
...     # update columns "b" and "c" on primary key conflict
...     data = [dict(zip(keys, row)) for row in data_iter]
...     stmt = (
...         insert(table.table)
...         .values(data)
...     )
...     stmt = stmt.on_duplicate_key_update(b=stmt.inserted.b, c=stmt.inserted.c)
...     result = conn.execute(stmt)
...     return result.rowcount
>>> df_conflict.to_sql(name="conflict_table", con=conn, if_exists="append", method=insert_on_conflict_update)  
2

Укажите dtype (особенно полезно для целых чисел с пропущенными значениями). Обратите внимание, что в то время как pandas вынужден хранить данные как числа с плавающей точкой, база данных поддерживает целые числа с нулевыми значениями. При извлечении данных с помощью Python мы получаем целочисленные скаляры.

>>> df = pd.DataFrame({"A": [1, None, 2]})
>>> df
     A
0  1.0
1  NaN
2  2.0

>>> from sqlalchemy.types import Integer
>>> df.to_sql(name='integers', con=engine, index=False,
...           dtype={"A": Integer()})
3

>>> with engine.connect() as conn:
...   conn.execute(text("SELECT * FROM integers")).fetchall()
[(1,), (None,), (2,)]