tf.contrib.cloud.BigtableTable

Точка входа для чтения и записи данных в Cloud Bigtable.

tf.contrib.cloud.BigtableTable(
    name, snapshot, resource
)

Этот класс BigtableTable представляет собой Python-представление таблицы Cloud Bigtable в TensorFlow. Методы этого класса позволяют читать и записывать данные в службу Cloud Bigtable гибким и высокопроизводительным способом.

Методы

keys_by_prefix_dataset

Просмотреть исходный код

keys_by_prefix_dataset(
    prefix
)

Возвращает ключи строк, соответствующие заданному префиксу.

keys_by_range_dataset

Просмотреть исходный код

keys_by_range_dataset(
    start, end
)

Возвращает все ключи строк между началом и концом.

Примечание: оно НЕ возвращает значения столбцов.

lookup_columns

Просмотреть исходный код

lookup_columns(
    *args, **kwargs
)

Возвращает значения столбцов для набора ключей.

Пример использования:

table = bigtable_client.table("my_table")
key_dataset = table.get_keys_prefix("imagenet")
images = key_dataset.apply(table.lookup_columns(("cf1", "image"),
                                                ("cf2", "label"),
                                                ("cf2", "boundingbox")))
training_data = images.map(parse_and_crop, num_parallel_calls=64).batch(128)

В качестве альтернативы, вы можете использовать ключевые аргументы для указания столбцов для захвата. Пример (то же самое, что и выше, переписанный):

table = bigtable_client.table("my_table")
key_dataset = table.get_keys_prefix("imagenet")
images = key_dataset.apply(table.lookup_columns(
    cf1="image", cf2=("label", "boundingbox")))
training_data = images.map(parse_and_crop, num_parallel_calls=64).batch(128)

Примечание: некоторые kwargs ключи зарезервированы, и поэтому некоторые семейства столбцов не могут быть идентифицированы с использованием синтаксиса kwargs. Вместо этого, используйте синтаксис args. Этот список включает:

• 'name'

Примечание: этот список может измениться в любое время.

parallel_scan_prefix

Просмотреть исходный код

parallel_scan_prefix(
    prefix, num_parallel_scans=None, probability=None, columns=None, **kwargs
)

Получает строки (включая значения) из службы Bigtable с высокой скоростью.

Строки с ключом строки, начинающимся с prefix, будут извлечены. Этот метод похож на scan_prefix, но в отличие от него выполняет несколько подсканирований параллельно для достижения более высокой производительности.

Примечание: Множество, созданное этим методом, не является детерминированным!

Указание столбцов для извлечения для каждой строки выполняется с помощью аргументов kwargs или в параметре столбцы. Для извлечения значений столбцов "c1" и "c2" из семейства столбцов "cfa" и значения столбца "c3" из семейства столбцов "cfb" следующие наборы данных (ds1, и ds2) эквивалентны:

table = # ...
ds1 = table.parallel_scan_prefix("row_prefix", columns=[("cfa", "c1"),
                                                        ("cfa", "c2"),
                                                        ("cfb", "c3")])
ds2 = table.parallel_scan_prefix("row_prefix", cfa=["c1", "c2"], cfb="c3")

Примечание: будет извлечено только последнее значение ячейки.

parallel_scan_range

Просмотреть исходный код

parallel_scan_range(
    start, end, num_parallel_scans=None, probability=None, columns=None, **kwargs
)

Получает строки (включая значения) из службы Bigtable.

Строки с ключами строк между start и end будут извлечены. Этот метод похож на scan_range, но в отличие от него выполняет несколько подсканирований параллельно для достижения более высокой производительности.

Примечание: Множество, созданное этим методом, не является детерминированным!

Указание столбцов для извлечения для каждой строки выполняется с помощью аргументов kwargs или в параметре столбцы. Для извлечения значений столбцов "c1" и "c2" из семейства столбцов "cfa" и значения столбца "c3" из семейства столбцов "cfb" следующие наборы данных (ds1, и ds2) эквивалентны:

table = # ...
ds1 = table.parallel_scan_range("row_start",
                                "row_end",
                                columns=[("cfa", "c1"),
                                         ("cfa", "c2"),
                                         ("cfb", "c3")])
ds2 = table.parallel_scan_range("row_start", "row_end",
                                cfa=["c1", "c2"], cfb="c3")

Примечание: будет извлечено только последнее значение ячейки.

sample_keys

Просмотреть исходный код

sample_keys()

Извлекает выборку ключей строк из таблицы Bigtable.

Этот набор данных чаще всего используется совместно с tf.data.experimental.parallel_interleave для построения набора диапазонов для параллельного сканирования.

scan_prefix

Просмотреть исходный код

scan_prefix(
    prefix, probability=None, columns=None, **kwargs
)

Получает строки (включая значения) из службы Bigtable.

Строки с ключом строки, начинающимся с prefix, будут извлечены.

Указание столбцов для извлечения для каждой строки выполняется с помощью kwargs или в параметре columns. Для извлечения значений столбцов "c1" и "c2" из семейства столбцов "cfa" и значения столбца "c3" из семейства столбцов "cfb" следующие наборы данных (ds1, и ds2) эквивалентны:

table = # ...
ds1 = table.scan_prefix("row_prefix", columns=[("cfa", "c1"),
                                               ("cfa", "c2"),
                                               ("cfb", "c3")])
ds2 = table.scan_prefix("row_prefix", cfa=["c1", "c2"], cfb="c3")

Примечание: будет извлечено только последнее значение ячейки.

scan_range

Посмотреть исходный код

scan_range(
    start, end, probability=None, columns=None, **kwargs
)

Извлекает строки (включая значения) из сервиса Bigtable.

Будут извлечены строки с ключами строк между start и end.

Указание столбцов для извлечения для каждой строки выполняется с помощью kwargs или в параметре columns. Для извлечения значений столбцов "c1" и "c2" из семейства столбцов "cfa" и значения столбца "c3" из семейства столбцов "cfb" следующие наборы данных (ds1, и ds2) эквивалентны:

table = # ...
ds1 = table.scan_range("row_start", "row_end", columns=[("cfa", "c1"),
                                                        ("cfa", "c2"),
                                                        ("cfb", "c3")])
ds2 = table.scan_range("row_start", "row_end", cfa=["c1", "c2"], cfb="c3")

Примечание: будет извлечено только последнее значение ячейки.

write

Посмотреть исходный код

write(
    dataset, column_families, columns, timestamp=None
)

Записывает набор данных в таблицу.