tf.contrib.cloud.BigQueryReader

Чтение ключей и значений tf.Example из таблицы BigQuery.

Наследуется от: ReaderBase

tf.contrib.cloud.BigQueryReader(
    project_id, dataset_id, table_id, timestamp_millis, num_partitions,
    features=None, columns=None, test_end_point=None, name=None
)

Пример использования:

# Assume a BigQuery has the following schema,
#     name      STRING,
#     age       INT,
#     state     STRING

# Create the parse_examples list of features.
features = dict(
  name=tf.io.FixedLenFeature([1], tf.string),
  age=tf.io.FixedLenFeature([1], tf.int32),
  state=tf.io.FixedLenFeature([1], dtype=tf.string, default_value="UNK"))

# Create a Reader.
reader = bigquery_reader_ops.BigQueryReader(project_id=PROJECT,
                                            dataset_id=DATASET,
                                            table_id=TABLE,
                                            timestamp_millis=TIME,
                                            num_partitions=NUM_PARTITIONS,
                                            features=features)

# Populate a queue with the BigQuery Table partitions.
queue = tf.compat.v1.train.string_input_producer(reader.partitions())

# Read and parse examples.
row_id, examples_serialized = reader.read(queue)
examples = tf.io.parse_example(examples_serialized, features=features)

# Process the Tensors examples["name"], examples["age"], etc...

Обратите внимание, что для создания ридера необходима метка временной отметки момента снимка. Это позволит ридеру просматривать согласованный снимок таблицы. Дополнительную информацию см. в разделе «Декораторы таблиц» в документации BigQuery.

См. ReaderBase для поддерживаемых методов.

Методы

num_records_produced

Посмотреть исходный код

num_records_produced(
    name=None
)

Возвращает количество записей, сгенерированных этим ридером.

Это совпадает с количеством успешных выполнений Read.

num_work_units_completed

Посмотреть исходный код

num_work_units_completed(
    name=None
)

Возвращает количество завершенных единиц работы, обработанных этим ридером.

partitions

Посмотреть исходный код

partitions(
    name=None
)

Возвращает сериализованные сообщения BigQueryTablePartition.

Эти сообщения представляют собой неперекрывающееся разделение таблицы для массового чтения.

read

Посмотреть исходный код

read(
    queue, name=None
)

Возвращает следующую пару записей (ключ, значение), сгенерированную ридером.

Если необходимо, декьюит единицу работы из очереди (например, когда ридеру нужно начать чтение из нового файла, так как он завершил чтение предыдущего файла).

read_up_to

Посмотреть исходный код

read_up_to(
    queue, num_records, name=None
)

Возвращает до num_records пар (ключ, значение), сгенерированных ридером.

Если необходимо, декьюит единицу работы из очереди (например, когда ридеру нужно начать чтение из нового файла, так как он завершил чтение предыдущего файла). Может вернуть меньше, чем num_records, даже до последней группы.

reset

Посмотреть исходный код

reset(
    name=None
)

Восстановить ридер в его первоначальное чистое состояние.

restore_state

Посмотреть исходный код

restore_state(
    state, name=None
)

Восстановление ридера до ранее сохраненного состояния.

Не все ридеры поддерживают восстановление, поэтому это может вызвать ошибку Unimplemented.

serialize_state

Посмотреть исходный код

serialize_state(
    name=None
)

Генерирует строковый тензор, кодирующий состояние ридера.

Не все ридеры поддерживают сериализацию, поэтому это может вызвать ошибку Unimplemented.