在TensorFlow中创建一个BigQueryReader

tf.contrib.cloud.BigQueryReader

tf.contrib.cloud.BigQueryReader 类

定义在：tensorflow/contrib/cloud/python/ops/bigquery_reader_ops.py.

一个从 BigQuery 表输出键和 tf.Example 值的读取器.

使用示例：

# Assume a BigQuery has the following schema,
#     name      STRING,
#     age       INT,
#     state     STRING
# Create the parse_examples list of features.
features = dict(
  name=tf.FixedLenFeature([1], tf.string),
  age=tf.FixedLenFeature([1], tf.int32),
  state=tf.FixedLenFeature([1], dtype=tf.string, default_value="UNK"))
# Create a Reader.
reader = bigquery_reader_ops.BigQueryReader(project_id=PROJECT,
                                            dataset_id=DATASET,
                                            table_id=TABLE,
                                            timestamp_millis=TIME,
                                            num_partitions=NUM_PARTITIONS,
                                            features=features)
# Populate a queue with the BigQuery Table partitions.
queue = tf.training.string_input_producer(reader.partitions())
# Read and parse examples.
row_id, examples_serialized = reader.read(queue)
examples = tf.parse_example(examples_serialized, features=features)
# Process the Tensors examples["name"], examples["age"], etc...

请注意,创建读取器时需要快照时间戳.这将使读者能够查看表的一致快照.有关更多信息,请参阅 BigQuery 文档中的 “Table Decorators”.

有关支持的方法,请参阅 ReaderBase.

属性

• reader_ref
  

实现读取器的操作.

• supports_serialize
  

Reader 实现是否可以序列化其状态.

方法

__init__

__init__ (
     project_id ,
     dataset_id ,
     table_id ,
     timestamp_millis ,
     num_partitions ,
     features = None ,
     columns = None ,
     test_end_point = None ,
     name = None
 )

创建一个 BigQueryReader.

ARGS：

• project_id：GCP 项目 id.
• dataset_id：BigQuery 数据集 id.
• table_id：BigQuery 表 id.
• timestamp_millis：时间戳以毫秒为单位对表进行快照.不允许使用相对 (负数或零) 快照时间.有关详细信息, 请参阅 BigQuery 文档中的 "Table Decorators".
  
• num_partitions：要读取的非重叠分区的数目.
• features：parse_example 兼容字典从键到 VarLenFeature 和 FixedLenFeature 对象.键从数据库读取为列.
• columns：要读取的列的列表,当其特性为 None 时可以被设置.
• test_end_point：仅用于测试目的(可选).
• name：操作的名称(可选).

注意：

• TypeError： 出现的情况：如果 feature 既不是 None 也不是 dict；如果列既不是 None 也不是列表；如果特征和列都为 None 或被设置.

num_records_produced

num_records_produced ( name = None )

返回此读取器生成的记录数.
这与已成功读取的执行次数相同.

ARGS：

• name：操作的名称(可选).

返回：

一个 int64 张量.

num_work_units_completed

num_work_units_completed ( name = None )

返回读取器已完成处理的工作单元数.

ARGS：

• name：操作的名称(可选).

返回：

一个 int64 张量.

partitions

partitions( name = None)

返回序列化的 BigQueryTablePartition 消息.

这些消息表示大容量读取的表的不重叠分区.

ARGS：

• name：操作的名称(可选).

返回：

序列化 BigQueryTablePartition 消息的1维字符串张量.

read

read (
     queue ,
     name = None
 )

返回读取器生成的下一个记录(键,值对).

如果需要,将从队列中出现一个工作单元(例如,当读取器需要从一个新文件开始读取,因为它已经完成了上一个文件).

ARGS：

• queue：表示队列句柄的队列或可变的字符串张量, 带有字符串工作项.
• name：操作的名称(可选).

返回：

张量的元组(key,value). key: 一个字符串标量张量； value: 一个字符串标量张量.

read_up_to

read_up_to (
     queue ,
     num_records ,
     name = None
 )

返回由读者生成的 num_records(键,值对).

如果需要,将从队列中出现一个工作单元(例如,当 Reader 需要从新文件开始读取,因为它已经完成了上一个文件).即使在最后一批之前,它也可能比 num_record 返回的少.

ARGS：

• queue：队列或可变的字符串张量,表示队列的句柄,带有字符串工作项.
• num_records：要读取的记录数.
• name：操作的名称(可选).

返回：

张量的元组 (key,value). key: 1 维字符串张量. value: 1 维字符串张量.

reset

reset ( name = None )

将读取器恢复到初始状态.

ARGS：

• name：操作的名称(可选).

返回：

创建的操作.

restore_state

restore_state (
     state ,
     name = None
 )

将读取器还原到先前保存的状态.

并非所有读者都支持恢复,所以这可能会产生未实现的错误.

ARGS：

• state：字符串张量.具有匹配类型的读取器的 SerializeState 的结果.
• name：操作的名称(可选).

返回：

创建的操作.

serialize_state

serialize_state ( name = None )

生成用于对读取器状态进行编码的字符串张量.
并非所有的读取器都支持序列化, 因此这可能产生未实现的错误.

ARGS：

• name：操作的名称(可选).

返回：

返回字符串张量.