文本主要记录feature columns的相关内容。feature columns是原始数据鱼Estimator之间的媒介，其内容比较丰富，可以将各种各样的原始数据转换为Estimator可以用的格式。无论如何，深度神经网络可以处理的数据类型一定是数字。但是在实际使用时，原始输入的数据可能并不是数值型的，可能是类别或者其他非数值数据。为了让深度神经网络可以接收并处理各种各样的原始数据，就需要对使用tf.feature_column这个模块来创建模型可使用的各种feature columns。这里主要介绍下图涉及的九个方法：

feature_columns

1. Numeric column

tf.feature_column.numeric_column主要处理的是原始数据是实数（默认为tf.float32），这样的特征值模型可以直接使用，并不需要做其他任何转换。调用方法如下所示：

numeric_feature_column = tf.feature_column.numeric_column(key="SpalLength")

上述调用默认使用tf.float32作为数据类型，也可以通过dtype来指定数据类型，如下所示：

numeric_feature_column = tf.feature_column.numeric_column(
    key="SepalLength",
    dtype=tf.float64)

默认情况下，创建的是一个单值（标量）。可以使用shape参数来指定其他形状，如下所示：

# Represent a 10-element vector in which each cell contains a tf.float32.
vector_feature_column = tf.feature_column.numeric_column(
    key="Bowling",
    shape=10,
)
# Represent a 10x5 matrix in which each cell contains a tf.float32.
matrix_feature_column = tf.feature_column.numeric_column(
    key="MyMatrix",
    shape=[10, 5],
)

2. Bucketized column

当我们需要对数值在一定范围内将其分为不同的类型时，就需要创建Bucketized column，主要使用tf.feature_column.bucketized_column。例如以人的年龄数据为例，我们并不以其真实年龄值作为特征值，而是将年龄分为如下几个bucket中：

年龄范围	特征表示
<18	0
>=18 && <30	1
>= 30 && <45	2
>= 45 && < 60	3
>=60	4

示例如下：

# 首先将原始数据转换成numeric column
numeirc_feature_column = tf.feature_column.numeric_column("age")
# 然后，将numeric column转换成buckeized column
bucketized_feature_column = tf.feature_column.bucketized_column(
    source_column = numeric_feature_column,
    boundries = [18, 30, 45, 60]
)

这里需要注意的是要分成5个buckets，boundries需要指定4个分界就可以了。

3. Categorical identity column

tf.feature_column.categorical_column_with_identity用来实现分类标识列。可以将其视为一同特殊的bucketized column，在bucketized column中一个bucket代表一系列的原始值，在categorical identity column中每个bucket表示唯一的整数。例如，要将2, 4, 6, 7四个数字对应的categorical identity column如下表所示：

原始数值	特征表示
2	0
4	1
6	2
7	3

示例代码如下：

identity_feature_column = tf.feature_column.categorical_column_with_identity(
    key = "my_feature",
    num_buckets = 4,
)

4. Categorical vocabulate column

有时候，特征的原始输入是字符串，模型并不能处理字符串，这里就需要将字符串映射到数组或者分类值。其中，categorical vocabulate column提供了一种将字符串表示为one-hot向量的方法，如下表所示：

原始字符串	特征表示
kitchenware	0
ele	[1
sports	2

这里主要可以通过如下两个接口来实现：

• tf.feature_column.categorical_column_with_vocabulary_list
• tf.feature_column.categorical_column_with_vocabulary_file
  示例代码如下：

vocabulary_feature_column = tf.feature_column.categorical_column_with_vocabulary_list(
    key = "my_feature",
    vocabulary_list = ["kitchenware", "ele", "sports"]
)

当词汇表非常长的时候，vocabulary_list将会是一个非常长的list。这里就可以改用tf.feature_column.categorical_column_with_vocabulary_file，tensorflow会从一个单独的文件中获取词汇列表，代码如下：

vocabulary_feature_column = tf.feature_column.categorical_column_with_vocabulary_file(
    key = "my_feature",
    vocabulary_file = "vocabulary_file.txt",
    vocabulary_size = 3,

其中vocabulary_file.txt中每一个单词占一行，一共3行，内容如下：

kitchenware
ele
sports

5. Hashed Column

上述处理的类别都是比较少的类别，当类别非常多时，无法为每个词汇单独设置一个one-hot向量。于是就可以使用tf.feature_column.categorical_column_with_hash_bucket将各个类别映射到不同的整数。这种方式不可避免的将不同的类别映射到同一整数，不过这并不会对模型的处理产生负面影响。具体做法是，首先计算原始数据的hash值；然后用hash值对hash_buckets_size取模运算，这样就将原始数据映射到了hash_buckets_size范围内的整数类别中了。如下图所示：

categorical hash bucket
代码如下：

hash_feature_column = tf.feature_column.categorical_column_with_hash_bucket(
    key = "my_feature",
    hash_buckets_size = 100,
)

6. Crossed column

tf.feature_column.crossed_columns用来将多个特征组合成一个特征。假设我们希望模型计算佐治亚州亚特兰大的房地产价格。这个城市的房地产价格在不同位置差异很大。在确定对房地产位置的依赖性方面，将纬度和经度表示为单独的特征用处不大；但是，将纬度和经度组合为一个特征则可精确定位位置。假设我们将亚特兰大表示为一个 100x100 的矩形网格区块，按纬度和经度的特征组合标识全部 10000 个区块。借助这种特征组合，模型可以针对与各个区块相关的房价条件进行训练，这比单独的经纬度信号强得多。具体代码如下：

def make_dataset(latitude, longitude, labels):
    assert latitude.shape == longitude.shape == labels.shape

    features = {'latitude': latitude.flatten(),
                'longitude': longitude.flatten()}
    labels=labels.flatten()

    return tf.data.Dataset.from_tensor_slices((features, labels))

# Bucketize the latitude and longitude usig the `edges`
latitude_bucket_fc = tf.feature_column.bucketized_column(
    tf.feature_column.numeric_column('latitude'),
    list(atlanta.latitude.edges))

longitude_bucket_fc = tf.feature_column.bucketized_column(
    tf.feature_column.numeric_column('longitude'),
    list(atlanta.longitude.edges))

# Cross the bucketized columns, using 5000 hash bins.
crossed_lat_lon_fc = tf.feature_column.crossed_column(
    [latitude_bucket_fc, longitude_bucket_fc], 5000)

fc = [
    latitude_bucket_fc,
    longitude_bucket_fc,
    crossed_lat_lon_fc]

# Build and train the Estimator.
est = tf.estimator.LinearRegressor(fc, ...)

crossed column可以对任意特这个进行组合，除了categorical_column_with_hash_bucket，因为crossed_column会对输入进行hash处理。简单来说其处理过程是这样的，将原特征组合在一起，然后计算hash，最后对hash值取hash_bucket_size模。

7. Indicator and embedding column

类别值	one-hot表示
0	[1, 0, 0, 0]
1	[0, 1, 0, 0]
2	[0, 0, 1, 0]
3	[0, 0, 0, 1]

indicator column和embedding column并不直接处理特征，而是将分类视为输入。
indicator column将每个类别转换成one-hot向量，如下表所示

类别值	one-hot表示
0	[1, 0, 0, 0]
1	[0, 1, 0, 0]
2	[0, 0, 1, 0]
3	[0, 0, 0, 1]

示例代码如下：

categorical_column = = tf.feature_column.categorical_column_with_vocabulary_list(
    key = "my_feature",
    vocabulary_list = ["kitchenware", "ele", "sports"]
)

indicator_column = tf.feature_column.indicator_column(categorical_column)

如果我们的输入有百万甚至亿级的类别时，使用indicator column就不合适了，模型也根本没办法处理（内存存不下了）。这是可以使用embedding column来解决这个问题。embedding column是将多维one-hot向量表示为低维普通向量，其中的元素并不是0和1而是一个确定的数值。同时embedding column的维度要远远小于indicator column，而且可以更加丰富的表现分类的内容。
接下来看一下embedding column和indicator column之间的区别。假设输入样本包含多个不同的词（取自仅有81个词的有限词汇表）。假设数据集在4个不同的样本中提供了如下输入词：

dog
spoon
scissors
guitar

下图分别说明了embedding column和indicator column的处理流程：

embedding_vs_indicator

embedding column中的值是在训练期间进行分配的。embedding column可以增强模型的功能，因为在训练过程中模型学习了类别之间的其他关系。关于embedding后续还会详细介绍。embedding column的维度是由原始类别的个数决定，一般采用如下公式进行确定：

embedding_dimensions =  number_of_categories**0.25

代码示例如下所示：

categorical_column = ... # Create any categorical column

# Represent the categorical column as an embedding column.
# This means creating a one-hot vector with one element for each category.
embedding_column = tf.feature_column.embedding_column(
    categorical_column=categorical_column,
    dimension=dimension_of_embedding_vector)