(Translated by https://www.hiragana.jp/)
TensorFlow - 维基教科书，自由的教学读本 跳とべ转到内容ないよう

TensorFlow

添加てんか链接
维基教科きょうか书，自由じゆう的てき教学きょうがく读本

TensorFlow是ぜ一个开源软件库，用よう于各种机器き学がく习与数すう据すえ处理任にん务。TensorFlow最初さいしょ由よし谷たに歌か公司こうし的てき大だい脑团队开发，用よう于Google的てき研究けんきゅう和生かずお产，于2015年ねん11月9日にち在ざいApache 2.0开源许可证下发布。

在ざいPython中ちゅう需要じゅよう首くび先さき导入包つつみ： 

import tensorflow as tf

概念がいねん

[编辑]
  • TensorFlow是ぜ采さい用よう数かず据すえ流りゅう图（data flow graphs）来らい描述了りょう计算的てき过程。
  • 图中的てき节点（Nodes）被ひ称しょう之の为 op (operation 的てき缩写)，用もちい来らい表示ひょうじ施ほどこせ加か的てき计算任にん务，但ただし也可以表示ひょうじ数すう据すえ输入（feed in）的てき起点きてん/输出（push out）的てき终点，或ある者もの是ぜ读取/写うつし入にゅう持久じきゅう变量（persistent variable）的てき终点。一いち个 op 获得 0 个或多た个 tensor，执行计算产生 0 个或多た个张量りょうtensor，每まい个tensor是ぜ一个类型化的多维数组。
    • 源みなもと op (source op)不ふ需要じゅよう任にん何なん输入，例れい如 常つね量りょう (Constant)。
  • 线（edges）则表示ひょうじ在ざい节点间相互联系けい的てき多た维数据すえ数すう组（即そく张量）。在ざいPython中ちゅう，节点赋值给一个名字みょうじ，该名字みょうじ对应的てき类型为ensorflow.python.framework.ops.Tensor，即そく表示ひょうじ这个节点输出的てき张量。一旦输入端的所有张量准备好，节点将はた被ひ分配ぶんぱい到いた各かく种计算さん设备完成かんせい异步并行计算。
  • 为了进行计算，图必须在被ひ称しょう之の为 会かい话 (Session) 的てき上下じょうげ文ぶん (context) 中ちゅう执行。Session 将はた图的 op 分ぶん发到诸如 CPU 或ある GPU 之の类的设备上じょう，同どう时提供ていきょう执行 op 的てき方法ほうほう。这些方法ほうほう执行后きさき，将はた产生的てき tensor 返かえし回かい。
  • 变量 (Variable) 用よう于维护状态
  • feed机つくえ制せい可か以用一いち个 tensor 值临时替换图中ちゅう的てき任意にんい节点的てき输出tensor；还可以直接ちょくせつ插入そうにゅう一いち个 tensor。feed数すう据すえ作さく为 Session 对象的てきrun() 调用的てき参さん数すう。feed 只ただ在ざい调用它的方法ほうほう内ない有效ゆうこう，方法ほうほう结束，feed 就会消失しょうしつ。
  • fetch：为了取と回かい操作そうさ的てき输出内容ないよう，使用しよう Session 对象的てき run() 调用执行图时，传入一いち些（节点的てき输出）tensor，，则run()返かえし回かい其计算さん结果。在ざい Python 语言中ちゅう, tf.Session的てきrun返かえし回かい的てきtensor是ぜ numpy.ndarray 对象；在ざい C 和わ C++ 语言中ちゅう，返かえし回かい的てき tensor 是ぜ tensorflow::Tensor 实例。Session需要じゅようclose()释放。

交互こうご式しき运行环境

[编辑]

可か以使用しよう InteractiveSession 代替だいたい Session 类，使用しよう Tensor.eval() 和かず Operation.run() 方法ほうほう代替だいたい Session.run(). 

# 进入一いち个交互こうご式しき TensorFlow 会かい话.
import tensorflow as tf
sess = tf.InteractiveSession()

x = tf.Variable([1.0, 2.0])
a = tf.constant([3.0, 3.0])

# 使用しよう初はつ始はじめ化か器き initializer op 的てき run() 方法ほうほう初はつ始はじめ化か 'x' 
x.initializer.run()

# 增加ぞうか一いち个减法ほう sub op, 从 'x' 减去 'a'. 运行减法 op, 输出结果 
sub = tf.subtract(x, a)
print (sub.eval())

TensorBoard可か视化数すう据すえ流りゅう图

[编辑]
import tensorflow as tf

a = tf.constant(2, name="a")
b = tf.constant(2, name="b")
x = tf.add(a, b, name="add") 
with tf.Session() as sess:
    writer = tf.summary.FileWriter('D:\\tmp', sess.graph) # if you prefer creating your writer using session's graph
    print(sess.run(x))
    writer.close()

然しか后きさき在ざいcmd运行程こうてい序じょ 

$ python3 [my_program.py] 
$ tensorboard --logdir="\tmp" --port 6006

在ざい浏览器き打だ开 

http://ThisComputerName:6006/

成なり员函数すう

[编辑]

常つね量りょう

[编辑]
num = tf.constant(2, name="num")

# constant of 1d tensor (vector)
a = tf.constant([2, 2], name="vector")

# constant of 2x2 tensor (matrix)
b = tf.constant([[0, 1], [2, 3]], name="matrix")

# create a tensor of shape and all elements are zeros
tf.zeros([2, 3], tf.int32) ==> [[0, 0, 0], [0, 0, 0]]

# create a tensor of shape and type (unless type is specified) as the input_tensor but all elements are zeros. input_tensor [[0, 1], [2, 3], [4, 5]]
tf.zeros_like(input_tensor) ==> [[0, 0], [0, 0], [0, 0]]

# create a tensor of shape and all elements are ones
tf.ones([2, 3], tf.int32) ==> [[1, 1, 1], [1, 1, 1]]

# input_tensor is [[0, 1], [2, 3], [4, 5]]
tf.ones_like(input_tensor) ==> [[1, 1], [1, 1], [1, 1]]

# create a tensor filled with a scalar value.
tf.fill([2, 3], 8) ==> [[8, 8, 8], [8, 8, 8]]

#tf.lin_space(start, stop, num, name=None)
# create a sequence of num evenly-spaced values are generated beginning at start. If num > 1, the values in the sequence increase by (stop - start) / (num - 1), so that the last one is exactly stop. comparable to but slightly different from numpy.linspace
tf.lin_space(10.0, 13.0, 4, name="linspace") ==> [10.0 11.0 12.0 13.0]

#tf.range([start], limit=None, delta=1, dtype=None, name='range')
# create a sequence of numbers that begins at start and extends by increments of delta up to but not including limit. slight different from range in Python
# 'start' is 3, 'limit' is 18, 'delta' is 3
tf.range(start, limit, delta) ==> [3, 6, 9, 12, 15]
# 'start' is 3, 'limit' is 1,  'delta' is -0.5
tf.range(start, limit, delta) ==> [3, 2.5, 2, 1.5]
# 'limit' is 5
tf.range(limit) ==> [0, 1, 2, 3, 4]

不ふ像ぞうNumpy或ある者ものPython其他序列じょれつ，TensorFlow序列じょれつ不能ふのう迭代 

for _ in np.linspace(0, 10, 4): # OK
for _ in tf.linspace(0.0, 10.0, 4): # TypeError: 'Tensor' object is not iterable.
for _ in range(4): # OK
for _ in tf.range(4): # TypeError: 'Tensor' object is not iterable.

生成せいせい随ずい机つくえ常つね量りょう：

  • tf.random_normal
  • tf.truncated_normal
  • tf.random_uniform
  • tf.random_shuffle
  • tf.random_crop
  • tf.multinomial
  • tf.random_gamma
  • tf.set_random_seed

变量

[编辑]
  • tf.Variable(initial_value=None, trainable=True, collections=None, validate_shape=True, caching_device=None, name=None, variable_def=None, dtype=None, expected_shape=None, import_scope=None) 如果检测到命名めいめい冲突，系けい统会自己じこ处理。 每次まいじ都と创建新しん对象
  • tf.get_variable(name, shape=None, dtype=None, initializer=None, regularizer=None, trainable=True, collections=None, caching_device=None, partitioner=None, validate_shape=True, custom_getter=None) 如果检测到命名めいめい冲突，系けい统会报错。因よし而，需要じゅよう跨またが作用さよう域いき共ども享とおる变量的てき时候，应该使用しようtf.get_variable()
  • tf.global_variables_initializer 初はつ始はじめ化か全局ぜんきょく变量

tf.assign(variableName,value) 赋值给变量りょう

数学すうがく运算

[编辑]

各かく种除法ほう 

import tensorflow as tf
a = tf.constant([2, 2], name='a')
b = tf.constant([[0, 1], [2, 3]], name='b')
with tf.Session() as sess:
   #print(sess.run(tf.div(b, a)))             #  ⇒ [[0 0] [1 1]] 过时了りょう
   print(sess.run(tf.divide(b, a)))          #  ⇒ [[0. 0.5] [1. 1.5]]
   print(sess.run(tf.truediv(b, a)))         #  ⇒ [[0. 0.5] [1. 1.5]]
   print(sess.run(tf.floordiv(b, a)))        #  ⇒ [[0 0] [1 1]]
   #print(sess.run(tf.realdiv(b, a)))         #  ⇒ # Error: only works for real values
   print(sess.run(tf.truncatediv(b, a)))     #  ⇒ [[0 0] [1 1]]
   print(sess.run(tf.floor_div(b, a)))       #  ⇒ [[0 0] [1 1]]
tf.add(x, y, name=None) 求もとめ和わ
tf.sub(x, y, name=None) 减法
tf.mul(x, y, name=None) 乘法じょうほう
tf.div(x, y, name=None) 除法じょほう
tf.mod(x, y, name=None) 取と模も
tf.abs(x, name=None) 求もとめ绝对值
tf.neg(x, name=None) 取と负 (y = -x).
tf.sign(x, name=None) 返かえし回かい符号ふごう y = sign(x) = -1 if x < 0; 0 if x == 0; 1 if x > 0.
tf.inv(x, name=None) 取と反はん
tf.square(x, name=None) 计算平方へいほう (y = x * x = x^2).
tf.round(x, name=None) 舍しゃ入いれ最さい接近せっきん的てき整数せいすう # ‘a’is [0.9, 2.5, 2.3, -4.4]， tf.round(a)则[ 1.0, 3.0, 2.0, -4.0 ]
tf.sqrt(x, name=None) 开根号ごう (y = \sqrt{x} = x^{1/2}).
tf.pow(x, y, name=None) 幂次方かた
  1. tensor ‘x’ is [[2, 2], [3, 3]]
  2. tensor ‘y’ is [[8, 16], [2, 3]]

tf.pow(x, y) 则 [[256, 65536], [9, 27]]

tf.exp(x, name=None) 计算e的てき次つぎ方かた
tf.log(x, name=None) 计算log，一个输入计算e的てきln，两各输入以第二に输入为基
tf.maximum(x, y, name=None) 返かえし回かい最大さいだい值 (x > y ? x : y)
tf.minimum(x, y, name=None) 返かえし回かい最小さいしょう值 (x < y ? x : y)
tf.cos(x, name=None) 三角さんかく函数かんすうcosine
tf.sin(x, name=None) 三角さんかく函数かんすうsine
tf.tan(x, name=None) 三角さんかく函数かんすうtan
tf.atan(x, name=None) 三角さんかく函数かんすうctan

数かず据すえ类型转换Casting

操作そうさ 描述
tf.string_to_number(string_tensor, out_type=None, name=None) 字じ符ふ串くし转为数字すうじ
tf.to_double(x, name=’ToDouble’) 转为64位い浮点类型–float64
tf.to_float(x, name=’ToFloat’) 转为32位い浮点类型–float32
tf.to_int32(x, name=’ToInt32’) 转为32位い整せい型がた–int32
tf.to_int64(x, name=’ToInt64’) 转为64位い整せい型がた–int64
tf.cast(x, dtype, name=None) 将はたx或ある者ものx.values转换为dtype
  1. tensor a is [1.8, 2.2], tf.cast(a, tf.int32) ==> [1, 2] # dtype=tf.int32

形状けいじょう操作そうさShapes and Shaping

操作そうさ 描述
tf.shape(input, name=None) 返かえし回数かいすう据すえ的てきshape
  1. ‘t’ is [[[1, 1, 1], [2, 2, 2]], [[3, 3, 3], [4, 4, 4]]]

shape(t) ==> [2, 2, 3]

tf.size(input, name=None) 返かえし回数かいすう据すえ的てき元素げんそ数量すうりょう
  1. ‘t’ is [[[1, 1, 1], [2, 2, 2]], [[3, 3, 3], [4, 4, 4]]]]

size(t) ==> 12

tf.rank(input, name=None) 返かえし回かいtensor的てきrank

注意ちゅうい：此rank不同ふどう于矩阵的rank， tensor的てきrank表示ひょうじ一いち个tensor需要じゅよう的てき索引さくいん数すう目もく来らい唯ただ一表示任何一个元素 也就是ぜ通常つうじょう所しょ说的 “order”, “degree”或ある”ndims”

  1. ’t’ is [[[1, 1, 1], [2, 2, 2]], [[3, 3, 3], [4, 4, 4]]]
  2. shape of tensor ‘t’ is [2, 2, 3]

rank(t) ==> 3 tf.reshape(tensor, shape, name=None) 改あらため变tensor的てき形状けいじょう

  1. tensor ‘t’ is [1, 2, 3, 4, 5, 6, 7, 8, 9]
  2. tensor ‘t’ has shape [9]

reshape(t, [3, 3]) ==> [[1, 2, 3], [4, 5, 6], [7, 8, 9]]

  1. 如果shape有ゆう元素げんそ[-1],表示ひょうじ在ざい该维度ど打だ平たいら至一しいち维
  2. -1 将はた自じ动推导得为 9:

reshape(t, [2, -1]) ==> [[1, 1, 1, 2, 2, 2, 3, 3, 3], [4, 4, 4, 5, 5, 5, 6, 6, 6]] tf.expand_dims(input, dim, name=None) 插入そうにゅう维度1进入一いち个tensor中ちゅう

  1. 该操作そうさ要求ようきゅう-1-input.dims()
  2. ‘t’ is a tensor of shape [2]

shape(expand_dims(t, 0)) ==> [1, 2] shape(expand_dims(t, 1)) ==> [2, 1] shape(expand_dims(t, -1)) ==> [2, 1] <= dim <= input.dims() 

   切片せっぺん与あずか合ごう并（Slicing and Joining）

操作そうさ 描述 tf.slice(input_, begin, size, name=None) 对tensor进行切片せっぺん操作そうさ 其中size[i] = input.dim_size(i) - begin[i] 该操作そうさ要求ようきゅう 0 <= begin[i] <= begin[i] + size[i] <= Di for i in [0, n]

  1. ’input’ is
  2. [[[1, 1, 1], [2, 2, 2]],[[3, 3, 3], [4, 4, 4]],[[5, 5, 5], [6, 6, 6]]]

tf.slice(input, [1, 0, 0], [1, 1, 3]) ==> [[[3, 3, 3]]] tf.slice(input, [1, 0, 0], [1, 2, 3]) ==> [[[3, 3, 3], [4, 4, 4]]] tf.slice(input, [1, 0, 0], [2, 1, 3]) ==> [[[3, 3, 3]], 5, 5, 5] tf.split(split_dim, num_split, value, name=’split’) 沿着某ぼう一いち维度将はたtensor分ぶん离为num_split tensors

  1. ‘value’ is a tensor with shape [5, 30]
  2. Split ‘value’ into 3 tensors along dimension 1

split0, split1, split2 = tf.split(1, 3, value) tf.shape(split0) ==> [5, 10] tf.concat(concat_dim, values, name=’concat’) 沿着某ぼう一いち维度连结tensor t1 = [[1, 2, 3], [4, 5, 6]] t2 = [[7, 8, 9], [10, 11, 12]] tf.concat(0, [t1, t2]) ==> [[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12]] tf.concat(1, [t1, t2]) ==> [[1, 2, 3, 7, 8, 9], [4, 5, 6, 10, 11, 12]] 如果想そう沿着tensor一新轴连结打包,那な么可以： tf.concat(axis, [tf.expand_dims(t, axis) for t in tensors]) 等とう同どう于tf.pack(tensors, axis=axis) tf.pack(values, axis=0, name=’pack’) 将一しょういち系列けいれつrank-R的てきtensor打だ包つつみ为一个rank-(R+1)的てきtensor

  1. ‘x’ is [1, 4], ‘y’ is [2, 5], ‘z’ is [3, 6]

pack([x, y, z]) => [[1, 4], [2, 5], [3, 6]]

  1. 沿着第だい一いち维pack

pack([x, y, z], axis=1) => [[1, 2, 3], [4, 5, 6]] 等とう价于tf.pack([x, y, z]) = np.asarray([x, y, z]) tf.reverse(tensor, dims, name=None) 沿着某ぼう维度进行序列じょれつ反はん转 其中dim为列表ひょう，元素げんそ为bool型がた，size等とう于rank(tensor)

  1. tensor ‘t’ is

[[[[ 0, 1, 2, 3],

  1. [ 4, 5, 6, 7],
  1. [ 8, 9, 10, 11]],
  2. [[12, 13, 14, 15],
  3. [16, 17, 18, 19],
  4. [20, 21, 22, 23]]]]
  5. tensor ‘t’ shape is [1, 2, 3, 4]
  6. ‘dims’ is [False, False, False, True]

reverse(t, dims) ==> [[[[ 3, 2, 1, 0], [ 7, 6, 5, 4], [ 11, 10, 9, 8]], [[15, 14, 13, 12], [19, 18, 17, 16], [23, 22, 21, 20]]]] tf.transpose(a, perm=None, name=’transpose’) 调换tensor的てき维度顺序 按照列れつ表ひょうperm的てき维度排列はいれつ调换tensor顺序， 如为定てい义，则perm为(n-1…0)

  1. ‘x’ is [[1 2 3],[4 5 6]]

tf.transpose(x) ==> [[1 4], [2 5],[3 6]]

  1. Equivalently

tf.transpose(x, perm=[1, 0]) ==> [[1 4],[2 5], [3 6]] tf.gather(params, indices, validate_indices=None, name=None) 合ごう并索引さくいんindices所しょ指示しじparams中ちゅう的てき切片せっぺん tf.gather tf.one_hot (indices, depth, on_value=None, off_value=None, axis=None, dtype=None, name=None) indices = [0, 2, -1, 1] depth = 3 on_value = 5.0 off_value = 0.0 axis = -1

  1. Then output is [4 x 3]:

output = [5.0 0.0 0.0] // one_hot(0) [0.0 0.0 5.0] // one_hot(2) [0.0 0.0 0.0] // one_hot(-1) [0.0 5.0 0.0] // one_hot(1) 矩のり阵相关运算さん 操作そうさ 描述 tf.diag(diagonal, name=None) 返かえし回かい一个给定对角值的对角tensor

  1. ‘diagonal’ is [1, 2, 3, 4]

tf.diag(diagonal) ==> [[1, 0, 0, 0] [0, 2, 0, 0] [0, 0, 3, 0] [0, 0, 0, 4]] tf.diag_part(input, name=None) 功こう能のう与あずか上面うわつら相反あいはん tf.trace(x, name=None) 求もとめ一いち个2维tensor足あし迹，即そく对角值diagonal之の和わ tf.transpose(a, perm=None, name=’transpose’) 调换tensor的てき维度顺序 按照列れつ表ひょうperm的てき维度排列はいれつ调换tensor顺序， 如为定てい义，则perm为(n-1…0)

  1. ‘x’ is [[1 2 3],[4 5 6]]

tf.transpose(x) ==> [[1 4], [2 5],[3 6]]

  1. Equivalently

tf.transpose(x, perm=[1, 0]) ==> [[1 4],[2 5], [3 6]] tf.matmul(a, b, transpose_a=False, transpose_b=False, a_is_sparse=False, b_is_sparse=False, name=None) 矩のり阵相乘そうじょう tf.matrix_determinant(input, name=None) 返かえし回かい方かた阵的行列ぎょうれつ式しき tf.matrix_inverse(input, adjoint=None, name=None) 求もとめ方かた阵的逆ぎゃく矩のり阵，adjoint为True时，计算输入共ども轭矩阵的逆ぎゃく矩のり阵 tf.cholesky(input, name=None) 对输入方いりがた阵cholesky分解ぶんかい， 即そく把わ一个对称正定的矩阵表示成一个下三角矩阵L和わ其转置おけ的てき乘じょう积的分解ぶんかいA=LL^T tf.matrix_solve(matrix, rhs, adjoint=None, name=None) 求もとめ解かいtf.matrix_solve(matrix, rhs, adjoint=None, name=None) matrix为方阵shape为[M,M],rhs的てきshape为[M,K]，output为[M,K] 复数操作そうさ 操作そうさ 描述 tf.complex(real, imag, name=None) 将はた两实数すう转换为复数すう形式けいしき

  1. tensor ‘real’ is [2.25, 3.25]
  2. tensor imag is [4.75, 5.75]

tf.complex(real, imag) ==> [[2.25 + 4.75j], [3.25 + 5.75j]] tf.complex_abs(x, name=None) 计算复数的てき绝对值，即そく长度。

  1. tensor ‘x’ is [[-2.25 + 4.75j], [-3.25 + 5.75j]]

tf.complex_abs(x) ==> [5.25594902, 6.60492229] tf.conj(input, name=None) 计算共ども轭复数すう tf.imag(input, name=None) tf.real(input, name=None) 提ひっさげ取ど复数的てき虚きょ部ぶ和わ实部 tf.fft(input, name=None) 计算一维的离散傅里叶变换，输入数すう据すえ类型为complex64 归约计算(Reduction) 操作そうさ 描述 tf.reduce_sum(input_tensor, reduction_indices=None, keep_dims=False, name=None) 计算输入tensor元素げんそ的てき和わ，或ある者もの安あん照あきらreduction_indices指定してい的てき轴进行ぎょう求もとめ和わ

  1. ‘x’ is [[1, 1, 1]
  2. [1, 1, 1]]

tf.reduce_sum(x) ==> 6 tf.reduce_sum(x, 0) ==> [2, 2, 2] tf.reduce_sum(x, 1) ==> [3, 3] tf.reduce_sum(x, 1, keep_dims=True) ==> [[3], [3]] tf.reduce_sum(x, [0, 1]) ==> 6 tf.reduce_prod(input_tensor, reduction_indices=None, keep_dims=False, name=None) 计算输入tensor元素げんそ的てき乘じょう积，或ある者もの安あん照あきらreduction_indices指定してい的てき轴进行ぎょう求もとむ乘じょう积 tf.reduce_min(input_tensor, reduction_indices=None, keep_dims=False, name=None) 求もとめtensor中ちゅう最小さいしょう值 tf.reduce_max(input_tensor, reduction_indices=None, keep_dims=False, name=None) 求もとめtensor中ちゅう最大さいだい值 tf.reduce_mean(input_tensor, reduction_indices=None, keep_dims=False, name=None) 求もとめtensor中ちゅう平均へいきん值 tf.reduce_all(input_tensor, reduction_indices=None, keep_dims=False, name=None) 对tensor中ちゅう各かく个元素げんそ求もとめ逻辑’与あずか’

  1. ‘x’ is
  2. [[True, True]
  3. [False, False]]

tf.reduce_all(x) ==> False tf.reduce_all(x, 0) ==> [False, False] tf.reduce_all(x, 1) ==> [True, False] tf.reduce_any(input_tensor, reduction_indices=None, keep_dims=False, name=None) 对tensor中ちゅう各かく个元素げんそ求もとめ逻辑’或ある’ tf.accumulate_n(inputs, shape=None, tensor_dtype=None, name=None) 计算一いち系列けいれつtensor的てき和わ

  1. tensor ‘a’ is [[1, 2], [3, 4]]
  2. tensor b is [[5, 0], [0, 6]]

tf.accumulate_n([a, b, a]) ==> [[7, 4], [6, 14]] tf.cumsum(x, axis=0, exclusive=False, reverse=False, name=None) 求もとめ累るい积和 tf.cumsum([a, b, c]) ==> [a, a + b, a + b + c] tf.cumsum([a, b, c], exclusive=True) ==> [0, a, a + b] tf.cumsum([a, b, c], reverse=True) ==> [a + b + c, b + c, c] tf.cumsum([a, b, c], exclusive=True, reverse=True) ==> [b + c, c, 0]

分割ぶんかつ(Segmentation) 操作そうさ 描述 tf.segment_sum(data, segment_ids, name=None) 根ね据すえsegment_ids的てき分段ぶんだん计算各かく个片段だん的てき和わ 其中segment_ids为一个size与あずかdata第だい一いち维相同どう的てきtensor 其中id为int型がた数すう据すえ，最大さいだいid不ふ大だい于size c = tf.constant([[1,2,3,4], [-1,-2,-3,-4], [5,6,7,8]]) tf.segment_sum(c, tf.constant([0, 0, 1])) ==>[[0 0 0 0] [5 6 7 8]] 上面うわつら例れい子分こぶん为[0,1]两id,对相同どうid的てきdata相しょう应数据すえ进行求もとめ和わ, 并放入にゅう结果的てき相しょう应id中ちゅう， 且segment_ids只ただ升ます不ふ降くだ tf.segment_prod(data, segment_ids, name=None) 根ね据すえsegment_ids的てき分段ぶんだん计算各かく个片段だん的てき积 tf.segment_min(data, segment_ids, name=None) 根ね据すえsegment_ids的てき分段ぶんだん计算各かく个片段だん的てき最小さいしょう值 tf.segment_max(data, segment_ids, name=None) 根ね据すえsegment_ids的てき分段ぶんだん计算各かく个片段だん的てき最大さいだい值 tf.segment_mean(data, segment_ids, name=None) 根ね据すえsegment_ids的てき分段ぶんだん计算各かく个片段だん的てき平均へいきん值 tf.unsorted_segment_sum(data, segment_ids, num_segments, name=None) 与あずかtf.segment_sum函数かんすう类似， 不同ふどう在ざい于segment_ids中ちゅうid顺序可か以是无序的てき tf.sparse_segment_sum(data, indices, segment_ids, name=None) 输入进行稀まれ疏分割ぶんかつ求もとめ和わ c = tf.constant([[1,2,3,4], [-1,-2,-3,-4], [5,6,7,8]])

  1. Select two rows, one segment.

tf.sparse_segment_sum(c, tf.constant([0, 1]), tf.constant([0, 0])) ==> 0 0 0 0 对原data的てきindices为[0,1]位置いち的てき进行分割ぶんかつ， 并按照あきらsegment_ids的てき分ぶん组进行ぎょう求もとめ和わ 序列じょれつ比ひ较与索さく引提ひっさげ取ど(Sequence Comparison and Indexing) 操作そうさ 描述 tf.argmin(input, dimension, name=None) 返かえし回かいinput最小さいしょう值的索引さくいんindex tf.argmax(input, dimension, name=None) 返かえし回かいinput最大さいだい值的索引さくいんindex tf.listdiff(x, y, name=None) 返かえし回かいx，y中ちゅう不同ふどう值的索引さくいん tf.where(input, name=None) 返かえし回かいbool型がたtensor中ちゅう为True的てき位置いち

  1. ‘input’ tensor is
  2. [[True, False]
  3. [True, False]]
  4. ‘input’ 有ゆう两个’True’,那な么输出で两个坐标值.
  5. ‘input’的てきrank为2, 所以ゆえん每ごと个坐标为具有ぐゆう两个维度.

where(input) ==> [[0, 0], [1, 0]] tf.unique(x, name=None) 返かえし回かい一いち个元组tuple(y,idx)，y为x的てき列れつ表ひょう的てき唯ただ一化数据列表， idx为x数かず据すえ对应y元素げんそ的てきindex

  1. tensor ‘x’ is [1, 1, 2, 4, 4, 4, 7, 8, 8]

y, idx = unique(x) y ==> [1, 2, 4, 7, 8] idx ==> [0, 0, 1, 2, 2, 2, 3, 4, 4] tf.invert_permutation(x, name=None) 置おけ换x数かず据すえ与あずか索引さくいん的てき关系

  1. tensor x is [3, 4, 0, 2, 1]

invert_permutation(x) ==> [2, 4, 3, 0, 1] 神かみ经网络(Neural Network) 

   激げき活かつ函数かんすう（Activation Functions）

操作そうさ 描述 tf.nn.relu(features, name=None) 整流せいりゅう函数かんすう：max(features, 0) tf.nn.relu6(features, name=None) 以6为阈值的整流せいりゅう函数かんすう：min(max(features, 0), 6) tf.nn.elu(features, name=None) elu函数かんすう，exp(features) - 1 if < 0,否いや则features Exponential Linear Units (ELUs) tf.nn.softplus(features, name=None) 计算softplus：log(exp(features) + 1) tf.nn.dropout(x, keep_prob, noise_shape=None, seed=None, name=None) 计算dropout，keep_prob为keep概がい率りつ noise_shape为噪声ごえ的てきshape tf.nn.bias_add(value, bias, data_format=None, name=None) 对value加か一いち偏へん置おけ量りょう 此函数すう为tf.add的てき特殊とくしゅ情じょう况，bias仅为一いち维， 函数かんすう通どおり过广播机制せい进行与あずかvalue求もとめ和わ, 数かず据すえ格式かくしき可か以与value不同ふどう，返かえし回かい为与value相しょう同どう格式かくしき tf.sigmoid(x, name=None) y = 1 / (1 + exp(-x)) tf.tanh(x, name=None) 双そう曲きょく线切线激活かつ函数かんすう 

   卷まき积函数すう（Convolution）

操作そうさ 描述 tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, data_format=None, name=None) 在ざい给定的てき4D input与あずか filter下か计算2D卷まき积 输入shape为 [batch, height, width, in_channels] tf.nn.conv3d(input, filter, strides, padding, name=None) 在ざい给定的てき5D input与あずか filter下か计算3D卷まき积 输入shape为[batch, in_depth, in_height, in_width, in_channels] 

   池いけ化か函数かんすう（Pooling）

操作そうさ 描述 tf.nn.avg_pool(value, ksize, strides, padding, data_format=’NHWC’, name=None) 平均へいきん方式ほうしき池ち化か tf.nn.max_pool(value, ksize, strides, padding, data_format=’NHWC’, name=None) 最大さいだい值方法ほうほう池ち化か tf.nn.max_pool_with_argmax(input, ksize, strides, padding, Targmax=None, name=None) 返かえし回かい一个二维元组(output,argmax),最大さいだい值pooling，返かえし回かい最大さいだい值及其相应的索引さくいん tf.nn.avg_pool3d(input, ksize, strides, padding, name=None) 3D平均へいきん值pooling tf.nn.max_pool3d(input, ksize, strides, padding, name=None) 3D最大さいだい值pooling 

   数かず据すえ标准化か（Normalization）

操作そうさ 描述 tf.nn.l2_normalize(x, dim, epsilon=1e-12, name=None) 对维度どdim进行L2范式标准化か output = x / sqrt(max(sum(x**2), epsilon)) tf.nn.sufficient_statistics(x, axes, shift=None, keep_dims=False, name=None) 计算与あずか均ひとし值和方かた差さ有ゆう关的完全かんぜん统计量りょう 返かえし回かい4维元组,*元素げんそ个数，*元素げんそ总和，*元素げんそ的てき平方和へいほうわ，*shift结果 参さん见算法ほう介かい绍 tf.nn.normalize_moments(counts, mean_ss, variance_ss, shift, name=None) 基もと于完全ぜん统计量りょう计算均ひとし值和方かた差さ tf.nn.moments(x, axes, shift=None, name=None, keep_dims=False) 直接ちょくせつ计算均ひとし值与方かた差さ 

   损失函数かんすう（Losses）

操作そうさ 描述 tf.nn.l2_loss(t, name=None) output = sum(t ** 2) / 2 

   分ぶん类函数すう（Classification）

操作そうさ 描述 tf.nn.sigmoid_cross_entropy_with_logits (logits, targets, name=None)* 计算输入logits, targets的てき交叉こうさ熵 tf.nn.softmax(logits, name=None) 计算softmax softmax[i, j] = exp(logits[i, j]) / sum_j(exp(logits[i, j])) tf.nn.log_softmax(logits, name=None) logsoftmax[i, j] = logits[i, j] - log(sum(exp(logits[i]))) tf.nn.softmax_cross_entropy_with_logits (logits, labels, name=None) 计算logits和わlabels的てきsoftmax交叉こうさ熵 logits, labels必须为相同どう的てきshape与あずか数かず据すえ类型 tf.nn.sparse_softmax_cross_entropy_with_logits (logits, labels, name=None) 计算logits和わlabels的てきsoftmax交叉こうさ熵 tf.nn.weighted_cross_entropy_with_logits (logits, targets, pos_weight, name=None) 与あずかsigmoid_cross_entropy_with_logits()相似そうじ， 但ただし给正向こう样本损失加か了りょう权重pos_weight 

   符号ふごう嵌入かんにゅう（Embeddings）

操作そうさ 描述 tf.nn.embedding_lookup (params, ids, partition_strategy=’mod’, name=None, validate_indices=True) 根ね据すえ索引さくいんids查询embedding列れつ表ひょうparams中ちゅう的てきtensor值 如果len(params) > 1，id将しょう会かい安あん照あきらpartition_strategy策略さくりゃく进行分割ぶんかつ 1、如果partition_strategy为”mod”， id所しょ分配ぶんぱい到いた的てき位置いち为p = id % len(params) 比ひ如有13个ids，分ふん为5个位置いち，那な么分配ぶんぱい方案ほうあん为： [[0, 5, 10], [1, 6, 11], [2, 7, 12], [3, 8], [4, 9]] 2、如果partition_strategy为”div”,那な么分配ぶんぱい方案ほうあん为： [[0, 1, 2], [3, 4, 5], [6, 7, 8], [9, 10], [11, 12]] tf.nn.embedding_lookup_sparse(params, sp_ids, sp_weights, partition_strategy=’mod’, name=None, combiner=’mean’) 对给定じょう的てきids和わ权重查询embedding 1、sp_ids为一个N x M的てき稀まれ疏tensor， N为batch大小だいしょう，M为任意にんい，数すう据すえ类型int64 2、sp_weights的てきshape与あずかsp_ids的てき稀まれ疏tensor权重， 浮点类型，若わか为None，则权重じゅう为全’1’ 

   循环神しん经网络（Recurrent Neural Networks）

操作そうさ 描述 tf.nn.rnn(cell, inputs, initial_state=None, dtype=None, sequence_length=None, scope=None) 基もと于RNNCell类的实例cell建立こんりゅう循环神しん经网络 tf.nn.dynamic_rnn(cell, inputs, sequence_length=None, initial_state=None, dtype=None, parallel_iterations=None, swap_memory=False, time_major=False, scope=None) 基もと于RNNCell类的实例cell建立こんりゅう动态循环神しん经网络 与あずか一般いっぱんrnn不同ふどう的てき是ぜ，该函数すう会かい根ね据すえ输入动态展てん开 返かえし回かい(outputs,state) tf.nn.state_saving_rnn(cell, inputs, state_saver, state_name, sequence_length=None, scope=None) 可か储存调试状じょう态的RNN网络 tf.nn.bidirectional_rnn(cell_fw, cell_bw, inputs, initial_state_fw=None, initial_state_bw=None, dtype=None, sequence_length=None, scope=None) 双そう向こうRNN, 返かえし回かい一いち个3元げん组tuple (outputs, output_state_fw, output_state_bw) 

   — tf.nn.rnn简要介かい绍— 
   cell: 一いち个RNNCell实例 
   inputs: 一いち个shape为[batch_size, input_size]的てきtensor 
   initial_state: 为RNN的てきstate设定初はつ值，可か选 
   sequence_length：制定せいてい输入的てき每ごと一个序列的长度，size为[batch_size],值范围为[0, T)的てきint型がた数すう据すえ 
   其中T为输入いれ数すう据すえ序列じょれつ的てき长度 
   @ 
   @针对输入batch中ちゅう序列じょれつ长度不同ふどう，所しょ设置的てき动态计算机つくえ制せい 
   @对于在ざい时间t，和かずbatch的てきb行くだり，有ゆう 
   (output, state)(b, t) = ? (zeros(cell.output_size), states(b, sequence_length(b) - 1)) : cell(input(b, t), state(b, t - 1))

   求もとめ值网络（Evaluation）

操作そうさ 描述 tf.nn.top_k(input, k=1, sorted=True, name=None) 返かえし回かい前まえk大だい的てき值及其对应的索引さくいん tf.nn.in_top_k(predictions, targets, k, name=None) 返かえし回かい判断はんだん是ぜ否ひtargets索引さくいん的てきpredictions相しょう应的值 是ぜ否いや在ざい在ざいpredictions前まえk个位置いち中ちゅう， 返かえし回数かいすう据すえ类型为bool类型，len与あずかpredictions同どう 

   监督候こう选采样网络（Candidate Sampling）

对于有ゆう巨きょ大量たいりょう的てき多分たぶん类与多た标签模型もけい，如果使用しよう全ぜん连接softmax将しょう会かい占うらない用よう大量たいりょう的てき时间与空そら间资源げん，所以ゆえん采さい用よう候こう选采样方法ほう仅使用しよう一小部分类别与标签作为监督以加速训练。 操作そうさ 描述 Sampled Loss Functions tf.nn.nce_loss(weights, biases, inputs, labels, num_sampled, num_classes, num_true=1, sampled_values=None, remove_accidental_hits=False, partition_strategy=’mod’, name=’nce_loss’) 返かえし回かいnoise-contrastive的てき训练损失结果 tf.nn.sampled_softmax_loss(weights, biases, inputs, labels, num_sampled, num_classes, num_true=1, sampled_values=None, remove_accidental_hits=True, partition_strategy=’mod’, name=’sampled_softmax_loss’) 返かえし回かいsampled softmax的てき训练损失 参考さんこう- Jean et al., 2014第だい3部分ぶぶん Candidate Samplers tf.nn.uniform_candidate_sampler(true_classes, num_true, num_sampled, unique, range_max, seed=None, name=None) 通どおり过均匀分布ぶんぷ的てき采さい样集合しゅうごう 返かえし回かい三さん元げんtuple 1、sampled_candidates 候こう选集合しゅうごう。 2、期き望もち的てきtrue_classes个数，为浮点てん值 3、期き望もち的てきsampled_candidates个数，为浮点てん值 tf.nn.log_uniform_candidate_sampler(true_classes, num_true, num_sampled, unique, range_max, seed=None, name=None) 通どおり过log均ひとし匀分布ぶんぷ的てき采さい样集合しゅうごう，返かえし回かい三さん元げんtuple tf.nn.learned_unigram_candidate_sampler (true_classes, num_true, num_sampled, unique, range_max, seed=None, name=None) 根ね据すえ在ざい训练过程中学ちゅうがく习到的てき分布ぶんぷ状じょう况进行ぎょう采さい样 返かえし回かい三さん元げんtuple tf.nn.fixed_unigram_candidate_sampler(true_classes, num_true, num_sampled, unique, range_max, vocab_file=”, distortion=1.0, num_reserved_ids=0, num_shards=1, shard=0, unigrams=(), seed=None, name=None) 基もと于所提供ていきょう的てき基本きほん分布ぶんぷ进行采さい样 保存ほぞん与あずか恢复变量 操作そうさ 描述 类tf.train.Saver(Saving and Restoring Variables) tf.train.Saver.__init__(var_list=None, reshape=False, sharded=False, max_to_keep=5, keep_checkpoint_every_n_hours=10000.0, name=None, restore_sequentially=False, saver_def=None, builder=None) 创建一いち个存储器Saver var_list定てい义需要よう存そん储和恢复的てき变量 tf.train.Saver.save(sess, save_path, global_step=None, latest_filename=None, meta_graph_suffix=’meta’, write_meta_graph=True) 保存ほぞん变量 tf.train.Saver.restore(sess, save_path) 恢复变量 tf.train.Saver.last_checkpoints 列れつ出で最近さいきん未み删除的てきcheckpoint 文ぶん件名けんめい tf.train.Saver.set_last_checkpoints(last_checkpoints) 设置checkpoint文ぶん件名けんめい列れつ表ひょう tf.train.Saver.set_last_checkpoints_with_time(last_checkpoints_with_time) 设置checkpoint文ぶん件名けんめい列れつ表ひょう和わ时间戳

设备

[编辑]
with tf.device("/gpu:0"): 指定してい一个计算设备，作用さよう域いき中ちゅう的てき代だい码在该设备上执行。

例れい子こ

[编辑]

例れい：Hello World。 

import tensorflow as tf
hw = tf.constant("Hello World")
with tf.Session() as sess:
 print(sess.run(hw))

例れい：两个矩のり阵相乘そうじょう。 

import tensorflow as tf

# Build a dataflow graph.
c = tf.constant([[1.0, 2.0], [3.0, 4.0]])
d = tf.constant([[1.0, 1.0], [0.0, 1.0]])
e = tf.matmul(c, d)

# Construct a `Session` to execute the graph.
with tf.Session() as sess:
  # Execute the graph and store the value that `e` represents in `result`.
  result = sess.run(e)

print(result)

例れい：使用しようFeeding在ざい执行时传入にゅう参さん数すう 

import tensorflow as tf

# Build a dataflow graph.
c = tf.constant([[1.0, 2.0], [3.0, 4.0]])
d = tf.constant([[1.0, 1.0], [0.0, 1.0]])
e = tf.matmul(c, d)

# Construct a `Session` to execute the graph.
sess = tf.Session()

# Execute the graph and store the value that `e` represents in `result`.
result = sess.run(e,feed_dict={c:[[0.0, 0.0], [3.0, 4.0]]})
print(result)
sess.close()

TensorFlow的てき一大特色是其图中的节点可以是带状态的。

例れい：使用しよう占うらない位い符ふ <source lang="python"> input_placeholder = tf.placeholder(tf.int32) sess = tf.Session() print (sess.run(input_placeholder, feed_dict={input_placeholder: 2})) sess.close() </syntaxhighlight>

例れい：使用しよう变量、给变量りょう赋值

使用しようtf.get_variable()创建变量。tf.get_variable() 的てき前ぜん两个参さん数すう是ぜ必需ひつじゅ的てき，其余参さん数すう是ぜ可か选的。tf.get_variable(name，shape)。name 是ぜ一个唯一标识这个变量对象的字符串。它必须相对于全局ぜんきょく图是唯一ゆいいつ的てき，所以ゆえん要よう明あかり了りょう你使用しよう过的所有しょゆう命名めいめい，确保没ぼつ有ゆう重じゅう复。shape 是ぜ与あずか张量形状けいじょう对应的てき整数せいすう数すう组，按顺序じょ每ごと个维度ど只ただ有ゆう一いち个整数すう。一いち个 3x8 矩のり阵形状じょう是ぜ [3, 8]。要よう创建一いち个标量りょう，就需要よう使用しよう形状けいじょう为 [] 的てき空列くうれつ表ひょう。有ゆう两种将はた值放入にゅう变量的てき方法ほうほう：初はつ始はじめ化か器き和わ tf.assign()。初はつ始はじめ化か器き应该把わ声明せいめい（tf.constant_initializer）与あずか执行初はつ始はじめ化か（tf.global_variables_initializer）两种节点配合はいごう使用しよう。 

import tensorflow as tf
count_variable = tf.get_variable("count", [])
zero_node = tf.constant(0.)
assign_node = tf.assign(count_variable, zero_node)
sess = tf.Session()
sess.run(assign_node)
print (sess.run(count_variable))
 
const_init_node = tf.constant_initializer(0.)
count_variable1 = tf.get_variable("count1", [], initializer=const_init_node)
init = tf.global_variables_initializer()
sess.run(init)
print (sess.run(count_variable1))
sess.close()

例れい子こ：tf.Variable() 和わtf.get_variable()的いくわ区く别 <source lang="python"> import tensorflow as tf

with tf.variable_scope("scope1"): 

   w1 = tf.get_variable("w1", shape=[])
   w2 = tf.Variable(0.0, name="w2")

with tf.variable_scope("scope1", reuse=True): 

   w1_p = tf.get_variable("w1", shape=[])
   w2_p = tf.Variable(1.0, name="w2")

print(w1 is w1_p, w2 is w2_p)

  1. 输出
  2. True False

</syntaxhighlight>

例れい：带状态的图 

import tensorflow as tf

# Build a dataflow graph.
count = tf.Variable([0],trainable=False);
init_op = tf.global_variables_initializer()
update_count = count.assign_add(tf.constant([2]))

# Construct a `Session` to execute the graph.
sess = tf.Session()
sess.run(init_op)

for step in range(10):
    result = sess.run(update_count)
    print("step %d: count = %g" % (step,result))

sess.close()

例れい：梯はしご度ど计算 

import tensorflow as tf

# Build a dataflow graph.
filename_queue = tf.train.string_input_producer(['1.txt'],num_epochs=1)
reader = tf.TextLineReader()
key,value = reader.read(filename_queue)
num = tf.decode_csv(value,record_defaults=[[0]])
x = tf.Variable([0])
loss = x * num
grads = tf.gradients([loss],x)
grad_x = grads[0]

def train_fn(sess):
  train_fn.counter += 1
  result = sess.run(grad_x)
  print("step %d: grad = %g" % (train_fn.counter,result))

train_fn.counter = 0

sv = tf.train.Supervisor()
tf.train.basic_train_loop(sv,train_fn)

假かり设1.txt的てき内容ないよう为： 

3
2
5
8

那な么上述じょうじゅつ程ほど序じょ的てき输出应该为： 

step 1: grad = 3
step 2: grad = 2
step 3: grad = 5
step 4: grad = 8
检索自じ“https://zh.wikibooks.org/w/index.php?title=TensorFlow&oldid=133996”