我试图限制tf会话使用的核心数量,但它不起作用.这就是我初始化会话的方式:
sess = tf.Session(config=tf.ConfigProto(inter_op_parallelism_threads=1, intra_op_parallelism_threads=1, use_per_session_threads=True))
该系统有12个核心/ 24个线程,我可以看到其中40-60%在任何给定的时间点使用.该系统还有8个GPU,但我构建了整个图形tf.device('/cpu:0')
.
更新:为了澄清,图表本身是一个简单的LSTM-RNN,它与tf源代码中的示例非常接近.为了完整性,这里是完整的图表:
node_input = tf.placeholder(tf.float32, [n_steps, batch_size, input_size], name = 'input') list_input = [tf.reshape(i, (batch_size, input_size)) for i in tf.split(0, n_steps, node_input)] node_target = tf.placeholder(tf.float32, [n_steps, batch_size, output_size], name = 'target') node_target_flattened = tf.reshape(tf.transpose(node_target, perm = [1, 0, 2]), [-1, output_size]) node_max_length = tf.placeholder(tf.int32, name = 'batch_max_length') node_cell_initializer = tf.random_uniform_initializer(-0.1, 0.1) node_cell = LSTMCell(state_size, input_size, initializer = node_cell_initializer) node_initial_state = node_cell.zero_state(batch_size, tf.float32) nodes_output, nodes_state = rnn(node_cell, list_input, initial_state = node_initial_state, sequence_length = node_max_length) node_output_flattened = tf.reshape(tf.concat(1, nodes_output), [-1, state_size]) node_softmax_w = tf.Variable(tf.random_uniform([state_size, output_size]), name = 'softmax_w') node_softmax_b = tf.Variable(tf.zeros([output_size]), name = 'softmax_b') node_logit = tf.matmul(node_output_flattened, node_softmax_w) + node_softmax_b node_cross_entropy = tf.nn.softmax_cross_entropy_with_logits(node_logit, node_target_flattened, name = 'cross_entropy') node_loss = tf.reduce_mean(node_cross_entropy, name = 'loss') node_optimizer = tf.train.AdamOptimizer().minimize(node_loss) node_op_initializer = tf.initialize_all_variables()
需要注意的一件重要的事情是,如果我第一次打电话tf.Session
,我通过在合适的参数,那么会不会只在一个内核上运行.问题是在后续运行中,我无法更改行为,即使我使用use_per_session_threads
哪个应该特别允许特定于会话的设置.即使在我关闭会话sess.close()
并使用新选项启动新会话之后,原始行为仍保持不变,除非我重新启动python内核(这非常昂贵,因为加载我的数据需要将近一个小时).