稀疏自編碼

自編碼器(Auto-Encoder)顧名思義，即可以利用自身的高階特征編碼自己。自編碼器也是一種神經網絡，他的輸入和輸出是一致的，他借助稀疏編碼的思想，目標是使用稀疏的一些高階特征重新組合來重構自己。

因此他的特征十分明顯：

• 期望輸入與輸出一致
• 希望使用高階特征來重構自己，而不只是復制像素點

自編碼器的輸入節點和輸出節點的數量是一致的，但如果只是單純的逐個復制輸入節點則沒有意義，像前面提到的，自編碼器通常希望使用少量稀疏的高維特征來重構輸入，所以加入幾種限制：

• (1)中間隱含層節點的數量。如果中間隱含節點數量小于輸入/輸出的數量，則為一個降維的過程。此時不可能出現復制所有節點的情況，只能學習數據中最重要的特征，將不太相關的特征去除。如果再加一個L1正則，則可以根據懲罰系數控制隱含節點的稀疏程度，懲罰系數越大，學到特征越稀疏
• (2)給數據加入噪聲，變成了Denoising AutoEncoder(去噪自編碼器)，將從噪聲中學習出數據的特征。此時只有學習數據頻繁出現的模式和結構，將噪聲去除，才可以復原數據。

去噪自編碼器中最常使用的噪聲有：

• 加性高斯噪聲(Additive Gaussian Noise，AGN)
• 用Masking Noise，即有隨機遮擋的噪聲
• Variational AutoEncoder(VAE)

Xavier initialization

特點：根據某一層網絡的輸入、輸出節點數量自動調整最合適的分布。Xavier讓權重滿足0均值，同時方差為，分布可以是均勻分布或者高斯分布。

tf.random_uniform 創造一個 范圍內的均勻分布

def xavier_init(fan_in, fan_out, constant=1): low = -constant * np.sqrt( 6.0 / (fan_in + fan_out)) high = constant * np.sqrt( 6.0 / (fan_in + fan_out)) return tf.random_uniform( (fan_in, fan_out), minval=low, maxval = high, dtype=tf.float32 )

稀疏自編碼可以被解釋為

• 如果當神經元的輸出接近于1的時候我們認為它被激活，而輸出接近于0的時候認為它被抑制，那么使得神經元大部分的時間都是被抑制的限制則被稱作稀疏性限制。這里我們假設的神經元的激活函數是sigmoid函數。如果你使用tanh作為激活函數的話，當神經元輸出為-1的時候，我們認為神經元是被抑制的。

只有一個隱藏層的稀疏自編碼結構如下圖

這時候隱藏層則是原始特征的另一種表達形式。

在推薦中的應用

一個大型推薦系統，物品的數量級為千萬，用戶的數量級為億。使用稀疏編碼進行數據降維后，用戶或者物品均可用一組低維基向量表征，便于存儲計算，可供在線層實時調用。

在推薦實踐中，我們主要使用稀疏編碼的方法，輸入用戶點擊/收藏/購買數據，訓練出物品及用戶的特征向量，具體構造自編碼網絡的方法如下：

輸入層：每首物品的輸入向量為 ，其中表示用戶是否點擊/收藏/購買這個物品。輸入矩陣為維(包含一個截距項)，為用戶數量，為物品數量。

輸出層：指定為和輸出層一致(無截距項)。

隱藏層：強制指定神經元的數量為個，此時隱藏層其實就是物品的低維特征向量，矩陣為()為特征維數(包含一個截距項1，之所以保留，是為了可以重構出輸出層)，為物品數量。

隱藏層到輸出層的連接。一般的神經網絡中，往往會忽略隱藏層到輸出層的連接權重的意義，只是將其作為一個輸出預測的分類器；但在自編碼網絡中，連接層是有實際意義的。這些權重作用是將物品特征向量映射到用戶是否聽過/喜歡該物品，其實可就是用戶的低維特征，所以該稀疏網絡同樣可以學習到用戶的特征矩陣。值得注意的是，當網絡結構為3層時，其目標函數與svd基本一致，算法上是相通的。

tf實現

代碼閱讀不便，可以參考blog：https://thinkgamer.blog.csdn.net/article/details/106413077

1、引入需要的package

import numpy as npimport sklearn.preprocessing as prepimport tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data

2、定義個Xavier初始化器

# 定義一個 Xavier初始化器，讓權重不大不小，正好合適def xavier_init(fan_in, fan_out, constant=1): low = -constant * np.sqrt(6.0 / (fan_in + fan_out)) high = constant * np.sqrt(6.0 / (fan_in + fan_out)) weight = tf.random_uniform( (fan_in, fan_out), minval=low, maxval=high, dtype=tf.float32) return weight

3、構建融合高斯噪音的稀疏自編碼

class AdditiveGaussianNoiseAutoEncoder(object): # 構造函數 def __init__(self, n_input, n_hidden, transfer_function = tf.nn.softplus, optiminzer = tf.train.AdamOptimizer(), scale = 0.1): # 輸入變量數 self.n_input = n_input # 隱含層節點數 self.n_hidden = n_hidden # 隱含層激活函數 self.transfer_func = transfer_function # 優化器，默認使用Adma self.optimizer = optiminzer # 高斯噪聲系數，默認使用0.1 self.scale = tf.placeholder(tf.float32) self.training_scale = scale # 初始化神經網絡參數 network_weights = self._initialize_weights() # 獲取神經網絡參數 self.weights = network_weights # 初始化輸入的數據， 數據的維度為 n_input 列，行數未知 self.x = tf.placeholder(tf.float32, [None, self.n_input]) # 計算隱藏層值，輸入數據為融入噪聲的數據，然后與w1權重相乘，再加上偏置 self.hidden = self.transfer_func( tf.add( tf.matmul( self.x + scale * tf.random_normal((self.n_input,)), self.weights["w1"] ), self.weights["b1"] ) ) # 計算預測結果值，將隱藏層的輸出結果與w2相乘，再加上偏置 self.reconstruction = tf.add( tf.matmul( self.hidden, self.weights["w2"] ), self.weights["b2"] ) # 計算平方損失函數(Squared Error) subtract：計算差值 self.cost = 0.5 * tf.reduce_mean( tf.pow( tf.subtract( self.reconstruction, self.x ), 2.0 ) ) # 定義優化方法，這里默認使用的是Adma self.optimizer = optiminzer.minimize(self.cost) init = tf.global_variables_initializer() self.sess = tf.Session() self.sess.run(init) # 權值初始化函數 def _initialize_weights(self): all_weights = dict() all_weights["w1"] = tf.Variable( xavier_init(self.n_input, self.n_hidden) ) all_weights["b1"] = tf.Variable( tf.zeros([self.n_hidden], dtype = tf.float32) ) all_weights["w2"] = tf.Variable( tf.zeros([self.n_hidden, self.n_input], dtype = tf.float32) ) all_weights["b2"] = tf.Variable( tf.zeros([self.n_input], dtype = tf.float32) ) return all_weights # 計算損失函數和優化器 def partial_fit(self, X): cost, opt = self.sess.run( (self.cost, self.optimizer), feed_dict= {self.x: X, self.scale: self.training_scale} ) return cost # 計算損失函數 def calc_total_cost(self, X): return self.sess.run( self.cost, feed_dict= {self.x: X, self.scale: self.training_scale} ) # 輸出自編碼器隱含層的輸出結果，用來提取高階特征，是三層(輸入層，隱含層，輸出層)的前半部分 def transform(self, X): return self.sess.run( self.hidden, feed_dict= {self.x: X, self.scale: self.training_scale} ) # 將隱含層的輸出作為結果，復原原數據，是整體拆分的后半部分 def generate(self, hidden = None): if hidden is None: hidden = np.random.normal(size= self.weights["b1"]) return self.sess.run( self.reconstruction, feed_dict= {self.hidden: hidden} ) # 構建整個流程，包括：transform和generate def reconstruct(self, X): return self.sess.run( self.reconstruction, feed_dict={self.x: X, self.scale: self.training_scale} ) # 獲取權重w1 def getWeights(self): return self.sess.run(self.weights['w1']) # 獲取偏值b1 def getBiases(self): return self.sess.run(self.weights['b1'])

4、定義模型訓練類

class ModelTrain: def __init__(self, training_epochs = 20, batch_size = 128, display_step = 1): self.mnist = self.load_data() # 格式化訓練集和測試集 self.x_train, self.x_test = self.standard_scale(self.mnist.train.images, self.mnist.test.images) # 總的訓練樣本數 self.n_samples = int(self.mnist.train.num_examples) # 訓練次數 self.training_epochs = training_epochs # 每次訓練的批大小 self.batch_size = batch_size # 設置每多少輪顯示一次loss值 self.display_step = display_step # 加載數據集 def load_data(self): return input_data.read_data_sets("../MNIST_data", one_hot=True) # 數據標準化處理函數 def standard_scale(self, x_train, x_test): # StandardScaler: z = (x - u) / s (u 均值， s 標準差) preprocessor = prep.StandardScaler().fit(x_train) x_train = preprocessor.transform(x_train) x_test = preprocessor.transform(x_test) return x_train, x_test # 最大限度不重復的獲取數據 def get_random_block_from_data(self, data, batch_size): start_index = np.random.randint(0, len(data) - batch_size) return data[start_index:(start_index + batch_size)]

5、主函數調用進行模型訓練

if __name__ == "__main__": autoencoder = AdditiveGaussianNoiseAutoEncoder( n_input=784, n_hidden= 200, transfer_function=tf.nn.softplus, optiminzer= tf.train.AdamOptimizer(learning_rate=0.01), scale= 0.01 ) modeltrain = ModelTrain(training_epochs= 20, batch_size= 128, display_step= 1) for epoch in range(modeltrain.training_epochs): avg_cost = 0 # 一共計算多少次數據集 total_bacth = int(modeltrain.n_samples / modeltrain.batch_size) for i in range(total_bacth): batch_x = modeltrain.get_random_block_from_data(modeltrain.x_train, modeltrain.batch_size) cost = autoencoder.partial_fit(batch_x) avg_cost += cost / modeltrain.n_samples * modeltrain.batch_size if epoch % modeltrain.display_step == 0: print("Epoch:", '%04d' % (epoch + 1), "cost=", "{:.9f}".format(avg_cost)) print("Total cost: " + str(autoencoder.calc_total_cost(modeltrain.x_test)))創作不易，點個“在看”鼓勵鼓勵吧

總結

以上是生活随笔為你收集整理的稀疏自编码器_基于tf实现稀疏自编码和在推荐中的应用的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。