인프런 커뮤니티 질문&답변

ANN 강의 중 cross_entropy 정의를 

class ANN_model(tf.keras.Model):

    

    def __init__(self):

        super(ANN_model, self).__init__()

        self.hidden_layer_1 = tf.keras.layers.Dense(hidden1_size, activation = 'relu',

                                                   kernel_initializer = random_normal_initializer(),

                                                   bias_initializer = random_normal_initializer())

        

        self.hidden_layer_2 = tf.keras.layers.Dense(hidden2_size, activation = 'relu',

                                                   kernel_initializer = random_normal_initializer(),

                                                   bias_initializer = random_normal_initializer())

        

        self.output_layer = tf.keras.layers.Dense(output_size, activation = None,

                                                   kernel_initializer = random_normal_initializer(),

                                                   bias_initializer = random_normal_initializer())

        

    def call(self, x):

        

        H1_output = self.hidden_layer_1(x)

        H2_output = self.hidden_layer_2(H1_output)

        logits = self.output_layer(H2_output)

        

        return logits

    

@tf.function

def cross_entropy(logits, y):

    return tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits = logits, labels = y))

     

하시더라구요. 저도 이 코드를 따라서 실행하니 잘 수행되었습니다.

그런데 이전 강의와 같이

def call(self, x):

        

        H1_output = self.hidden_layer_1(x)

        H2_output = self.hidden_layer_2(H1_output)

        logits = self.output_layer(H2_output)

        

        return tf.nn.softmax(logits)

    

@tf.function

def cross_entropy(y_pred, y):

   reutrn  tf.reduce_mean(-tf.reduce_sum(y * tf.math.log(y_pred), axis = [1]))

으로 수행하니 loss가 nan이 뜨더라구요.

 tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits = logits, labels = y))

와  tf.reduce_mean(-tf.reduce_sum(y * tf.math.log(y_pred), axis = [1]))는 같은 코드가 아닌가요?