Lab 3 - 2.3 Forward Pass - Embeddings

[manos1996]

Καλησπέρα,

Θα ήθελα να ρωτήσω σχετικά με την αναπαράσταση των προτάσεων βάσει του Embedding Layer του δικτύου. Από ότι κατάλαβα, αν έχουμε θέσει π.χ max_length = 5, τότε ένα στοιχείο [10, 20, 30, 0, 0], αναπαριστά μία πρόταση τριών λέξεων με ids 10, 20 και 30 αντίστοιχα. Κάθε λέξη έχει ένα embedding vector π.χ. 50 διαστάσεων, οπότε ορίζουμε την πρόταση ως το μέσο διάνυσμα των τριών αυτών embedding διανυσμάτων. Παρόλα αυτά, λίγο πιο κάτω λέτε ότι στο παράδειγμα [3, 5, 2, 8, 0, 0, 0, 0], ο μέσος όρος θα πρέπει να είναι 4.5. Δεν έχω καταλάβει γιατί θα πρέπει να υπολογίσουμε τον μέσο όρο των αρχικών διανυσμάτων. Οι τιμες αυτές δεν αντιστοιχούν απλά σε ids του λεξικού?

[georgepar]

ναι το μέσο όρο των εξόδων του embedding layer πρέπει να παρετε.

Αυτό το παράδειγμα καταλαβαίνω γιατί μπορεί να μπερδέψει, αλλά δεν έχει σχέση με τα ids. Είναι ενα απλό παράδειγμα για να δείξει ότι δεν πρέπει να λαμβάνετε τα padded στοιχεία υπόψιν σας.