[Lab 2] head size

[lathanasiadis]

Στον κώδικα που μας δίνεται το head_size υπολογίζεται ως head_size = dim // self.n_head. Όμως η διάσταση των embeddings μας (50) δεν μπορεί να διαιρεθεί χωρίς υπόλοιπο με πολλά πιθανά n_head (π.χ 3, 4).

Για να λύσουμε αυτό το θέμα, μπορούμε να ορίσουμε head_size = dim και το layer προβολής να έχει διάσταση εισόδου n_head * head_size; Ή δεν χρειάζεται, οπότε δουλεύουμε μόνο για n_head = 1 και 2;

[pxaris]

Ναι, μπορείτε να κάνετε οποιοδήποτε λύση από αυτές που λέτε (ή να δοκιμάσετε για n_head = 5 επίσης). Γενικά, ενθαρρύνουμε τον πειραματισμό με ιδέες σαν κι αυτή που αναφέρετε, οι οποίες μπορούν να συγκριθούν και με τις προτεινόμενες υλοποιήσεις στην αναφορά σας.