You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
Στον κώδικα που μας δίνεται το head_size υπολογίζεται ως head_size = dim // self.n_head. Όμως η διάσταση των embeddings μας (50) δεν μπορεί να διαιρεθεί χωρίς υπόλοιπο με πολλά πιθανά n_head (π.χ 3, 4).
Για να λύσουμε αυτό το θέμα, μπορούμε να ορίσουμε head_size = dim και το layer προβολής να έχει διάσταση εισόδου n_head * head_size; Ή δεν χρειάζεται, οπότε δουλεύουμε μόνο για n_head = 1 και 2;
The text was updated successfully, but these errors were encountered:
Ναι, μπορείτε να κάνετε οποιοδήποτε λύση από αυτές που λέτε (ή να δοκιμάσετε για n_head = 5 επίσης). Γενικά, ενθαρρύνουμε τον πειραματισμό με ιδέες σαν κι αυτή που αναφέρετε, οι οποίες μπορούν να συγκριθούν και με τις προτεινόμενες υλοποιήσεις στην αναφορά σας.
Στον κώδικα που μας δίνεται το head_size υπολογίζεται ως
head_size = dim // self.n_head
. Όμως η διάσταση των embeddings μας (50) δεν μπορεί να διαιρεθεί χωρίς υπόλοιπο με πολλά πιθανά n_head (π.χ 3, 4).Για να λύσουμε αυτό το θέμα, μπορούμε να ορίσουμε
head_size = dim
και το layer προβολής να έχει διάσταση εισόδουn_head * head_size
; Ή δεν χρειάζεται, οπότε δουλεύουμε μόνο για n_head = 1 και 2;The text was updated successfully, but these errors were encountered: