Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

check what is sigma in RIC in artificial scenarios, how does it compare to sigma from SNR #55

Open
SzymonNowakowski opened this issue Dec 8, 2022 · 2 comments
Assignees
Labels
question Further information is requested

Comments

@SzymonNowakowski
Copy link
Owner

No description provided.

@SzymonNowakowski
Copy link
Owner Author

SzymonNowakowski commented Jan 13, 2023

Komentarz Wojtka z maila: jeszcze raz patrzylem na wyniki eksperymentow z aistats,
zwlaszcza na supermodele. W przypadku scenariusza 1 (ale tez 2
i 3) wyniki dla PDMR i DMR sa bardzo dobre, to znaczy odsetek
"bycia nadmodelem" modelu prawdziwego ladnie rosnie do jedynki.
Jednakze, gdy popatrzymy na prawidlowa selekcje, to estymatory sa
bardzo slabe. Zatem mamy dobry screening, ale nie potrafimy odrzucic
wszystkich nieistotnych poziomow. Przyczyna tego moze byc niedoszacowanie
wariancji w GICu - rozmawialismy o tym w Bedlewie. Mianowicie GIC to
RSS_M + df_Mc log{p}*s^2,
gdzie s^2 jest estymatorem wariancji w "najwiekszym modelu". Jesli ten najwiekszy model jest dosc duzy (porownujac z modelem prawdziwym oraz 'n'), to estymator wariancji czesto jest zbyt maly, czyli kara w GICu za mala, czyli wybrany model za duzy. Taka sytuacje zauwazylem dla predyktorow ciaglych i podejrzewam, ze zachodzi ona rowniez dla jakosciowych. Czy znalazlbys troche czasu, aby sie temu przyjrzec?
To znaczy porownac s^2 z prawdziwa sigma^2 z SNR

@SzymonNowakowski
Copy link
Owner Author

SzymonNowakowski commented Jan 19, 2023

W załączonym pliku s2_checkup.pdf pokazuję rozkład średniej (estymowane s2)/(sigma2 dla szumu z SNR) w różnych scenariuszach 1-6 i dla różnych SNR i $\rho$

@SzymonNowakowski SzymonNowakowski self-assigned this Jan 30, 2023
@SzymonNowakowski SzymonNowakowski added the question Further information is requested label Jan 30, 2023
@SzymonNowakowski SzymonNowakowski pinned this issue Aug 7, 2023
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
question Further information is requested
Projects
None yet
Development

No branches or pull requests

1 participant