Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Difficulty V2 #1387

Open
amylase opened this issue Mar 26, 2023 · 0 comments
Open

Difficulty V2 #1387

amylase opened this issue Mar 26, 2023 · 0 comments

Comments

@amylase
Copy link
Contributor

amylase commented Mar 26, 2023

概要: https://docs.google.com/presentation/d/1EM9Msl3NsztYGzRpulcCMKDHAD0uPDP7H1SbQYSZVzs/edit?usp=sharing

次の変更を行います。

  • 解答時間モデルでコンテスト時間による打ち切りを考慮するために生存時間分析する
  • 難易度の定義を「60分以内に50%の確率で解ける内部レーティング」に変更し、改善された解答時間モデルでこれを推定する

これにより以下の課題を解決できます。

  • コンテスト時間が違うことにより難易度の基準がずれる問題
  • 解答時間モデルが打ち切りを考慮していなかったことで推定値が小さくなる方向にバイアスがかかっていた問題

概要の資料では「直すつもりはない」としていたが issue を立てた理由について

  • issue を実際にやるやらないは別として、解決策が分かったのでしかるべき場所に少なくとも記録しておくべきだろうと思ったので。
  • Twitterで発表の感想を 監視 調査していたら、意外と変えてもよいという意見があったので。
    • 会場にいたのはある程度強い人が多いのでサンプルとしては偏っているかもしれない
  • https://twitter.com/chokudai/status/1639956737099984896
    • 独立サービスを謳う AtCoder Problems が公式の人の意見を参考に実装を進めるのはやや違和感がありますが、chokudai さんは difficulty にまつわる誤解を解消するなどしてくださっているので。

関連 issues: #820, #821
これらの issues はコンテスト時間中に正解できなかった人たちの解答時間が分からずモデルが推定できないという課題を抱えていましたが、生存時間分析について勉強して解決策が分かったので、この issue を解決できれば同時に close できます。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

1 participant