process for developing method

[kenoharada]

綺麗にスクリプト化する前の時点で、提案手法の良さをどうミニマムに検証していくか、transformer vs bigramモデルで検証

• データ確認
• ベースライン作成
  • ngram
  • 学習ベースでのbi-gramモデル
• transformer

機械学習モデルの開発時のテストとして、以下を意識

• shapeの入力・出力確認
• random guessでのロスと大きな乖離がないか
• ちっちゃいデータにoverfitできるだけのキャパシティがあるか
• 手法として推しの性能が確認できるか
  • loss per tokenでの確認

時間あったらやりたいこと

• overfit後のgenelizeをどう戦略的にやるかの整理
• scaling lawを確認しながらの性能見積もり

議論したい点

• 手法開発時に他に意識すべきポイントはあるか
• 私はこうやっている、的なディスカッション

サーベイした時に良かった資料

• A Recipe for Training Neural Networks
  
• Harvard CS197 AI Research Experiences
• Unit tests for machine learning research
• CS 329S: Machine Learning Systems Design

[kenoharada]

• どのタイミングでnotebookからscriptに行くか
  • 飯山くん
    • notebook使わない
  • 山下さん
    • RL系はnotebookだとめんどくさいところがある
    • 共同研究のレポジトリはどんな感じ？
      • T社の時: 既存研究をどう活かすか、どう組み込むか、という感じなので基本notebook使わない、使うとしても前処理の確認か？
      • finetuneする時とかは？基本は既存のコードベースのデータローダー部分を変えるくらい
  • 谷口さん
    • colabから入る、モデルファイルも全部書く、やってMNISTの実験
    • pythonファイルに書き直す時はどういうモチベ？
      • 分散学習したい時
      • ABCIで動かしたい時
      • 基本必要に駆られた時
  • 最初からscriptする人もいる
  • コードベースがすでにあるかどうかにも依存しそう
• 共有サーバーでmulti-nodeの検証できる？環境依存の部分はありそうだが