献立推薦モデル

担当者，編集者：森雅也

目的

• 食材画像から作れそうな料理の大まかなクラスを予測するモデルを構築する
• 予測したクラスから楽天レシピAPIを用いることで料理の詳細(URL)を返すコードを書く

モデルの概要

• モデルはResNetを転移学習させることで構築

• 出力層を変更しfine-tuning

• 出力(献立クラス)は4つ

  • class1：定番の肉料理(肉類＋野菜類)
  • class2：定番の魚料理(魚類＋野菜類)
  • class3：鍋料理(肉類＋魚類＋野菜類)
  • class4：サラダ(野菜類)

• 入力画像(学習データ)は2400枚(テストデータは別で用意する)

  • originalが10枚
  • 左右反転が10枚
  • 上下反転が20枚
  • 72度回転が40枚
  • 144度回転が40枚
  • 216度回転が40枚
  • 288度回転が40枚
  • コントラスト調整が400枚
  • 上記600枚×クラス数 = 2400枚

やること(予定)

1. 冷蔵庫内を想定した食材データセットの作成(データセットがなかった…)
2. 献立推薦モデルの構築 & fine-tuning
3. テスト
4. APIの作成(from 画像 to 1クラス)
5. 楽天レシピAPIから献立のURLを返す

参考資料

作品に関して

• 【機械学習】Custom Visionを使用して食材の写真を送ると自動で料理を提案してくれるLINEBOTを作成してみた【画像認識】
• 冷蔵庫の余った食材からレシピを提案するボットをリリースしました

献立推薦モデルに関して

• TensorFlow, KerasでVGG16などの学習済みモデルを利用
• TensorFlow, Kerasの基本的な使い方（モデル構築・訓練・評価・予測）
• TensorFlow, Kerasで転移学習・ファインチューニング（画像分類の例）
• TensorFlow, Kerasでレイヤー、モデルのtrainable属性を設定（Freeze / Unfreeze）
• tf.keras.applications.ResNet50
• ResNetをFine Tuningして自分が用意した画像を学習させる
• TensorFlow 2.0のDockerコンテナをGPU+Python3+Jupyterで使う
• TensorFlow Docker
• Pythonの画像処理ライブラリPillow(PIL)の使い方
• Tensorflow/modelsのdata augmentationの動きを確認する
• RuntimeError: JupyterLab failed to build

APIに関して

• APIテストフォーム
• Python, RequestsでWeb APIを呼び出し（データ取得・操作）