大規模言語モデル入門

「大規模言語モデル入門」（技術評論社, 2023）のリポジトリです。

コード

コードはすべて Google Colaboratory で動作確認を行なっています。 コードの中で利用したデータセットや作成したモデルはHugging Face Hubにて公開しています。

⚠️ 2023/7/28 現在、MARC-ja のデータセットの配布元のリンクが切れており、書籍上の 5.2, 5.3, 5.5.4 に掲載されているコードにおいて、データセット読み込みの箇所でエラーが出る状態です。 現在問い合わせのメールを送り、復旧待機中です。

これに応じて、日本語感情分析データセットである WRIME を使用したノートブックを追加致しましたので、コードを動作させたい方はご活用ください。

章	節／項	Colab	Link
第 1 章 はじめに	1.1 transformers を使って自然言語処理を解いてみよう 1.2 transformers の基本的な使い方		Link
第 2 章 Transformer	2.2 エンコーダ		Link
第 3 章 大規模言語モデルの基礎	3.2 GPT（デコーダ） 3.3 BERT・RoBERTa（エンコーダ） 3.4 T5（エンコーダ・デコーダ）		Link
	3.6 トークナイゼーション		Link
第 5 章 大規模言語モデルのファインチューニング	5.2 感情分析モデルの実装		Link (MARC-ja) Link (WRIME)
	5.3 感情分析モデルのエラー分析		Link (MARC-ja) Link (WRIME)
	5.4.1 自然言語推論の実装（訓練）		Link
	5.4.1 自然言語推論の実装（分析）		Link
	5.4.2 意味的類似度計算の実装（訓練）		Link
	5.4.2 意味的類似度計算の実装（分析）		Link
	5.4.3 多肢選択式質問応答モデルの実装（訓練）		Link
	5.4.3 多肢選択式質問応答モデルの実装（分析）		Link
	5.5.4 LoRA チューニング（感情分析）		Link (MARC-ja) Link (WRIME)
第 6 章 固有表現認識	6.2 データセット・前処理・評価指標 6.3 固有表現認識モデルの実装 6.4 アノテーションツールを用いたデータセット構築		Link
第 7 章 要約生成	7.2 データセット 7.3 評価指標 7.4 見出し生成モデルの実装 7.5 多様な生成方法による見出し生成		Link
第 8 章 文埋め込み	8.3 文埋め込みモデルの実装		Link
	8.4 最近傍探索ライブラリ Faiss を使った検索		Link
第 9 章 質問応答	9.3 ChatGPT にクイズを答えさせる		Link
	9.4.3 BPR の実装		Link
	9.4.4 BPR によるパッセージの埋め込みの計算		Link
	9.5 文書検索モデルと ChatGPT を組み合わせる		Link

正誤表

本書の正誤表は以下のページで公開しています。

https://github.com/ghmagazine/llm-book/wiki/errata

リンク

• Hugging Face Hub
• 技術評論社のページ
• Amazon.co.jp