- ファインチューンでLLMに知識を教え込むための試行錯誤を解説した記事がありました。
- 投稿者は、最初Llmaindexのドキュメント（"知識記憶させるためのファインチューン"）で紹介されている手順で試したものの、うまくいかなかったようです。
- ここで解説されているのは、覚えさせたい文書をベースに対話形式のデータセットを構築し、それによってLLMをファインチューンするという一般的な方法です。
- 学習したモデルに対して文書IDを含めて質問すると、IDに紐づけて学習された知識が引き出される、という仕組みのようです。
- 結局、新たな知識をモデルに汎化させるのは大変なので、割り切って特定の文書に閉じた知識として定着させる方針なのかなと思います。
- ユーザー視点で見れば、そのやり方ならRAGでいいよね、という気がしますし、記憶させる文書IDの件数を増やしたときに対応できるのかも不明です。
- ただ、無作為なIDでなくても「何らかのトリガーワードと紐づける形で集中的に学習し、そのワードが会話に出たら学習知識が引き出されるようにする」という方法論自体はけっこう有用に思えます。
