ファインチューンでLLMに知識を教え込むための試行錯誤を解説した記事がありました。 helixml.substack.com 投稿者は、最初Llmaindexのドキュメント（"知識記憶させるためのファインチューン"）で紹介されている手順で試したものの、うまくいかなかったよう…

チャットテンプレートについて ローカルLLMのチャットテンプレートはモデルによってバラバラで、けっこう不便に感じる場面が多いです。 Alpacaデータセットに由来するAlpaca形式（###Instruction\n\n...）や、ChatGPTが採用するChatML形式が有名ですが、例え…