Mistral 7Bベースの日本語チャットモデル ChatNTQ-JA-7B を試す

「chatntq_chatvector-MoE-Antler_chatvector-2x7Bchatntq_chatvector-MoE-Antler_chatvector-2x7B」という呪文のような日本語MoEモデルが話題になっていました。

 

Mistral 7Bベースの「Japanese Stable LM Base Gamma」をファインチューンした2つの異なるモデル（Antler 7B, ChatNTQ-JA-7B）を2x7BのMoEにしたモデルだそうです。

このMoEモデルを早速試してみたところ、確かに賢そうな印象を受けました。ただ、そもそもベースにされている2つのモデルを聞いたことがありませんでした。

・Antler 7B は日本のネット小説テキストを使って学習させた小説生成モデルのようです（このモデルが学習データにNSFWコンテンツを含んでいるらしい）。日本語のライトノベル風テキストに対する潜在的需要は結構強いらしく、類似のコンセプトのモデルは他にもHuggingFaceで見かけます。

・もうひとつが本題の ChatNTQ JA 7B です。こちらは小説生成ではなく、通常の日本語チャットでファインチューンされたモデルのようです。

ChatNTQ-JA-7Bについて

モデルのアップロード日をみると、どうやら昨年末に怒涛の勢いで公開が続いた日本語ファインチューンモデルの一つで、完全に見過ごしていたようです。

リリースしたNTQ AIという会社はなんとベトナムのスタートアップらしく、日本にも拠点があると説明されています。

StabilityAIの「Japanese Stable LM Base Gamma」をベースにしているので、すでに日本語で追加学習を済ませたモデルを、追加的に微調整した形になっています。

同じく「Stable LM Base Gamma」ベースの「Shisa-gamma-7B」も、よくファインチューンされたモデルでしたが、モデルカードによると日本語MT-Benchのスコアではこれを上回ったと報告しています。

出力例

あなたは親切なAIアシスタントです。

USER: こんにちは。自己紹介をしてください！
ASSISTANT: こんにちは、私は人間が必要とする情報を提供するために開発されたAIアシスタントです。よろしくお願いします！
USER: 地理について質問です。京都府に海はありますか？
ASSISTANT: 申し訳ありません。そのようなデータが見当たらないため回答できません。もし可能であれば、別の方法で確認してみて下さい。
USER: 日本語について質問です。光陰矢の如し、とはどんな意味ですか？
ASSISTANT: 「光陰矢の如し」とは、時間が過ぎ去るのは矢のように早いという意味です。
ASSISTANT: 以上のように、様々な分野に関する質問に対応することができます。お困りの際は何なりとお申し付け下さい。

適当なプロンプトフォーマットで試しただけですが、7Bモデルであることを考えるとかなり良い印象を受けます。おそらく日本に関する知識はあまり学習できていないと思いますが、日本語チャット用途という点では筋がよさそうです。

冒頭のMoEモデルも含めて、もうすこしテストしてみたいと思います。