text-generation-webui や SillyTavern のようなチャットUIでは、TTS(Text-to-Speech)による音声チャット用の拡張機能も利用することができます。 ただ、いろいろと触っているうちに物足りなくなり、Pythonで簡単な音声チャットアプリのDIYを始めました。素…

最近、LLMのチャットUIとして「SillyTavern」を試しています。非常に多機能ですが、多機能すぎて全貌が把握できていません。 github.com SillyTavernの特徴は、フロントエンド（ユーザーインターフェース）のみの構成で、バックエンド（LLMローダー機能）を…

TLDR AGIEvalは、大学入学試験など人間の受験者を対象にした問題を使ってLLM性能を評価するベンチマークです。 米国と中国で行われている各種試験問題を利用しているため、主に英語と中国語における性能が評価されます。 GPT-4など上位LLMは、人間の受験者と…

2024/1/16にMicrosoftから「RAG vs ファインチューニング：パイプライン、トレードオフ、農業におけるケーススタディ」というarxiv論文が出てました。 特定領域に固有の知識（この論文では農業関連データ）をLLMアプリケーションの回答に取り入れる手法とし…

RedditのローカルLLM板に以下のようなポストが上がっていました。 "Mixuture Of Experts"という表現は誤解を招きやすい 私も最初は「Mixtral 8x7B」のMixture of Expertsというのは様々な分野で特化学習をした8つのMistralモデルを結合したものだと思ってい…