スマホ上で動くLLM

先日、軽量な大規模減モデル「1-bit Bonsai-8B」が発表されました。
このモデルの特徴は、約80憶のパラメータを持ちながらもメモリの使用量が1.15GBで軽量なことです。
オフライン環境でも、軽量に動作させることができます。

このモデルの特徴は、モデル全体を最初から1ビット前提で設計・学習することで、精度低下を抑制し。
同クラスのLLMと比較しても競争力のある性能を維持しており、小型・高効率なAIモデルとして実用化が期待されるとしています。