TetherはクロスプラットフォームのBitNet LoRAフレームワークを発表、10億パラメータのモデルがコンシューマーデバイスでファインチューニング可能

PANews 3月21日、公式発表によると、TetherはQVAC FabricにおけるクロスプラットフォームBitNet LoRAファインチューニングフレームワークのリリースを発表しました。これにより、Microsoft BitNet（1-bit LLM）のトレーニングと推論の最適化が実現されます。このフレームワークは計算能力とメモリ要件を大幅に削減し、10億パラメータ規模のモデルでもノートパソコン、コンシューマー向けGPU、スマートフォン上でのトレーニングやファインチューニングが可能となります。

本ソリューションは、BitNetモデルのモバイルGPU（Adreno、Mali、Apple Bionicを含む）でのファインチューニングを初めて実現しました。テストによると、125Mパラメータモデルは約10分でファインチューニングが完了し、1Bモデルは約1時間で完了、さらにスマートフォン上では13Bパラメータモデルまで拡張可能です。

また、このフレームワークはIntel、AMD、Apple Siliconなどの異種ハードウェアをサポートし、NVIDIA以外のデバイスでの1-bit LLM LoRAファインチューニングも初めて実現しました。パフォーマンス面では、BitNetモデルはモバイルGPU上での推論速度がCPUに比べて2～11倍向上し、従来の16-bitモデルと比較して最大約77.8%のメモリ使用量削減を達成しています。

Tetherは、この技術がハイエンドな計算能力やクラウドインフラへの依存を打破し、AIトレーニングの分散化およびローカル化を推進し、フェデレーテッドラーニングなどの新しいアプリケーションシナリオの基盤を提供することが期待されると述べています。