TetherがQVACクロスプラットフォームBitNet LoRAフレームワークを発表:コンシューマーデバイスで10億パラメータのAIモデルのトレーニングをサポート
Odailyによると、Tetherは公式発表で、QVAC FabricにおけるクロスプラットフォームBitNet LoRA微調整フレームワークをリリースし、Microsoft BitNet(1-bit LLM)のトレーニングと推論の最適化を実現したと発表しました。このフレームワークは計算能力とメモリ要件を大幅に削減し、10億パラメータ規模のモデルがノートパソコン、コンシューマー向けGPU、スマートフォン上でトレーニングおよび微調整を行うことを可能にします。
このソリューションは、BitNetモデルのモバイルGPU(Adreno、Mali、Apple Bionicを含む)上での微調整を初めて実現しました。テストによると、125Mパラメータモデルは約10分で微調整が完了し、1Bモデルは約1時間で完了、さらにスマートフォン上では13Bパラメータモデルまで拡張可能です。
さらに、このフレームワークはIntel、AMD、Apple Siliconなどの異種ハードウェアをサポートし、NVIDIA以外のデバイスでの1-bit LLM LoRA微調整も初めて実現しました。パフォーマンス面では、BitNetモデルはモバイルGPU上での推論速度がCPUと比べて2~11倍向上し、従来の16-bitモデルと比べて最大約77.8%のメモリ使用量削減を達成しています。
Tetherは、この技術がハイエンドな計算能力やクラウドインフラへの依存を打破し、AIトレーニングの分散化およびローカル化を促進し、フェデレーテッドラーニングなどの新しい応用シナリオの基盤を提供することが期待されると述べています。
免責事項:本記事の内容はあくまでも筆者の意見を反映したものであり、いかなる立場においても当プラットフォームを代表するものではありません。また、本記事は投資判断の参考となることを目的としたものではありません。
こちらもいかがですか?
CPUとGPUが共生関係となり、TAMが大幅に拡大
区間下限を下回る!データセンター配電業者Accelevation(ACCV.US)のIPO価格は1株あたり18ドル、調達資金は540 millionsドル。
Accelevation Holdingsは1株あたり18ドルで3,000万株(そのうち67%が二次発行)を発行し、5億4,000万ドルの資金調達を行いました。発行価格は以前の20~24ドルの価格帯よりも低くなっています。
高い利回りが買いを促進、日本の2年国債の入札は順調に完了
高い利回りが資金を呼び込んでいるため、日本は水曜日に実施した2年満期政府債券の入札で、需要が過去12か月平均を上回りました。
「大空頭」バリーの優秀な弟子が警告:韓国株式市場は「資本主義の楽園」に見えるが、実際には「価値の罠」が潜んでいる。
韓国の格安株には罠が潜んでいます。その大部分の価値は、少数株主が手に入れられないことが多いのです。
