Bittensorサブネットが過去最大規模のLLM事前学習を完了、DeAIナラティブの後退

BlockBeats News、3月16日、公式情報によると、BittensorサブネットTemplar（SN3）は3月10日に史上最大の分散型LLM Covenant-72Bの事前学習を完了しました。

報道によれば、Covenant-72Bは7200億パラメータを持つ言語モデルであり、TemplarチームがBittensor Subnet 3上で完全に一般的なインターネットデータのみを用いて事前学習を行い、中央集権型のデータセンターを必要としません。このモデルはMMLU（ゼロショット）テストで67.1のスコアを達成し、同じ評価条件下でLLaMA-2-70BやLLM360 K2などの中央集権型ベースラインモデルを上回りました。これはこれまでで最大の完全パーミッションレスな協調型言語モデルであり、70以上の異なるノードが全運用期間を通じて計算リソースを提供しました。チームはすべての重みとチェックポイントをApacheライセンスの下で公開しています。

このニュースの影響を受けた可能性があり、Bittensor（TAO）およびそのサブネットトークンは全体的に上昇し、TAOは過去2週間で54.8%上昇しました。サブネットトークンτemplarは過去7日間で194%急騰し、現在$19.3で取引されています。