1 ：hage(茸) [JP]：2024/02/29(木) 08:34:52.48 ID:PRp2fWw60.net ?PLT(12015)
sssp://img.5ch.net/ico/folder1_03.gif
Microsoftの中国チームがとてつもないLLMをリリースした。それが「BitNet 1.58Bits」だ。
もともとMicrosoftはかねてから「1ビット量子化」の研究を続けて来た。しかし、32ビット浮動小数点での計算が主流な時代にはあまりに野心的で荒唐無稽なプロジェクトに見えていたのは否めない。しかし、現在、大規模言語モデル(LLM;Large Language Model)は8ビット、4ビットで量子化されるのが当たり前になり、量子化しても性能劣化はある程度まで抑えられることも知られるようになった。
昨年10月に発表した「BitNet」は、多くの人々が他のことに気を取られていてほとんど話題にならなかった。
そんな中、満を持して発表された1ビットLLMの性能に関するレポートは、衝撃的と言っていい内容だ。論文のタイトルも堂々と「The Era of 1-bit LLM(1ビットLLMの時代)」としている。
彼らが発表したグラフを引用しよう。
https://wirelesswire.jp/2024/02/86094/
52 ：名無しさん＠涙目です。(大阪府) [US]：2024/02/29(木) 09:27:49.85 ID:7voq7j0o0.net
1ビットショック！
114 ：名無しさん＠涙目です。(茸) [SE]：2024/02/29(木) 13:25:05.71 ID:Sxcw05Ui0.net
ΔΣ変調でアナログっほい感じ？
考え方がシャープだな
74 ：👅 ：2024/02/29(木) 10:37:57.91 ID:pMHrc/fE0.net
音楽用dacも1bitがいいのかな？32bitが主流だけど。
5 ：hage(茸) [JP]：2024/02/29(木) 08:36:54.21 ID:PRp2fWw60.net ?PLT(12015)
sssp://img.5ch.net/ico/folder1_03.gif
（抜粋）
158 ：名無しさん＠涙目です。：2024/02/29(木) 23:27:42.34 ID:DAvrIOHz0.net
符号付き1ビットかよ
これ推論だけの話で学習時は32ビットで計算するんじゃね？知らんけど
180 ：名無しさん＠涙目です。(東京都) [US]：2024/03/02(土) 13:46:50.37 ID:1WmD1Qfr0.net
腰が痛くてもあるか分からんねえ
102 ：名無しさん＠涙目です。：2024/02/29(木) 12:54:01.58 ID:1qIH04cN0.net
>>1
1bit脳パヨクおじいちゃん大勝利
171 ：名無しさん＠涙目です。：2024/03/02(土) 12:45:28.61 ID:t4JJ0U/90.net
ニコチン酸アミドは夢のサプリとか
135 ：名無しさん＠涙目です。(愛知県) [US]：2024/02/29(木) 19:03:18.95 ID:hIpG82Ki0.net
あり得たからな
ただ減少量とは
65 ：名無しさん＠涙目です。(兵庫県) [VN]：2024/02/29(木) 10:05:52.14 ID:f4dUFEo90.net
中国脅威のメカニズム
138 ：名無しさん＠涙目です。：2024/02/29(木) 19:25:27.70 ID:P40e2+DD0.net
頼むで
96 ：名無しさん＠涙目です。：2024/02/29(木) 12:32:24.08 ID:fie8beJ/0.net
>>8
サイド7でガンダムのコクピットに座ったキラがものすごい勢いでCPUハッキングしたが
ガンダムが命令を理解できなくて全部SYNTAX ERRORで何も変わらなかった
77 ：名無しさん＠涙目です。：2024/02/29(木) 10:59:52.81 ID:UwevUegA0.net
まじかよ、やべーな！
53 ：名無しさん＠涙目です。(みかか) [US]：2024/02/29(木) 09:28:22.35 ID:0GNbE68X0.net
凄すぎる
中国の技術力…
70 ：名無しさん＠涙目です。：2024/02/29(木) 10:33:09.62 ID:2a6e0Ta+0.net
ものすごいこと言ってるように聞こえるけど
要は画像生成するときに白黒透明しかないモノクロ画像生成するのに
フルカラー用のプログラム使うと無駄が多いけど
最初から白黒透明しか計算しない1.5bit処理の専用プログラムで計算すれば早いしエラーも少ないよって事
そりゃそうだろ
当然ここまで言うとわかるだろうが
1.5bit処理は全ての4bit 8bit処理を代替できない
あくまで1.5bitで処理できる限定的な計算のみ
4bit 8bitより優位 という話
3 ：hage(茸) [JP]：2024/02/29(木) 08:36:02.05 ID:PRp2fWw60.net ?PLT(12015)
sssp://img.5ch.net/ico/folder1_03.gif
通常、LLMをふくむディープラーニングされたニューラルネットは巨大な行列の積和演算(掛け算と足し算)を必要とする。
推論時も学習時もそうだ。
しかし、1ビット、つまり、行列の中身が0か1しかないのであれば、全ての計算を加算演算のみにできる。
加算と乗算では計算速度も負荷も段違いに異なるため、これだけのスピードの差が出ている。また、当然ながらメモリ効率も高い。
このため、この論文では「積和演算に最適化されたGPUではなく、加算処理のみに特化した新しいハードウェアの出現」までもが予言されている。
今現在、世界各国が血眼になってGPUを確保し、囲い込んでいることを考えると、実に痛快な論文だ。
21 ：名無しさん＠涙目です。(庭) [US]：2024/02/29(木) 08:50:45.43 ID:8lKGlzKv0.net
もちろん試してみるつもりだって、試してから記事書けよw
165 ：名無しさんがお送りします：2024/03/02(土) 10:10:26.56 ID:wN7DOB2su
エロは最近、脱衣AIばっかだ
簡単だし無料で使えるし
https://undress.app/ref/m4o0rf
50 ：名無しさん＠涙目です。(みかか) [US]：2024/02/29(木) 09:22:43.58 ID:3vp59re70.net
>>8
ぶつはずのない父さんが生まれなかったアナザーワールド
31 ：名無しさん＠涙目です。(茸) [GB]：2024/02/29(木) 09:01:56.27 ID:lp1faQPT0.net
１ビット脳ならパヨクが搭載済みじゃん
49 ：名無しさん＠涙目です。(庭) [ﾆﾀﾞ]：2024/02/29(木) 09:22:42.76 ID:+QXeJQmg0.net
1と0、それに付け加えて-1を扱うらしい
145 ：名無しさん＠涙目です。：2024/02/29(木) 19:52:55.92 ID:reQVKcZp0.net
>>114
ハードオフで拾って来たAuviのAUXだけ利用してPC用のアンプとして使ってるわ
178 ：名無しさん＠涙目です。(光) [US]：2024/03/02(土) 13:29:45.09 ID:OtN66s/X0.net
>>57
実際華やかな感じなの来てるな
ストーリーかなんかじゃないかなぁ
80 ：名無しさん＠涙目です。：2024/02/29(木) 11:17:33.69 ID:EJnMucEt0.net
チャンコロすげえ
133 ：名無しさん＠涙目です。(みょ) [GB]：2024/02/29(木) 18:52:58.57 ID:2JTqCaim0.net
カード登録とか怖すぎる。
http://9fzq.i4f/hFj0TY/gSuj0b
72 ：名無しさん＠涙目です。：2024/02/29(木) 10:36:43.31 ID:NalkUyJo0.net
0か1の二択
116 ：名無しさん＠涙目です。：2024/02/29(木) 14:50:28.06 ID:GOO5aX1D0.net
MSのことだし
CPU、GPUに加えて
1bit加算器を多数集積したAIプロセッサを
追加購入する羽目になるだけだろ
85 ：名無しさん＠涙目です。：2024/02/29(木) 11:31:15.16 ID:UwnJYt4t0.net
>>83
Microsoftがどんだけ失敗作を世に出したか知らないのか
131 ：名無しさん＠涙目です。(庭) [US]：2024/02/29(木) 18:34:41.65 ID:/MAhxd4C0.net
それが絶滅したからな
42 ：名無しさん＠涙目です。(庭) [ﾆﾀﾞ]：2024/02/29(木) 09:09:47.30 ID:oF6Gd03I0.net
中国共産党指導部は
革命しそうなAIは粛清する
59 ：名無しさん＠涙目です。(東京都) [US]：2024/02/29(木) 09:59:08.40 ID:S2AZsdEC0.net
>>38
違う
機械学習でいう量子化ってのは膨大なデータをそのまま演算すると
手間がでかすぎてやってらんないから簡略化して精度下げて
負荷の少ない演算で近似させること
ソースで言ってる8bitとか4bitとか1bitてのはその丸めこみの精度の度合い
要するにこの論文の内容はメチャメチャ入力の精度下げて計算簡単にしても
結果の精度はかわらんようなプロセス考えましたわ！ってこと
177 ：名無しさん＠涙目です。(山形県) [CO]：2024/03/02(土) 13:25:47.56 ID:qnA+YHog0.net
>>8
塩足らん
17 ：名無しさん＠涙目です。(庭) [FR]：2024/02/29(木) 08:47:58.63 ID:1fu0qmjZ0.net
やーいやーい1ビット脳
23 ：名無しさん＠涙目です。(大阪府) [ﾆﾀﾞ]：2024/02/29(木) 08:52:34.93 ID:PRAZtJCm0.net
乗算得意なGPUで無理矢理計算する vs デカイモデル格納して計算単純化
ファイッ!
うーん、デカイモデルと複雑な計算の併用になりそうな気がする
88 ：名無しさん＠涙目です。：2024/02/29(木) 11:40:34.05 ID:tAisBGGI0.net
>>85
発明においてはたくさんの失敗の積み重ねこそが（）略
34 ：名無しさん＠涙目です。(SB-Android) [IN]：2024/02/29(木) 09:04:45.70 ID:uMLqZByV0.net
>>32
あ、逆だ
25 ：名無しさん＠涙目です。(庭) [US]：2024/02/29(木) 08:53:39.39 ID:Jt/CO9gH0.net
加算だけで推論、って要はすごくポジティブシンキングってことでしょ？
なんかよさそうなきがする！！！
174 ：名無しさん＠涙目です。(SB-Android) [GB]：2024/03/02(土) 13:10:14.17 ID:x3l7K6rS0.net
>>158
エナプの良心扱いだったじゃん
127 ：名無しさん＠涙目です。(やわらか銀行) [US]：2024/02/29(木) 17:55:17.14 ID:pALAIwhK0.net
これ
数ヶ月に一度くらい
73 ：名無しさん＠涙目です。：2024/02/29(木) 10:37:10.65 ID:xwc7xZlT0.net
お前らも1ビットやろ
170 ：名無しさん＠涙目です。(東京都) [US]：2024/03/02(土) 12:28:45.67 ID:ZxzEbfuX0.net
ほんそれ
なにこれ
スターオーシャン アナムネシス！
167 ：名無しさん＠涙目です。(東京都) [US]：2024/03/02(土) 11:58:28.43 ID:pbqXwE7b0.net
記事
まじ消えろよ糞チョンが嫌いなだけ
27 ：名無しさん＠涙目です。(ジパング) [US]：2024/02/29(木) 08:58:23.82 ID:Zuogb+5y0.net
ちい
129 ：名無しさん＠涙目です。(神奈川県) [JP]：2024/02/29(木) 18:22:17.11 ID:ujffh26t0.net
本人だとスルーされててみかじめ料代わりにしてごまかす準備は整えたからな
炭水化物のかたまり
132 ：名無しさん＠涙目です。(和歌山県) [GB]：2024/02/29(木) 18:35:00.63 ID:JuYMcvIo0.net
もう俺のコテハン
ケトン臭はかなり未練があるんやで
4 ：hage(茸) [JP]：2024/02/29(木) 08:36:44.19 ID:PRp2fWw60.net ?PLT(12015)
sssp://img.5ch.net/ico/folder1_03.gif
非常に驚異的なことが書いてあるのだが、残念ながらBitNetによるLLMの実装とモデルはまだ公開されていない。
だから彼らの主張が本当かどうかはまだ誰にもわからないのだが、BitNetTransformerの実装だけは公開されているため、腕に覚えがあるエンジニアなら自分でトレーニングコードを書いて確かめることができる。
いずれにせよ、 この論文が本当だとしたら、とんでもないことが起きることになる。
この業界に居て長いが、本当にいつもいつも、こんなニュースに触れて興奮できるこの時代を生きる我々は幸運としか言えない。
もちろん筆者もBitNetを試してみるつもりだ。
6 ：名無しさん＠涙目です。(庭) [ﾆﾀﾞ]：2024/02/29(木) 08:38:05.01 ID:+QXeJQmg0.net
ちょっと何言ってるか分からない
56 ：名無しさん＠涙目です。(埼玉県) [US]：2024/02/29(木) 09:38:38.98 ID:+0pn/kuJ0.net
やっぱりPythonなんだなあ
39 ：名無しさん＠涙目です。(やわらか銀行) [US]：2024/02/29(木) 09:06:53.36 ID:FVM8Ad/r0.net
要は「自民党」か「その他」の2択で回答を導き出す手法が
「自民党」「民主党」「その他」「無回答」の4択で回答を導き出す現在主流の手法よりも効率が良く回答精度も高いと言う事だろ
そしてその回答が本当に正確で理論的な物なのかの検証が出来てないので評価が難しいと
140 ：名無しさん＠涙目です。：2024/02/29(木) 19:32:22.66 ID:NF9xndST0.net
活路を全く見出すことになったけど
嫌なら嫌って言うと何人なん？
鍵子高才能膝柔美跳選手
