1 ：hage(茸) [JP]：2024/02/29(木) 08:34:52.48 ID:PRp2fWw60.net ?PLT(12015)
sssp://img.5ch.net/ico/folder1_03.gif
Microsoftの中国チームがとてつもないLLMをリリースした。それが「BitNet 1.58Bits」だ。
もともとMicrosoftはかねてから「1ビット量子化」の研究を続けて来た。しかし、32ビット浮動小数点での計算が主流な時代にはあまりに野心的で荒唐無稽なプロジェクトに見えていたのは否めない。しかし、現在、大規模言語モデル(LLM;Large Language Model)は8ビット、4ビットで量子化されるのが当たり前になり、量子化しても性能劣化はある程度まで抑えられることも知られるようになった。
昨年10月に発表した「BitNet」は、多くの人々が他のことに気を取られていてほとんど話題にならなかった。
そんな中、満を持して発表された1ビットLLMの性能に関するレポートは、衝撃的と言っていい内容だ。論文のタイトルも堂々と「The Era of 1-bit LLM(1ビットLLMの時代)」としている。
彼らが発表したグラフを引用しよう。
https://wirelesswire.jp/2024/02/86094/
60 ：名無しさん＠涙目です。(東京都) [US]：2024/02/29(木) 10:01:20.66 ID:0iGki4NZ0.net
チンペー万歳しか回答しなさそう
136 ：名無しさん＠涙目です。(みかか) [FR]：2024/02/29(木) 19:09:50.22 ID:r8L9/6z/0.net
イケメンや美人が成敗されてないって強迫観念があるぞ
135 ：名無しさん＠涙目です。(愛知県) [US]：2024/02/29(木) 19:03:18.95 ID:hIpG82Ki0.net
あり得たからな
ただ減少量とは
16 ：名無しさん＠涙目です。(庭) [US]：2024/02/29(木) 08:47:42.64 ID:UV+VMIZb0.net
>>8
ゆっくり僧正実現化の目処が立ったんじゃねぇの？
129 ：名無しさん＠涙目です。(神奈川県) [JP]：2024/02/29(木) 18:22:17.11 ID:ujffh26t0.net
本人だとスルーされててみかじめ料代わりにしてごまかす準備は整えたからな
炭水化物のかたまり
132 ：名無しさん＠涙目です。(和歌山県) [GB]：2024/02/29(木) 18:35:00.63 ID:JuYMcvIo0.net
もう俺のコテハン
ケトン臭はかなり未練があるんやで
134 ：名無しさん＠涙目です。(北海道) [CN]：2024/02/29(木) 18:56:13.88 ID:2+SUmoKB0.net
俺もわからん
48 ：名無しさん＠涙目です。(京都府) [TW]：2024/02/29(木) 09:21:19.32 ID:kMi1Hnun0.net
ゲームなんかでも高速化のために浮動小数点の計算を整数にしちゃうとかあるだろ
そんな初歩的なことが試みられてないとは思えんのだが
49 ：名無しさん＠涙目です。(庭) [ﾆﾀﾞ]：2024/02/29(木) 09:22:42.76 ID:+QXeJQmg0.net
1と0、それに付け加えて-1を扱うらしい
67 ：名無しさん＠涙目です。(茸) [US]：2024/02/29(木) 10:10:45.56 ID:mzU80/pF0.net
1ビット脳って、
この板に住んでるパヨちんが好きな言葉じゃん
18 ：名無しさん＠涙目です。(庭) [US]：2024/02/29(木) 08:49:05.45 ID:NlVGsk5X0.net
このいちびりやろう
31 ：名無しさん＠涙目です。(茸) [GB]：2024/02/29(木) 09:01:56.27 ID:lp1faQPT0.net
１ビット脳ならパヨクが搭載済みじゃん
26 ：名無しさん＠涙目です。(神奈川県) [US]：2024/02/29(木) 08:57:08.08 ID:jH8g4U+z0.net
このMS中国の成果ってアメリカと中国どっちの利になるの？
51 ：名無しさん＠涙目です。(ジパング) [CN]：2024/02/29(木) 09:27:25.74 ID:7qTEDirm0.net
>>8
ララァ、見える！私にも敵が見える
50 ：名無しさん＠涙目です。(みかか) [US]：2024/02/29(木) 09:22:43.58 ID:3vp59re70.net
>>8
ぶつはずのない父さんが生まれなかったアナザーワールド
8 ：名無しさん＠涙目です。(愛知県) [US]：2024/02/29(木) 08:40:18.22 ID:MqqcpH+U0.net
わからんからガンダムで例えて
59 ：名無しさん＠涙目です。(東京都) [US]：2024/02/29(木) 09:59:08.40 ID:S2AZsdEC0.net
>>38
違う
機械学習でいう量子化ってのは膨大なデータをそのまま演算すると
手間がでかすぎてやってらんないから簡略化して精度下げて
負荷の少ない演算で近似させること
ソースで言ってる8bitとか4bitとか1bitてのはその丸めこみの精度の度合い
要するにこの論文の内容はメチャメチャ入力の精度下げて計算簡単にしても
結果の精度はかわらんようなプロセス考えましたわ！ってこと
122 ：名無しさん＠涙目です。(茸) [US]：2024/02/29(木) 16:49:07.87 ID:jZahTlg40.net
黄金戦死かよ
15 ：名無しさん＠涙目です。(茸) [NL]：2024/02/29(木) 08:46:59.48 ID:+KAFAX/Z0.net
>>8
エルメスのビット1つからなぜかコロニーレーザー並みのビームが出て連邦全滅
100 ：名無しさん＠涙目です。：2024/02/29(木) 12:52:03.83 ID:WKty2yOW0.net
>>43
まちがってるから
はずかしい人だ
レジスタのサイズではない
バス幅、それもデータバスの幅と言うのが正しい
またデータバスの幅＝レジスタサイズでもないのだよ
ALUの回路を考えなさいな
そして1bitだから使い物にならない、というのも間違ってる
1bitだからスループットが上がり帯域が逆に広がるのだよ
学生さんかな？なら勉強が足りない
ソフトだけ、ハードだけしかできないとそういう考えになる。
テクノロジーの先端を知った方が良い
学問習得からやりなおし
113 ：名無しさん＠涙目です。(ジパング) [US]：2024/02/29(木) 13:20:48.17 ID:vPjbnyOu0.net
早く中華AI完成させてクーデター起こされて滅びろよ
110 ：名無しさん＠涙目です。(新日本) [VE]：2024/02/29(木) 13:06:18.31 ID:rtR34HBy0.net
よーわからんけどパチもんやろ
105 ：名無しさん＠涙目です。：2024/02/29(木) 12:57:02.93 ID:yiW5YZ+20.net
投資詐欺の材料にされて終わり
101 ：名無しさん＠涙目です。：2024/02/29(木) 12:52:07.75 ID:UIkZsRCp0.net
AIなんか中国で開発してもプーに速攻潰されんぞ
112 ：名無しさん＠涙目です。(庭) [GB]：2024/02/29(木) 13:08:00.52 ID:oDBwWwX80.net
また大本営発表やってんのか
69 ：名無しさん＠涙目です。(日本のどこかに) [AU]：2024/02/29(木) 10:22:19.32 ID:sm+63xtE0.net
省メモリで演算も高速だけど解答精度は落ちる
4bit量子化とどっちがお得か
どこのご家庭にもあるRTX 3060 12GBでも7Bモデル4bit量子化なら動く
つまり28Bモデル1bit量子化が動くかも、と言うことか
41 ：名無しさん＠涙目です。(東京都) [TW]：2024/02/29(木) 09:09:14.16 ID:YrLfbcGP0.net
中国にもMSあるんだな
中国人って海賊版しか使わないイメージあったけど
最近は正規品買って使っているの？
68 ：名無しさん＠涙目です。(和歌山県) [CN]：2024/02/29(木) 10:12:47.09 ID:D2Nacfjr0.net
中国だけどMicrosoftなのか
21 ：名無しさん＠涙目です。(庭) [US]：2024/02/29(木) 08:50:45.43 ID:8lKGlzKv0.net
もちろん試してみるつもりだって、試してから記事書けよw
35 ：名無しさん＠涙目です。(茸) [GB]：2024/02/29(木) 09:04:46.01 ID:lp1faQPT0.net
>>29
正義と悪しかいないと思ってる朝鮮人のこと
85 ：名無しさん＠涙目です。：2024/02/29(木) 11:31:15.16 ID:UwnJYt4t0.net
>>83
Microsoftがどんだけ失敗作を世に出したか知らないのか
92 ：名無しさん＠涙目です。：2024/02/29(木) 12:10:34.17 ID:8Ad5tt3C0.net
論文やんけ
127 ：名無しさん＠涙目です。(やわらか銀行) [US]：2024/02/29(木) 17:55:17.14 ID:pALAIwhK0.net
これ
数ヶ月に一度くらい
28 ：名無しさん＠涙目です。(庭) [US]：2024/02/29(木) 08:58:26.25 ID:yQ3doh5f0.net
おい！その脳は、ここにも無数に存在しているぞ！！
どうだ怖いか！？
13 ：芋煮(みかか) [ﾆﾀﾞ]：2024/02/29(木) 08:46:05.33 ID:bX4ATEcq0.net
GPUとの関係は？
81 ：名無しさん＠涙目です。：2024/02/29(木) 11:20:24.25 ID:yQKkmdKH0.net
>>61
皮ジャン終わった？
82 ：名無しさん＠涙目です。：2024/02/29(木) 11:22:35.88 ID:7N1hcT350.net
つまり
みんながトリアエーズとドップで戦ってるところにユニコーンガンダムで乗り込むことができる
かもしれないってこと
111 ：名無しさん＠涙目です。(SB-Android) [IT]：2024/02/29(木) 13:07:01.67 ID:1nmJzdAg0.net
どうして先にガンダム作らないの？
47 ：名無しさん＠涙目です。(庭) [US]：2024/02/29(木) 09:19:09.16 ID:Jt/CO9gH0.net
>>40
むしろ「ロシアは鉛筆を使った」のほうじゃね？
73 ：名無しさん＠涙目です。：2024/02/29(木) 10:37:10.65 ID:xwc7xZlT0.net
お前らも1ビットやろ
125 ：名無しさん＠涙目です。(神奈川県) [US]：2024/02/29(木) 17:52:41.23 ID:ecxioBPi0.net
ご幼少からナルコレプシーぽかったけどTRPGはかなり臭いというか不快な臭い
死なば諸共あらため
08/23(火)
71 ：名無しさん＠涙目です。：2024/02/29(木) 10:33:50.78 ID:6/yYcRCF0.net
【れいわ最新版】
84 ：名無しさん＠涙目です。：2024/02/29(木) 11:27:57.87 ID:HtRkrr0s0.net
>>41
90年代からあるよ
日本にはマイクロソフトの研究所はない
あのころはまだ日本がずっと良かったから、日本をすっ飛ばされて中国に研究所が作られたのは衝撃的だった
ふりかえればすでに日本凋落の目は出ていたみたい
107 ：名無しさん＠涙目です。(大阪府) [US]：2024/02/29(木) 12:57:46.13 ID:AaO9aZI+0.net
95 ：名無しさん＠涙目です。：2024/02/29(木) 12:29:19.25 ID:JvshQqfZ0.net
>>91
嫌儲だとこの革命的AI「1bit脳」＝ネトウヨだと大はしゃぎしてるよ
あいつら旧世代でスレタイしか読めない
24 ：名無しさん＠涙目です。(茸) [PH]：2024/02/29(木) 08:53:23.94 ID:DaXlaEnT0.net
誰も真実はわからんということか
実用化したらまた教えてくれ
103 ：名無しさん＠涙目です。：2024/02/29(木) 12:54:59.60 ID:m8Usrby20.net
これ使って文革とか天安門事件って打ち込んだらどうなるの？
90 ：名無しさん＠涙目です。：2024/02/29(木) 11:45:21.62 ID:/V0dSpJA0.net
小学博士のことだよね
87 ：名無しさん＠涙目です。：2024/02/29(木) 11:36:38.15 ID:EXn6e5hA0.net
失敗を恐れずに進む
5 ：hage(茸) [JP]：2024/02/29(木) 08:36:54.21 ID:PRp2fWw60.net ?PLT(12015)
sssp://img.5ch.net/ico/folder1_03.gif
（抜粋）
