筋トレしろ

Joined January 2011
2,769 Photos and videos
「ネットワークシステムについて語るときに我々が語ること」を訳者の@motonori_shindoさんからラムダノート様経由で献本をいただきました。ありがとうございます。エッセイ集なので気軽に読めました。 2, 4, 5, 7, 10, 12章が私のお気に入りです。週末、飛行機の中で残りを読むのが楽しみです。
1
7
39
2,210
👏👏👏 「アーキテクチャは何をしてはいけないかを教えるものである」
2
3
11
1,455
4ヶ月前に献本いただき、最近ようやく読破しました。著者らの圧倒的な見識と実績に敬服するばかりです。
1
6
26
2,038
この本の内容をベースとしたトレーニングも有志の技術者コミュニティで始まりつつあり、これまで高度に専門的だった情報が民主化されつつあるのを感じます😄
5
429
今週は時間作ってUEC 1.0と一昨日アップデートされたSUEの仕様書読んで社内向けにまとめる。 ベンダー側の解説資料だとユーザー側とフォーカスポイントが違うので結局自分で全部読む。
1
11
1,787
Masayuki Kobayashi retweeted
13
260
2,321
77,898
年末だからアップルパイ焼いたよ。美味しい☺️
26
1,403
Masayuki Kobayashi retweeted
大晦日10時30分からインスタでライブ配信 ⁡ 人には108の煩悩があると言われている。 恐怖、甘え、逃げ、慢心、限界という名の煩悩。
1
2
14
2,277
今年最後のケーキはミロワール・カシス🎂
4
773
Masayuki Kobayashi retweeted
7
242
2,453
66,546
Masayuki Kobayashi retweeted
14
342
3,286
149,484
ふらっと立ち寄った表参道でiPhone17の在庫あったから買った。13mini使ってる家族の乗り換え用。 初売りセールで買ったほうがお得とかシラネ。買いたい時に買う。
14
3,732
Masayuki Kobayashi retweeted
栃木県民よ、これが新宿だ。とっても恐ろしいところよ。
187
1,525
8,967
626,744
マンションの廊下にあるお知らせモニターも年末モードになってた
9
753
明日は散歩する
3
468
Masayuki Kobayashi retweeted
M1からガンガン海外の学会に送り込まれるラボで育ったので学生をそれぐらい国際学会に送りたいけど、今の航空券の相場だと無理すぎる。当時の自分が使った旅費を三倍にしてもアメリカの学会行けない。
6
103
1,645
117,987
Masayuki Kobayashi retweeted
25 Dec 2025
興味深い。これが大規模モデルや画像以外のモーダルにも適用できるなら、今後の学習用Backend Networkへの投資が大幅に縮小されうる。
分散学習では頻繁にモデルを同期しないと性能が落ちると考えられ、連合学習でも学習初期から頻繁な平均化を必要としていた。 これに対し、各ノードが独立に学習し、途中適当に選んだペアについて平均をとり、一番最後だけ全体の平均をとってもほぼ同じ性能に到達することが実験的、理論的に示された これは疎なピア間平均によってモデル達を同じ谷(basin)の周辺に留めておき、多様性は保たれつつ、マージ可能性を作り、最後の一回の平均でその中心(basinの底)をとるということが可能となる。 コメント === 従来より分散学習は有望とされつつも、LLMをはじめ頻繁に同期を取らないと性能が劣化することがわかっていた。 今回行われた実験は標準的な画像分類(ただかなり非i.i.d)であり、この結果がそのまま他の問題に適用可能かは不明だが、大きなモデルでのマージも成功していることから可能と考えられる。 パラメータの高次元空間におけるbasinという考えは、凸と非凸と違って、別の形状的な直感を必要とする(star convexというのもあった)。これらの底は繋がっていると示されているが、よりうまく扱える理論と手法が必要だろう。 今回の結果は実用的にも大きな意味を持つと考えられる(たまに同期さえとれば後でマージできる)
1
5
2,096