Joined August 2024
- Tweets 885
- Following 198
- Followers 53
- Likes 1,548
115 Photos and videos
SC retweeted
Jun 13
以前只能盯着loss曲线和梯度范数看训练状态，其实权重分布本身藏着更细的信号。
每层每个矩阵的幅值分布用双参数Weibull拟合，形状参数k和尺度参数λ就像功能标签加进度条——初始化高斯对应k≈1.2，训练后FFN和输出投影W_o的k锁死在极窄带内，而Q/K投影则偏离Weibull族，偏离程度甚至能反映KV缓存是独立还是共享。
λ随训练单调增长，且与√(η/λ_wd)成线性，直接串联了学习率和权重衰减的联合效应。
arxiv.org/abs/2605.18898
12
88
5,418
SC retweeted
この人banされましたね(2回目)
Jun 13
部活の中1がコンテスト中にAIつかって1回BANされたうえにまたアカウント作って全完するとかいう行動をしたので明後日問い詰める
本当に確定でAIだとは思うのだが一応本当に天才かもしれんから
2
38
4,239
SC retweeted
篠澤広はLaTeXが出来るに違いない！
↑この時点で怪しい
なので、篠澤広はTeXが出来てもおかしくない！
↑？
2
5
153
20,926
SC retweeted
Jun 14
[CVPR'26 Oral] ViT^3: Unlocking Test-Time Training in Vision
Transformerの自己注意は入力トークン列Qに対してKVで「推論時に」MLPを構成し，変換しているとみなせる．一方で，標準的な自己注意のMLP解釈では，隠れ層次元がトークン数Nとなるため，計算量はO(N^2)である．これに対して，線形自己注意はO(N)で，推論時に線形結合層を構成できるが，表現力が限られる．この研究では，O(N)の計算量を保ったまま，任意の推論時変換器Fを用意し，その重みをKからVを復元するSSLを解くことでBPにより学習する．
この研究では，各Transformer Block内の自己注意でKVをサンプル数Nのデータセットとみなした仮想タスクを明示的に解いており，見方を変えれば 各層でKV圧縮を学習するための補助損失を導入している．論文中では深い内部更新において生じる性能劣化が問題として挙げられており，補助損失と通常のモデル全体の損失の勾配干渉の解析によってこうした問題に対処できる可能性がある．
arxiv.org/abs/2512.01643
2
17
112
10,206
SC retweeted
Jun 14
データが極端に少ない状況下で、広告の露出頻度やリーチ率を正確に推定するための確率モデル（特にNegative Binomial Distribution）をRで実装する方法を、理論から実践まで解説。
・Poisson分布＋Gamma事前分布からNegative Binomial分布を導出し、過分散・ゼロ過剰なカウントデータをモデリングする考え方
・限られたCM露出データからリーチ率（r_g = 1 - P(F=0)）や累積リーチ曲線を推定するRコード（dnbinom / pnbinomの活用例）
・lm()などの単純回帰では対応しにくいスパースデータへの実践的なアプローチと、推定精度を上げるポイント
顧客の購入頻度・サイト訪問回数など、他のビジネスにおけるカウントデータの過分散問題にもそのまま応用可能。階層モデルに拡張して「グループ間で情報を借りる」手法のヒントも得られます。
マーケティングの実務課題を題材に、理論の導出 → Rでの実装 → 具体的なデータ例まで一貫して解説されている。Rでの実践的な発表資料で「すぐに試せる」レベルが高いです。
speakerdeck.com/dropout009/j…
10
127
7,132
Jun 14
10年くらい前に祖父の家行ってこれやってた
懐かしい
Jun 13
Google, Uçuş Simülatörü dünya çapında herkes için kullanıma açıldı. ✈️
Simülatörü başlatmak için:
- Google Earth'ü açın.
- Üst kısımda Dünyayı keşfedin'e tıklayın.
- Araçlar menüsünü açın.
- Menüden Uçuş simülatörü'nü seçin.
1
60
SC retweeted
Jun 13
上層部😤「AIに勝手に自社文書が流出・利用されないよう
今後弊社ではUTF-8を禁止！🚫
SJIS、EUC-JP、ISO-2022-JP を
日によって使い分けることとする！」
情シス👨💻「🤮」
👤社員「蜿門ｼ募?縺ｫ騾√▲縺溯ｳ?侭縺梧枚蟄怜喧豸医＠縺ｦ繧九→縺玖ｨ?繧上ｌ縺ｦ繧九°繧臥峩縺励※縺上ｌ繧具ｼ」
x.com/i/trending/20657837186…
20
504
1,736
212,050