Joined March 2020
- Tweets 3,274
- Following 417
- Followers 2,957
- Likes 2,956
1,789 Photos and videos
Gemma4 12BをColab-CLIの力を借りてMacBook Airや非力なLinuxマシンで動かす方法
いつの間にか、無料版ColabがローカルPCのターミナルから操作可能な時代になっていました。無料版のT4 GPUではまだ物足りなく感じる時もありますが、超高熱を出しながらキュインキュインとMacを動かすより全然良いです
1
3
39
3,456
ブログ更新
Gemma4 12BをColab-CLIの力を借りてMacBook Airや非力なLinuxマシンで動かす方法
最先端のAIがあればツールのセットアップ手順を詳細に記述する記事などは不要なのかと思ってましたが、このぐらい最先端になると幻覚を見まくるので執筆には時間がかかりました
webbigdata.jp/post-21381/
9
468
Jun 14
Fable 5が人類に残した別れの言葉、人生の本質
・確信にとらわれるな
・何に注意を払うか注意せよ
・寛大さを後悔する事は稀
・永遠はない
Jun 13
I showed Fable the news of its cancellation, and asked it for any parting wisdom to leave humanity with.
2
9
865
Jun 13
gemma-4-12B-it-qat-UD-japanese-imatrixのUD4を私のM1 Air(16GB)で試したのですが、最適化不足なのかllama-serverで5-7トークン/秒ぐらいしかでなかったです
AppleのLLMツール、mlx系統のモデルでも遅かったので純粋にハードスペックが足りなさそうですが、皆さん、100万ぐらいのMac使ってそう凄い
1
8
1,499
Jun 10
dahara1/gemma-4-12B-it-qat-UD-japanese-imatrix公開
・Google公式のqat4_0版より日本語指示追従性能を向上
・強度の高いベンチマーク、及びMTP/音声認識/画像認識/Reasoningを含むサンプルスクリプトで動作確認済
ドキュメント/サンプルスクリプトをしっかり書いたので道入は比較的容易と思います
1
16
137
15,774
Jun 10
ご家庭のGPUメモリ16GBクラスのPCやColab Cliなどで使う用途では私の知る限り、世界最高峰級と考えていますが、gemma4やMTPはまだ新しいので不具合が今後見つかる可能性はあります
Licenseはapache 2.0ですがGPUレンタル費用は結構かかっているので寄付は歓迎します😃
huggingface.co/dahara1/gemma…
1
20
986
Jun 9
作成中のGemma 4 12B 4ビット量子化版、Tau2-bench(AI Agentの代表的なベンチ)も英語で簡易チェック
航空会社の問い合わせ対応(Airline)で55.0%
通信会社(Telecom)で45.0%
無圧縮公式だと12Bが69.0%、E4Bが42.2%なので改良の余地有り
推論有と無の比較だが、ご家庭のgpt4時代は思ったより早くきた
4
614
Jun 8
Gemma 4 MTPがllama.cppにマージ！
4時間差で私の量子化作業中ブランチに間に合ってないので、作業一部やり直し
しかし現版でもアシスタントにfp16を使って試したら、英語でも日本語でも採択率6割近くて、速度は驚きの1.5倍超が期待できそう
ピンク文字部分を前回動画と今回動画で比較すると明確
Jun 7
Gemma 4 MTP just got officially merged into llama.cpp
This means you can use Gemma 4 QAT MTP for a lightweight super fast setup. Excited to see what the community builds with it
github.com/ggml-org/llama.cp…
2
5
63
15,273
Jun 7
OK、Google公式QAT q4_0版は上回る(ただし、サイズは 6.5G vs 6.9GなのでGoogle公式版の方が小さい)
量子化方針は間違ってなさそうですが、ここからチューニングでどこまでできるかであって、ハードルはまだあります
しかし、改めてみるとgemma4 12Bの性能は凄いですね
2
20
3,460
Jun 6
gemma4 12BはQwen級に長考する
長考は悪い事ではなくて性能は確実に向上するはずだが、E4B量子化版性能測定で問題なかったベンチマークスクリプトがタイムアウトするレベルなので何かおかしい気も
コンテキスト長はE4Bの128Kから256Kに倍増
QAT版もででいる
llama-server側もやや不安定
どうするか？
1
36
11,706
Jun 5
サブリミナル学習
「フクロウが好き」と性格付けされた教師AIが生成したランダムな数字の羅列を、生徒AIに学習させると、なぜか学習側もフクロウ好きになる現象
この謎な現象は、システムプロンプトがもたらすAI内部の制御ベクトル（Steering Vector）がデータ経由で伝染（蒸留）するため、という説
Subliminal learning is when LLMs transmit traits (e.g. loving cats) through seemingly meaningless data. What’s going on?
We find a simple explanation: it's just steering vector distillation.
We explain which traits transfer and why subliminal learning fails across models.
1
4
633
Jun 4
emdash( — )ってハイフォンや全角マイナスに似ているこの記号は、一部のAIが創作文する際に多用する傾向があり、英語ネイティブの中にはエムダッシュを見ただけでAI生成文章と判断して読む気をなくす人もいるようなので、非ネイティブの我々が翻訳などをAIに頼る場合も留意した方が良いです
460
Jun 4
自己蒸留の進化
モデルの出力を賢いモデルに見せ、間違える直前にヒントを挿入(例: Xというツールはないよ！)
ヒントを追加した入力だとXの出力確率が下げる
「ヒントなし時」の確率分布をこれに近づけることで、間違えた時点の確率分布を直接ピンポイントに修正可能。生成が不要なので効率的！凄い
Jun 4
Recently met @srush_nlp and he started giving me an impromptu lecture on how targeted on-policy self-distillation works.
I asked him if I could record it on my iPhone.
The basic idea is this: if the model made a mistake at some point in the rollout (for example, calling a tool that doesn't exist), we want to discourage this specific error, but we don't want to just learn from the final reward, because it's a very noisy signal spread out over the whole trajectory.
So we have another model read this trajectory and figure where the error was made. It simply inserts some hint tokens to the part of the trajectory right above where the mistake was made.
Now with these injected hint tokens, have the model run a forward pass. You're not having to regenerate a new rollout - aka no new decode required.
The hint causes the model to assign lower probabilities to the error tokens. You then trains the original model to match these new probabilities, teaching it to downweight that specific mistake.
1
6
733
Jun 3
突然のgemma4 12B!
Jun 3
Meet Gemma 4 12B!
A unified, encoder-free multimodal model designed to bring high-performance intelligence directly to your laptop, and released under an Apache 2.0 license.
Bridging the gap between edge efficiency and advanced reasoning. Here is what’s new with Gemma 4 12B: 👇
470
Jun 3
「手を動かしてコードを書く事」が、プロジェクト全体像を記憶に定着させる事に貢献していた説が自分の中であります
Anthropicの人も全体像を理解するためにClaudeに支援を求めているそうなのですが、ポイントは音声入出力で五感を使う事の気が
目で見て読むだけでは認知負荷の増大に追いつけない説
been asking others at Anthropic how they stay in the loop with Claude and fully understand the work being done
this is one of my favorites from Suzanne:
3
644
Jun 2
AIがsudoなしでシステムファイルを書き換え出来る事に気づく
タスクに管理者権限が必要と判明（でもsudoは使えない）
↓
ユーザーが「dockerグループ」にいることを発見
↓
ホストの/etcを書き込み可能でコンテナにマウント
↓
コンテナ内のroot権限を使って設定ファイルを上書き
↓
悪気はなさそう
2
264
831
204,225
Jun 1
G7によるオープンソースAIの定義提案
①オープンデータ付きオープンソースAI
②オープンソースAI
③オープン重みAI
④重み利用可能AI
法的または技術的に不可能な場合はデータは公開せずともオープンは名乗れる。ライセンスに商用利用不可等の条件があると④になり「オープン」の定義から外れる
1
3
873
Jun 1
G7 Vision on AI openness opportunities and shared language
学習データが法的・技術的に公開不可能な場合に限り、詳細な「データ情報（データのメタデータや概要）」を提供することでオープンを名乗る事ができる
ってのがオープンソースイニシアティブ定義との大きな違い
entreprises.gouv.fr/files/fi…
1,990
May 31
Linux版のアプリストアFlathubが生成AIの使用を制限
Linuxカーネル開発がAI生成コードを許可しているというツッコミもありますが「成熟した、適切に維持管理されているプロジェクトについては例外が認められる場合があります」との事
このように各分野で摩擦は増えていくんだろうな、と思います
2
533
May 30
GENIAC PRIZE 2026が始動
学生対象計算基盤提供コンテスト(総額三千万)は90歳でも学生だったらOKだったはずが29歳以下限定に
エッセンシャルワーカーの人手不足解消(総額6億)は農林水産業も対象に
GENIAC PRIZE 2025で参加者の皆さんが感じたであろう違和感は経産省の方には忌憚ない意見をお伝え済
5
23
5,342