한국어, English, 日本語. Claude Code Max, OpenAI Pro, M3 Ultra 512GB. Aspiring value investor. A member of @fortyfourbits. A software engineer at Karrot. 京釜高速道路.
요즘 일하는 인터페이스. 작업하고, 접어두고, 나중에 (에이전트가) 확인하고 일괄 정리. 사람이 사용하는 인터페이스를 만들고, 그걸 다시 에이전트가 사용하도록 인터페이싱하고, 반복. 끝나지 않는 루프지만, 대고객 프로덕트 아니라 부담없이 키워가는 중. 근데 릴리스를 각이 안 나오네...
Unsloth의 Gemma4 MTP GGUF 소식을 보고, DGX Spark에서 실제로 얼마나 빨라지는지 테스트해봤습니다.
- 12B Dense: 1.92x
- 26B-A4B MoE: 1.16x
- 31B Dense: 2.22x
MTP는 dense 모델에서 효과가 컸고, 26B-A4B는 MoE라 이미 빠른 편이라 추가 이득이 작았습니다. 번역 제목 벤치에서는 품질 저하도 거의 안 보였습니다.
seapy.com/gemma4-mtp-dense-v…
다른 얘기지만 지금 프로젝트 어느 순간 보니 룰파일만 200k 넘어가고 있었음. 어쩐지 200k 모델에서 열자마자 컴팩팅이 무한으로 걸림. 근데, 로컬LLM 해본 사람들은 알 거라고 생각함 1M 돌아가는 거, 그냥 트루먼쇼 같은 느낌임... 나는 Fable도 1M이라 충격먹음.
x.com/nacyotKim/status/20657…
데이터 분석이나 시각화 난이도가 낮아진 게 개인적으로는 너무 큰 행복 중에 하나임. 일단 나는 데이터 분석이 맞지 않는 사람이라고 생각해온 것도 있고, 시각화는 좋아하지만 d3.js나 GG도 결국 일정 이상 올라가면 꽤나 고뇌의 영역인데, 이제 정말 딸깍으로 시각화가 만들어진다...