Our "mind captioning" paper is now published in @ScienceAdvances. The method generates descriptive text of what we perceive and recall from brain activity — a linguistic interpretation of nonverbal mental content rather than language decoding. doi.org/10.1126/sciadv.adw14…

Animara Studios (@AnimaraStudios) has created a short explainer and microsite for our mind captioning paper: “From Brain Signals to Complete Sentences: Captioning the Contents of the Mind” mindcaptioning.org

#学術変革領域研究(B)「大規模言語モデルを駆使した #インシリコ言語学 の創成」（2026年度－2028年度、研究代表者：川崎義史@IncipeDimidium）に採択されました！ #insilicolinguistics

【すごい】NTT、頭の中で「思い浮かべたこと」をAIでテキスト化する技術公開 news.livedoor.com/article/de… 映像を見ているとき、あるいは過去に視聴した映像を思い浮かべた時の脳の状態を、脳の活動部位を特定できる「fMRI」で計測。どのような映像を見て、思い浮かべたのかをテキストで出力するという。

／ 心に思い浮かべた映像を言葉に変換する脳解読技術「マインド・キャプショニング」を実現💫 ＼ 言葉を使わずに考えを伝える新たなコミュニケーション手段を開拓しました✨ 本研究成果の一部は、11/19から開催されるNTTR&Dフォーラムに展示予定です🌟 #NTTRD

【新研究】マインドキャプショニング：言葉にならない思考を読み解く｜山形方人 - 合成生物学は新たな産業革命の鍵となるか？｜NewsPicks newspicks.com/news/15420801/… なぜ、この技術が注目されているのでしょうか。背景には、ChatGPTやGeminiのような生成AIが急速に社会に浸透している現実があります。

Brain Decoder Translates Visual Thoughts Into Text A new generative method called mind captioning can translate visual and recalled thoughts into coherent sentences by decoding semantic patterns across the brain. Instead of relying on traditional language regions, the system reads structured visual information from widespread cortical areas and aligns it with deep language model features. This allows it to verbalize what a person sees—or imagines—without requiring internal speech. The findings suggest that the brain stores richly organized, linguistically expressible information outside the language network, enabling new forms of nonverbal communication.

A new technique called ‘mind captioning’ generates descriptive sentences of what a person is seeing or picturing in their mind using a read-out of their brain activity, with impressive accuracy. go.nature.com/4nZaZId

脳活動から見たり想像したりしている視覚内容を記述するテキストを生成する技術"Mind Captioning"に関する論文が@ScienceAdvances で公開されました． science.org/doi/10.1126/scia… ありがたいことにNature Newsにも取り上げてもらったのでご興味のある方はどうぞご覧ください． nature.com/articles/d41586-0…

Mind captioning: Evolving descriptive text of mental content from human brain activity biorxiv.org/cgi/content/shor… #biorxiv_neursci

ヒトが知覚・想像している映像の内容を説明するテキストを，脳活動から生成するデコーディング研究のpreprintが公開されました． fMRIで計測した脳活動から解読した意味特徴をもとに，テキストの繰り返し最適化を行うことで，脳に表現されている意味情報を捉えたテキストを生成するという研究です．