ClaudeでDesctopのGUIを操作できるようになるようだ
またしてもMac限定(血涙)!
QGISのGUIテストをしたくていろいろ試してたんだけど、Windowsだと難しそうだった
Mac以外でもUbuntuとかのXで動作できるのであればCI/CDで人間的な差分UIレグレッションテストができるようになるはず
要するにコミットの差分見て、影響がありそうなところ(UI)を重点的に見たり、フルリグレッションテストを選択したりとか能動的に選択できるようになるはず
んで、この辺は現状でもRanorexやPlaywrightでできると言えばできるが、固定化されたシナリオだけしかできないので、熟練プログラマの観点でUI操作することでバグを発見しやすくなるだろう
恐らくCircleCIとかGithubActionとかと組み合わせれるようになるのではないか
まぁ、これはdevops観点だけど、通常業務の中でUI操作自動化が進んでいくといろいろな業界に影響が出そう
n8nとかでやってたようなことがプラグインとか使わずに人間と同じようにできるので自由度は高い反面、セーフティロックをどうするのか問題は依然として有りそう
You can now enable Claude to use your computer to complete tasks.
It opens your apps, navigates your browser, fills in spreadsheets—anything you'd do sitting at your desk.
Research preview in Claude Cowork and Claude Code, macOS only.