AIが画面を見て手伝う！作業の頼み方

black and white area rug on brown wooden floor AI

「このフォルダの資料を読んで要点まとめて」「この表を更新してメール下書きまで」みたいな“PCの上で起きてる作業”を、そのままAIに頼める流れが強くなってきました。

最近はMeta系のManusがデスクトップアプリを出したり、画面の文脈を読み取って手助けするAIツールが増えたりして、いよいよ「チャット欄だけのAI」から一歩進んだ感じです。今日は難しい話は抜きで、実際にどう頼むとラクになるかを手順でまとめます。

今回のニュース、何が起きてる？（使う側の目線で）

ポイントは大きく2つです。

  • ManusがWindows/Mac向けにデスクトップアプリ（My Computer機能）を用意して、ローカルファイルやアプリ操作をまたぐ“エージェント的な動き”がしやすくなった
  • Littlebirdのように「画面を読んで文脈を保持する」タイプのAIが出てきて、作業中の「いま何してたっけ？」をAIが拾える方向に進んでいる

正直、ここが一番の変化です。AIに仕事を振るときに、いちいち「ファイルどこ」「この画面のどれ」って説明するのが面倒じゃないですか。そこが少しずつ省けるようになってきています。

こんな人におすすめ

  • 調べ物をして、最後にメモや資料にまとめるのが毎回しんどい人
  • ファイル整理やリネーム、議事録の保存など「同じ手順」を繰り返している人
  • AIを使ってみたいけど、まずは仕事の“1工程”だけでも減らしたい人
  • PCの中の資料を横断して「結局どうなの？」をまとめたい人

今日からの使い方：まずは「3点セット」で頼む

PC操作系のAI（AIエージェント＝手順を進めるAI）に仕事を頼むとき、コツはシンプルで、最初に3点セットを渡すと失敗しにくいです。

  • ゴール：何を完成させたいか（例：1枚の要約、メール下書き、表の更新）
  • 材料：どのフォルダ/ファイル/URLを見ればいいか
  • ルール：書き方、出力形式、やっていいこと・ダメなこと

ここが曖昧だと、AIは親切に頑張ってくれるんですが、ズレた方向に頑張ることも多いです。逆にこの3つが揃うと一気に“仕事相棒”っぽくなります。

プロンプト例：フォルダ内の資料を要約して「結論だけ」出す

あなたは私のPC作業アシスタントです。
目的：指定フォルダ内の資料を読み、意思決定用に要点をまとめたい。
材料：フォルダ「/Projects/ClientA/Research/」
ルール：
- まず「結論（3行）」
- 次に「根拠（箇条書き5つまで）」
- 最後に「不明点・追加で確認すべきこと」
- 引用する場合はファイル名と該当箇所（見出し名やページ）を必ず添える
- 私に確認が必要な場合は、作業を止めて質問して

最初に、そのフォルダにどんな種類のファイルがあるか一覧化してから進めて。

「いきなりまとめて」ではなく、一覧化→着手にすると安心です。途中で「そのファイルは対象外」みたいな軌道修正ができます。

手順で解説：PC作業を“任せる”ときの基本の流れ

ここはManusを例にしつつ、他のデスクトップ系AIでも共通する「流れ」として書きます。

手順1：最初は“読むだけ”にする（いきなり操作させない）

導入直後から「ファイル移動して」「削除して」まで任せると、怖さが勝ちます。最初は次のどちらかがちょうどいいです。

  • ローカルの資料を読ませて要約する
  • ブラウザで開いているページを整理してメモ化する

ここでAIの癖（どのくらい丁寧に読むか、勝手な補完をしがちか）が分かります。

手順2：作業単位を「10分で終わる塊」に切る

AIエージェントに一番よくある失敗が、「全部やって」を投げて迷子になることです。おすすめは、作業を10分単位に区切って発注すること。

  • ①資料を集める
  • ②並べて比較する
  • ③結論を作る
  • ④体裁を整える

この分解自体もAIにやらせられます。

プロンプト例：作業を分解して、先に計画を出させる

いまから「競合3社の機能比較メモ」を作りたい。
いきなり作業を始めずに、まず作業計画を出して。
条件：
- 10分以内で終わるタスクに分割
- それぞれのタスクの入力（必要な情報）と出力（成果物）を書く
- 私が承認したら着手

材料：
- 開いているブラウザタブ
- フォルダ「/Projects/ProductX/Notes/」

この「承認したら着手」が地味に効きます。勝手に進めてほしくない場面ほど入れておくと安心です。

手順3：最後は必ず“チェック工程”を入れる

画面やファイルに触れるAIが増えるほど、便利さと一緒にミスの影響も大きくなります。なので、納品物には必ずチェック工程を付けます。

  • 引用元（ファイル名、URL）が付いているか
  • 数字や固有名詞が盛れていないか
  • やっていない作業を「やった」と言ってないか（これ、たまにあります）

料金は？無料でも試せる？（2026年3月時点の考え方）

ここ、気になりますよね。ただ、デスクトップ系AIはプランや提供地域、待機リストで条件が変わりやすいです。なので「確実な言い方」に寄せると次の通りです。

  • チャットAI（ChatGPT/Claude/Gemini）は無料枠があることが多く、まずは「要約・下書き・計画」なら無料でも始めやすい
  • PC操作（ローカルファイルやアプリ連携）は有料プランに入る、または段階的提供になりやすい。気になる人は公式の料金ページ・プラン表を先に確認するのが安全

個人的には、最初から課金して“元を取る”より、無料で「頼み方の型」を作ってから必要になったらアップグレード、が失敗しにくいと思っています。

ちょっとだけ注意：画面を読むAIで気をつけたいこと

Littlebirdのような「画面を読んで文脈を拾う」タイプは、便利さが一気に上がります。反面、見えてはいけないものも拾いやすいです。

  • パスワードや決済画面は表示しない（別ウィンドウに逃がす）
  • 社外秘の資料は、最初は“要約だけ”にして編集や送信は自分でやる
  • AIに渡す前提で、フォルダを作業用に分ける（見せる範囲を狭くする）

「AIに任せる」の前に、「AIに見せる範囲を決める」が先です。ここをやるだけで安心感がぜんぜん違います。

まとめ：まずは“読む→まとめる”から試そう

PCをまたいで作業してくれるAIが増えてきて、「チャットに質問するだけ」から「手順も一緒に進めてもらう」へ移り始めています。

いきなり全部自動化しなくて大丈夫です。まずは、フォルダを1つ決めて、要約と結論を出させるところから始めると、手応えが分かりやすいですよ。

  • 作業は3点セット（ゴール・材料・ルール）で頼む
  • 最初は“読むだけ”にして、慣れたら操作へ
  • 最後にチェック工程を入れて安心運用

参考リンク

Photo by TheStandingDesk on Unsplash