スマホ動画がAIで自動編集される時代へ｜Claude Code × Video Useの使い方完全ガイド
この記事でわかること
- 動画編集ソフトを使ったことがない人でもAIに任せて完成動画を作れる仕組み
- Claude CodeとVideo Useのセットアップ手順
- スマホで撮った複数の動画素材を一本の作品にする具体的な流れ
- 実際にできること・できないことの正直な整理
テックジム東京本校では、情報科目の受験対策指導やAI駆動開発コースもご用意しております。
目次
「動画編集、難しくてずっと諦めてた」という人へ
旅行や子どもの成長、仕事のイベント。スマホには大切な動画がどんどん溜まっているのに、「ちゃんと編集してまとめたい」と思いながら何年も放置している——そんな方は少なくないはずです。
PremireやFinal Cutを触ってみたけど操作が複雑で挫折した。そもそもパソコンを長時間触るのが苦手。そういう方にとって、動画編集はずっと「自分には無理」な作業でした。
ところが2025年以降、その状況が大きく変わりつつあります。テキストで話しかけるだけで、AIが動画を編集してくれるツールが登場したからです。
その代表格が、Video Useです。
Video Useとは何か
Video Useは、AIアシスタント「Claude Code」に追加できる**動画編集専用のスキル（拡張機能）**です。browser-useという開発チームが作った完全オープンソースのツールで、無料で使えます（ただし後述するClaude Codeのサブスクリプションは必要です）。
何ができるのかをざっくり言うと、「この素材フォルダを使って動画を一本仕上げて」とチャットで指示するだけで、完成したmp4ファイルが出力されるという体験です。
具体的にできることは以下のとおりです。
- フィラー・無音の自動削除：「えー」「あのー」といった言い淀みや、不自然な沈黙を自動で取り除きます
- 字幕の自動生成・焼き込み：話した言葉をテキスト化して、フォントやスタイルを指定して映像に合成します
- カラーグレーディング：シーンごとの色補正をAIが判断して適用します
- カット境界の音割れ防止：繋ぎ目でのプツッとした音を防ぐフェード処理を自動でかけます
- アニメーション挿入：テキストアニメーションや図解などを映像に追加することも対応しています
なぜ「AIが映像を見ずに編集できる」のか
ここが多くの方が疑問に思うポイントです。「AIって動画を直接読めるの？」と思う方も多いと思いますが、Video Useの仕組みはもう少し賢い設計になっています。
処理の流れはこうです。
① 素材動画を複数投入する スマホで撮った動画ファイルを、指定のフォルダに入れるだけです。
② 音声を単語単位でテキスト化する ElevenLabsやWhisperといった音声認識ツールが、動画の音声を文字に起こします。このとき重要なのが、単語1個ずつにタイムスタンプが付くという点です。
たとえばこんなイメージです。
0:12.3 「この」
0:12.6 「料理は」
0:13.1 「えー」 ← フィラー
0:13.8 「本当に」
0:14.2 「おいしい」
③ AIがテキストとして読んで編集判断を下す Claudeはこのタイムスタンプつきのテキストデータを読み込み、「えー」の区間（0:13.1〜0:13.7）をカットする、「本当においしい」には字幕を表示する、といった編集指示をFFmpegというツールへ送ります。
つまり、AIは映像を直接処理しているわけではなく、音声をテキストに変換した上で「テキスト編集」として処理しているのです。これがVideo Useの核心的な設計です。
④ カット境界だけサムネイルで確認する 全フレームを分析すると処理が重くなるため、カット前後の静止画だけをAIが確認します。問題があれば再調整し、問題なければ次へ進みます。
⑤ final.mp4を書き出す FFmpegがすべての編集指示を実行し、完成した動画ファイルを出力します。
セットアップ手順：まずはここから
必要なもの
| 必要なもの | 補足 |
|---|---|
| Claude Codeのサブスクリプション | 有料（月額約20ドル〜） |
| Node.js | 無料。公式サイトからインストール |
| FFmpeg | 無料。動画処理の本体 |
| Python | 無料。一部の処理に使用 |
| ElevenLabs APIキー（任意） | 無料枠あり。Whisperで代替も可能 |
MacとWindowsの両方で動作します。
ステップ1：Node.jsのインストール
Node.js公式サイトにアクセスし、「推奨版」をダウンロードしてインストールします。インストーラーの指示に従うだけで完了します。
ステップ2：Claude Codeのインストール
Node.jsがインストールされたら、ターミナル（Macはターミナルアプリ、Windowsはコマンドプロンプト）を開いて以下を入力します。
npm install -g @anthropic-ai/claude-code
インストール後、Anthropicのアカウントでログインします。
claude
はじめて起動すると認証画面が開くので、指示に従ってログインしてください。
ステップ3：FFmpegのインストール
Macの場合：
Homebrewというパッケージマネージャーを使います。ターミナルで以下を実行します。
brew install ffmpeg
Homebrewがまだ入っていない場合はbrew.shからインストールできます。
Windowsの場合：
FFmpeg公式サイトからWindows向けのビルドをダウンロードし、環境変数のPATHに追加します。少し手順が多いですが、「FFmpeg Windows インストール」で検索すると丁寧な解説記事が多数あります。
ステップ4：Video Useのインストール
git clone https://github.com/browser-use/video-use
cd video-use
pip install -e .
インストールが完了したら、Video Useをクロードのスキルとして登録します。
ln -s "$(pwd)" ~/.claude/skills/video-use
Windowsの場合はシンボリックリンクの方法が少し異なるので、公式のREADMEを参照してください。
ステップ5：ElevenLabsのAPIキー取得（任意）
字幕精度を高めたい場合はElevenLabsの音声認識を使います。無料枠の範囲で利用できます。
ElevenLabsにアカウントを作成し、APIキーを取得します。取得したキーをVideo Useの設定ファイル（.env）に記入します。
ElevenLabsを使わない場合は、ローカルで動くWhisperを代わりに使うこともできます（精度はやや落ちますが、完全無料で使えます）。
実際の編集手順：スマホ動画を一本の作品にする
セットアップが完了したら、いよいよ実際に編集してみましょう。
素材を準備する
スマホで撮影した動画ファイルをパソコンに転送し、一つのフォルダにまとめます。ファイル名はわかりやすい名前にしておくと、後でAIへの指示がしやすくなります。
例：
/videos/
├── 01_朝の出発.mp4
├── 02_駅のホーム.mp4
├── 03_現地到着.mp4
├── 04_食事シーン.mp4
└── 05_夕暮れの風景.mp4
Claude Codeを起動して指示を出す
ターミナルでClaude Codeを起動します。
claude
起動したら、日本語でそのまま指示を出すことができます。たとえばこんな感じです。
/videos フォルダにある旅行動画を使って、
3〜5分の旅行vlogを一本作ってください。
言い淀みや無音部分はカットして、
字幕は白文字・黒縁でお願いします。
BGMは明るい雰囲気で。
あとはAIが作業を進めてくれるのを待つだけです。
確認と微調整
Video Useはカット境界などの重要な場面でサムネイルを表示して確認を求めてきます。「この繋ぎでいいですか？」といった形で聞いてくるので、問題があれば「もう少し前でカットして」などとチャットで返します。
問題なければそのまま進んでもらい、最終的にfinal.mp4が生成されます。
できること・できないことの正直な整理
Video Useはとても強力なツールですが、「なんでもできる魔法」ではありません。使う前に期待値を正しく持っておくことが大切です。
得意なこと
- フィラーや無音の除去（精度が高い）
- 字幕の自動生成と焼き込み
- 時系列に沿ったシンプルな繋ぎ編集
- 同じ種類の動画を大量に処理する（量産・テンプレート化）
- トーキングヘッド動画（解説・Vlog・インタビュー系）
まだ苦手なこと
- 映像の「雰囲気」を読んだ感情的なカット判断
- 音楽に合わせたリズム編集
- 複雑な演出・エフェクト
- セットアップ作業（技術的な知識がある程度必要）
よくある質問
Q. Macがないと使えませんか？ A. WindowsでもLinuxでも動作します。ただし、FFmpegのセットアップがMacより少し手間がかかる場合があります。
Q. 日本語の字幕は正確に出ますか？ A. ElevenLabsとWhisperはどちらも日本語に対応しています。ただし、方言や専門用語、早口の場合は誤認識が発生することがあります。
Q. 動画のファイル形式は何に対応していますか？ A. FFmpegが処理するため、MP4・MOV・AVI・MKVなど主要な形式に対応しています。iPhoneのMOV形式もそのまま使えます。
Q. Claude Codeのサブスクリプションはいくらですか？ A. 2025年現在、Claude ProまたはMax相当のプランが必要です。最新の料金はAnthropicの公式サイトでご確認ください。
まとめ
「動画編集は難しいもの」という常識が、AIによって静かに塗り替えられています。
Video Useが実現したのは、動画編集という作業をテキスト処理の問題に変換するという発想の転換です。AIが映像を直接読むのではなく、音声をタイムスタンプつきのテキストに変換してから編集判断を行うことで、高い精度と処理速度を両立させています。
スマホで撮りためた旅行の記録、子どもの運動会、仕事のイベント映像。これまで「いつか編集しよう」と眠らせていた素材が、チャットで話しかけるだけで一本の作品になる時代が来ています。
まずはセットアップだけ試してみてください。案外あっさりと動いて、驚くはずです。
参考リンク
■ゼロから始めるClaudeCode講座のご案内
テックジム東京本校では「ClaudeCode」の体験講座を開催。
「その日のうちに動かす」 をゴールに、環境構築から実践まで。
毎週土曜日15時。参加は無料です。対面・ハンズオンだから初心者でも安心。
■らくらくPython塾 – 読むだけでマスター
共通テスト「情報I」対策解説講座
実践で学ぶPython速習講座
■テックジム東京本校
格安のプログラミングスクールといえば「テックジム」。
講義動画なし、教科書なし。「進捗管理とコーチング」で効率学習。
対面型でより早くスキル獲得、月額2万円のプログラミングスクールです。
情報科目の受験対策指導やAI駆動開発コースもご用意しております。
