VDA 背景削除

背景の削除は、被写体を周囲から分離し、透明な背景に配置したり、 シーンを交換したり、新しいデザインに合成したりできるようにします。内部では、 アルファマット（ピクセルごとの不透明度0〜1）を推定し、前景を何か他のものの上にアルファ合成しています。これはポーター-ダフの数学であり、「フリンジ」や ストレートアルファ対乗算済みアルファのようなおなじみの落とし穴の原因です。乗算済みアルファとリニアカラーに関する実践的なガイダンスについては、 MicrosoftのWin2Dノート、 Søren Sandmann、および Lomontのリニアブレンドに関する記事を参照してください。

人々が背景を削除する主な方法

1) クロマキー（「グリーン/ブルースクリーン」）

キャプチャを制御できる場合は、背景を単色（多くの場合緑）で塗りつぶし、その色相をキーアウトします。 これは高速で、映画や放送で実証済みであり、ビデオに最適です。トレードオフは照明とワードローブです。 色付きの光がエッジ（特に髪）にこぼれるため、デスピルツールを使用して汚染を中和します。 優れた入門書には、Nukeのドキュメント、 Mixing Light、および実践的な Fusionデモが含まれます。

2) インタラクティブセグメンテーション（クラシックCV）

背景が乱雑な単一の画像の場合、インタラクティブアルゴリズムには、ユーザーからのいくつかのヒント（たとえば、緩い 長方形や落書き）が必要であり、鮮明なマスクに収束します。標準的な方法は GrabCut （本の章）であり、前景/背景のカラーモデルを学習し、グラフカットを繰り返し使用してそれらを分離します。GIMPの前景選択では、 SIOX （ImageJプラグイン）に基づいた同様のアイデアが見られます。

3) 画像マッティング（きめ細かいアルファ）

マッティングは、かすかな境界（髪、毛皮、煙、ガラス）での部分的な透明度を解決します。クラシックな クローズドフォームマッティングは、 トライマップ（明確な前景/明確な背景/不明）を取得し、強力なエッジ忠実度でアルファの線形システムを解きます。現代の ディープイメージマッティングは、 Adobe Composition-1Kデータセット（MMEditingドキュメント）でニューラルネットワークをトレーニングし、 SAD、MSE、Gradient、Connectivity（ベンチマークの説明）などのメトリックで評価されます。

4) ディープラーニングカットアウト（トライマップなし）

• U²-Net（顕著なオブジェクト検出）は、強力な一般的な「背景削除」エンジンです （リポジトリ）。
• MODNetは、リアルタイムのポートレートマッティングを対象としています（PDF）。
• F、B、Alpha（FBA）マッティングは、前景、背景、アルファを共同で予測して、カラーハローを低減します （リポジトリ）。
• Background Matting V2は、背景プレートを想定し、最大4K/30fpsでリアルタイムにストランドレベルのマットを生成します （プロジェクトページ、 リポジトリ）。

関連するセグメンテーション作業も役立ちます： DeepLabv3+は、エンコーダー-デコーダーとatrous畳み込みで境界を洗練します （PDF）; Mask R-CNNは、インスタンスごとのマスクを提供します （PDF）; そして SAM（Segment Anything）は、 なじみのない画像に対してゼロショットマスクを生成するプロンプト可能な基盤モデルです。

人気のあるツールが行うこと

• Photoshop: 背景を削除クイックアクションは、内部で「被写体を選択→レイヤーマスク」を実行します （ここで確認; チュートリアル）。
• GIMP: 前景選択（SIOX）。
• Canva: 画像と短いビデオ用の1クリック 背景リムーバー。
• remove.bg: 自動化のためのWebアプリ+ API。
• Appleデバイス: 写真/Safari/クイックルックのシステムレベルの「被写体を持ち上げる」 （iOSでのカットアウト）。

よりクリーンなカットアウトのためのワークフローのヒント

1. 賢く撮影する。 良好な照明と強い被写体と背景のコントラストは、すべての方法に役立ちます。グリーン/ブルースクリーンを使用する場合は、 デスピルを計画してください （ガイド）。
2. 広く始めて、狭く絞り込む。 自動選択（被写体を選択、 U²-Net、 SAM）を実行し、次にブラシまたはマッティング（例： クローズドフォーム）でエッジを洗練します。
3. 半透明に注意する。 ガラス、ベール、モーションブラー、飛び散った髪には、真のアルファが必要です（単なるハードマスクではありません）。 F/B/αも回復する方法は、ハローを最小限に抑えます。
4. アルファを知る。 ストレート対乗算済みは、異なるエッジの動作を生成します。一貫してエクスポート/合成します（ 概要、 Hargreavesを参照）。
5. 適切な出力を選択する。 「背景なし」の場合は、クリーンなアルファを持つラスター（PNG/WebPなど）を配信するか、さらなる編集が予想される場合はマスク付きのレイヤーファイルを保持します。重要なのは、計算した アルファの品質であり、ポーター-ダフに根ざしています。

品質と評価

学術研究では、Composition-1Kに関するSAD、MSE、Gradient、およびConnectivityエラーが報告されています。モデルを選択する場合は、これらのメトリックを探してください （メトリックの定義; Background Mattingのメトリックセクション）。 ポートレート/ビデオの場合、MODNetと Background Matting V2は強力です。一般的な「顕著なオブジェクト」画像の場合、 U²-Netは堅実なベースラインです。困難な透明度の場合、 FBAはよりクリーンになる可能性があります。

一般的なエッジケース（および修正）

• 髪と毛皮： マッティング（トライマップまたは MODNetのようなポートレートマッティング）を優先し、チェッカーボードで検査します。
• 微細な構造（自転車のスポーク、釣り糸）： 高解像度の入力を使用し、マッティングの前に DeepLabv3+などの境界認識セグメンターを前処理ステップとして使用します。
• 透けて見えるもの（煙、ガラス）： 部分的なアルファと、多くの場合、前景色の推定が必要です （FBA）。
• ビデオ会議： きれいなプレートをキャプチャできる場合は、 Background Matting V2は、単純な「仮想背景」トグルよりも自然に見えます。

これが現実世界でどこに現れるか

• Eコマース： マーケットプレイス（Amazonなど）では、多くの場合、純白のメイン画像背景が必要です。 製品画像ガイド （RGB 255,255,255）を参照してください。
• デザインツール： Canvaの 背景リムーバーとPhotoshopの 背景を削除は、 迅速なカットアウトを合理化します。
• オンデバイスの利便性： iOS/macOSの「被写体を持ち上げる」は、カジュアルな共有に最適です。

カットアウトが時々偽物に見える理由（および修正）

• カラースピル： 緑/青の光が被写体に回り込みます— デスピルコントロールまたはターゲットを絞った色置換を使用します。
• ハロー/フリンジ： 通常、アルファ解釈の不一致（ストレート対乗算済み）または古い背景で汚染されたエッジピクセル。正しく変換/解釈します （概要、 詳細）。
• 間違ったぼかし/粒子： 非常にシャープな被写体を柔らかい背景に貼り付けると、それが目立ちます。合成後にレンズのぼかしと粒子を一致させます（ ポーター-ダフの基本を参照）。

TL;DRプレイブック

1. キャプチャを制御する場合： クロマキーを使用します。均等に照明します。 デスピルを計画します。
2. 1回限りの写真の場合： Photoshopの 背景を削除、 Canvaの リムーバー、または remove.bgを試してください。髪の毛はブラシ/マッティングで洗練します。
3. 本番グレードのエッジが必要な場合： マッティング（ クローズドフォーム またはディープ）を使用し、透明度でアルファを確認します。 アルファ解釈に注意してください。
4. ポートレート/ビデオの場合： MODNetまたは Background Matting V2を検討してください。クリックガイド付きセグメンテーションの場合、 SAMは強力なフロントエンドです。