自己教師あり学習(Self-Supervised Learning)

1. 概要

A. 定義

自己教師あり学習(Self-Supervised Learning, SSL) とは、人が付与したラベルなしに、データ自体の構造から学習信号(supervisory signal)を自ら作り出して表現(representation)を学習する機械学習パラダイムである。入力の一部を隠したり変形したりしたうえで、残りから隠れた部分・原本・関係を予測するようモデルを訓練し、こうして得た汎用表現を後に少量のラベルで微調整(fine-tuning)するか、そのまま(frozen)下流タスクへ転移する。

自己教師あり学習が登場した根本的背景は、教師あり学習の「ラベルコスト」の限界にある。深層学習の性能はデータ規模に比例して向上するが、画像分類のImageNetのように人が手作業でラベルを付けたデータは、作るのに膨大な時間・費用・専門性を要する。医療画像に疾患ラベルを付けるには専門医が必要であり、音声・テキスト・産業センサーログも同様である。一方、ラベルのない生データ(raw data)——ウェブテキスト、ユーチューブ動画、工程ログ——は事実上無限に近く存在する。自己教師あり学習はこの豊富な非ラベルデータから「ただのラベル(free label)」を取り出して使う方法であり、ラベルのボトルネックを迂回して大規模事前学習を可能にする。

もう一つの背景は、表現学習(representation learning)の転移可能性である。タスクごとにモデルを一から学習する代わりに、データの一般的構造を一度深く学習しておけば、その表現を数多くの下流タスクへ再利用できる。自己教師あり学習はまさにこの「一度深く学習した汎用表現」を作る中核エンジンであり、今日GPT・BERTのような大規模言語モデルと、CLIP・DINOのようなビジョン基盤モデルがいずれも自己教師あり事前学習の上に立っている。

歴史的にも、自己教師あり学習の台頭は深層学習パラダイムの転換点であった。2010年代のビジョンの成功がImageNetという大規模な「ラベル」データに支えられたものであったとすれば、2018年前後の自然言語処理における word2vec → ELMo → BERT·GPT へと連なる流れは、「ラベルのない大規模コーパスのみで」より強力な表現を得られることを実証した。この成功はほどなくビジョンへ逆輸入されてSimCLR・MAE・DINOへと連なり、ついにはモダリティを横断する共通戦略として確立された。すなわち自己教師あり学習は、特定の技法というよりも、深層学習がラベル依存から脱してデータ自体から学習する方向転換を象徴する。

B. 必要性と特徴

自己教師あり学習が現代AIの基盤技術として定着した理由は三つに整理される。第一に、データ効率性と拡張性である。ラベル付けなしにデータ規模を数十億〜数兆トークンまで大きくできるため、「スケーリング則(scaling law)」が働く大規模モデル学習の前提となる。第二に、汎用表現の転移性である。事前学習された表現は分類・検索・検出・生成など多様な下流タスクに少量のラベルのみで適応するため、データの少ない領域(医療・製造・金融)で特に価値が大きい。第三に、人間の認知との類似性である。人は明示的な正解表なしに世界を観察しながら規則を学習するが、自己教師あり学習はこの「観察による学習」を機械に実装したものであり、ヤン・ルカン(Yann LeCun)はこれを「知能の暗黒物質(dark matter of intelligence)」と表現した。

特徴をもう少し見てみると、自己教師あり学習は教師なし学習(unsupervised learning)の一分野でありながら教師あり学習の形式を借りるという点が決定的である。クラスタリング・次元削減のような伝統的教師なし学習が「正解のない構造発見」にとどまるのに対し、自己教師あり学習はデータから(入力, 正解)の対を自動生成し、教師あり学習とまったく同じ予測-損失-逆伝播の枠組みで学習する。ゆえに「ラベルはないが教師はある」学習と呼ばれる。また事前学習タスク(pretext task)はそれ自体が目的ではなく、良い表現を得るための口実(pretext) である点で、タスク設計の品質が表現の品質を左右する。

さらに自己教師あり学習は、事前学習タスクの性能そのものよりも、その副産物である表現の転移性能を目的とするという点で、一般的な学習と評価の哲学が異なる。空欄の単語を95%当てるかどうかではなく、そうして得た表現が下流の分類・検索でどれほどうまく働くかが成功の尺度である。このため自己教師あり学習の研究は「どのタスクが良い表現を誘導するか」というタスク設計の探究であり、彩色・回転予測のような初期タスクから対照・マスキングへと発展してきた歴史こそが「より良い口実を探す過程」であった。

2. SSLの原理と学習構造

自己教師あり学習の原理は「データの一部で別の一部を予測する」ことにある。文の次の単語を前の単語から予測したり、隠された画像断片を周囲の画素から復元したりする具合である。こうしてデータの内的構造(文脈的・空間的・時間的相関)を解きほぐす過程で、モデルは意味ある表現を獲得する。全体のパイプラインは「事前学習(pretraining) → 表現の凍結・転移 → 下流タスク微調整」の2段階連続体で構成される。

flowchart LR
  D["大規模非ラベルデータ<br/>(テキスト・画像・ログ)"] --> A["自動タスク生成<br/>(マスキング・増強・分割)"]
  A --> PT["事前学習<br/>(Pretext Task)"]
  PT --> E["エンコーダ<br/>(汎用表現学習)"]
  E --> R[("事前学習モデル<br/>Representation")]
  R --> FT["下流タスク適応<br/>(Fine-tuning·Linear Probe)"]
  L["少量のラベル<br/>(Downstream)"] --> FT
  FT --> T["分類・検出・検索・生成"]
  style PT fill:#e8f0fe,stroke:#2f6fed,stroke-width:2px
  style R fill:#e6f4ea,stroke:#34a853

この2段階構造で注目すべき点は、事前学習と下流タスクのデータ・目的が分離されることである。事前学習は領域全体を網羅する非ラベル大量データで「広く」学習し、下流適応は特定タスクの少量ラベルで「狭く」特化する。この分離のおかげで、一つの事前学習モデルが複数のタスク・複数の組織で再利用される規模の経済が生じる。基盤モデル経済の本質——少数が巨大モデルを事前学習し、多数がこれを適応して使う構造——が、まさにこの2段階分離から生じる。

学習の核心は、事前学習タスク(pretext task)の設計にある。タスクは「正解をデータから自動的に取り出せながらも、その正解を当てるにはデータの意味を深く理解せねばならない」ものでなければならない。たとえば文の空欄の単語を当てるには文法・常識・文脈をすべて動員せねばならないため、このタスクをうまく解くモデルは言語の豊かな表現を獲得する。逆にタスクが易しすぎると(例:色のヒストグラムだけで解けるタスク)、モデルは「近道(shortcut)」を学習して表現が貧弱になる。したがってタスクの難度と近道の防止が設計の第一原則である。

事前学習が終わると、エンコーダが生成した表現を下流タスクへ転移する。転移方式は二つあり、エンコーダを固定したまま上に薄い分類器だけを載せて評価する線形プロービング(linear probe) と、エンコーダまで一緒に再学習する微調整(fine-tuning) である。線形プロービングは表現そのものの品質を測る尺度としてよく使われ、微調整は下流タスク性能を最大化するときに使う。このように自己教師あり学習の価値は「一度学習した表現をいかに少ないラベルでいかに広く再利用できるか」で測られる。

学習信号を数式で見ると、タスク類型ごとに損失関数が異なる。生成・復元型は原本と復元値の差を測る交差エントロピー・平均二乗誤差(MSE) を、対照型は正の対を分子に、負の対を分母に置いて相対的類似度を最大化するInfoNCE を用いる。重要な実務的含意は、損失値が低いからといって表現が良い保証はないという点である。たとえば非対照型ですべての入力を同じ定数ベクトルにすると損失は0に収束するが、表現はまったく無用である(崩壊)。したがって自己教師あり学習では、損失曲線とともに表現の分散・均一性(uniformity)・整列性(alignment) のような診断指標を併せて追跡するのが定石である。

3. SSL方法論の類型

自己教師あり学習の方法論は、学習信号を作る方式に応じて大きく予測(生成)型、対照型、非対照(自己蒸留)型、マスキングモデリングに分かれる。下のアーキテクチャ詳細図は、これらが「一つの入力をどのように変形・対照・復元するか」の違いを示す。

flowchart TB
  X["原本入力 x"] --> AUG["データ増強・変形"]
  AUG --> V1["ビュー1 (view)"]
  AUG --> V2["ビュー2 (view)"]
  V1 --> F1["エンコーダ f"]
  V2 --> F2["エンコーダ f / モメンタム f'"]
  F1 --> Z1["表現 z1"]
  F2 --> Z2["表現 z2"]
  Z1 --> OBJ{"学習目標"}
  Z2 --> OBJ
  OBJ --> C["対照: 正を引き負を押す<br/>(InfoNCE)"]
  OBJ --> NC["非対照: 二つのビュー一致<br/>(Stop-gradient·EMA)"]
  X --> MASK["マスキング・損傷"]
  MASK --> DEC["復元デコーダ"]
  DEC --> REC["原本復元<br/>(再構成損失)"]
  style OBJ fill:#fff4e5,stroke:#f9a825,stroke-width:2px

A. 予測(生成)型 — 自己回帰・復元ベース

予測型は最も古典的でありながら今日最も強力な系統である。核心は、データの一部を「正解」として取り置き、残りからこれを生成・復元することである。言語領域の代表が自己回帰言語モデル(autoregressive LM) であり、GPT系は「前の単語から次の単語を予測する」単純なタスクを数兆個のトークンに反復して、言語の文法・知識・推論能力を獲得する。このタスクは正解(次の単語)がテキストにすでに存在するためラベルが不要であり、データ規模を無限に大きくできる点が決定的な強みである。

ビジョン領域では、彩色(colorization)、ジグソーパズル(jigsaw)、回転角度予測(rotation) のような初期タスクが提案された。たとえば白黒画像に色を復元させると、モデルは「空は青く、草は緑」という意味的知識を学習せねばならない。ただしこうした手製(handcrafted)のタスクは近道に脆弱で性能限界が明確であり、以後は対照・マスキング系統へ主導権が移った。それでも「生成で理解を誘導する」という発想は後のマスキングモデリングへ継承される。

予測型の実務的含意は拡張性にある。GPT-3(1,750億パラメータ)とその後続モデルは、ただ次の単語予測という単一タスクのみで、翻訳・要約・コーディング・推論を網羅する汎用能力を創発(emergence)させた。これはタスクが単純でもデータ・モデル規模が十分に大きければ豊かな表現が現れるという、自己教師あり学習の核心的教訓を示す。

一方、予測型の中でも単方向(自己回帰)と双方向(復元) の選択は下流タスク適合性を分ける。自己回帰は「左の文脈のみ」を見るためテキスト生成に自然だが、文全体を理解せねばならない分類・抽出タスクには双方向復元が有利である。このため生成に強いGPT系と理解に強いBERT系が分かれ、近年は二つの目標を統合したり状況に応じて切り替えたりするハイブリッド設計が登場している。タスクの性格(生成か理解か)に合わせて事前学習目標を選ぶことが設計の実務ポイントである。

B. 対照学習(Contrastive Learning)

対照学習は、「同じものは近く、異なるものは遠く」 という距離幾何で表現を学習する。一つの画像に異なる増強(クロップ・色変形・ぼかし)を適用して二つのビュー(view)を作ると、これらは同じ原本から出たため正の対(positive pair) であり、バッチ内の他の画像は負の対(negative pair) である。モデルは正の対の表現は引き寄せ、負の対は押しのけるよう学習するが、このとき使われる損失がInfoNCE である。代表モデルとしてSimCLR(大型バッチで負サンプルを確保)とMoCo(モメンタムエンコーダとキューで負サンプル銀行を維持)がある。

対照学習の原理的強みは意味的不変性(invariance)の学習である。同じ客体を多様に変形しても同じ表現が出るよう強制するため、モデルは色・角度・背景のような枝葉的変化に鈍感で、客体の本質に敏感な表現を得る。ただし弱みも明確で、多数の負サンプルが必要なため大きなバッチやメモリバンクが要求され、負サンプルに同じ意味の画像が混ざる「偽陰性(false negative)」問題が性能を損なう。実務ではImageNet線形プロービング基準でSimCLRが教師あり事前学習に近い精度(約76%)を達成し、「ラベルなしでも教師ありクラスの表現」が可能であることを実証した。

対照学習でデータ増強の選択が表現の性格を決定するという点も重要な設計上の洞察である。増強で何を「同じとみなす」かが、すなわち「何に不変な表現を作るか」を定義するからである。たとえば色変形を正の対に含めると色に鈍感な表現が生じるが、これは一般的な物体認識には有利でも、色が核心的手がかりとなるタスク(例:花・鳥類分類)にはむしろ有害となりうる。したがって下流タスクの性格を考慮して増強ポリシーを設計せねばならず、これは対照学習が「増強に込められた事前知識(inductive bias)を学習へ注入する」技法であることを示す。

C. 非対照(自己蒸留)型 — 負サンプルなしの学習

非対照型は、負サンプルなしに正の対のみで表現を学習する。負サンプルなしに「二つのビューを一致させよ」だけにすると、すべての入力が同じベクトルへ収束する崩壊(collapse) が起こるため、これを防ぐ巧妙な仕掛けが核心である。BYOLはオンラインネットワークと指数移動平均(EMA)で更新されるターゲットネットワークを置き、一方に予測器(predictor)と勾配停止(stop-gradient)をかけて崩壊を回避する。SimSiamはより単純に勾配停止のみで同じ効果を出す。DINOは教師-生徒の自己蒸留(self-distillation)に中心化(centering)・鋭化を結合する。

非対照型の実務的含意は効率性と安定性である。負サンプルが不要なため小さなバッチでも動作し、偽陰性問題も消える。特にDINO/DINOv2はビジョントランスフォーマー(ViT)と結合し、ラベルなしでも客体の境界を自ら分割(segmentation)するアテンションマップを創発させて注目された。メタ(Meta)のDINOv2は1億4千万枚の選別画像で事前学習し、深度推定・分割・分類など多数のタスクで微調整なしでも強力な汎用ビジョン表現を提供するビジョン基盤モデルとして活用される。

非対照型が「崩壊をどう防ぐか」は、見かけは些細に見えるが理論的に興味深い点である。BYOLが勾配停止と予測器のみで負サンプルなしに崩壊を避ける仕組みは、当初「なぜできるのか」が謎であり、以後、非対称構造が暗黙的に表現の多様性を維持するという分析が続いた。実務観点の教訓は、自己教師あり学習の成否が大仰なアーキテクチャよりも崩壊防止・次元削減抑制のような微細な学習仕掛けに大きく左右されるという点であり、したがって再現時にこれら詳細設定をそのまま踏襲することが重要である。

D. マスキングモデリング(Masked Modeling)

マスキングモデリングは、入力のかなりの部分を隠したうえでそれを復元させる系統であり、現在、言語・ビジョンの両方で事実上の標準となった。言語のBERTは文トークンの約15%を[MASK]で隠し、双方向文脈でこれを予測(MLM, Masked Language Modeling)して、文脈を両側へ読む表現を学習する。これはGPTの単方向自己回帰と対比され、文理解・分類タスクで強みを見せる。

ビジョンのMAE(Masked Autoencoder) は、画像パッチの75%という高い比率を隠したうえで、残り25%のみで全体を復元する。隠す比率が高いほど近道が塞がれ、より意味ある表現を学習するようになり、エンコーダは見えるパッチのみ処理するため計算効率も高い。マスキングモデリングの原理的強みは、生成型(復元)と自己教師ありの結合で近道に強く拡張性に優れる点であり、マルチモーダル(画像+テキスト)・オーディオ・時系列へ幅広く拡張されている。産業適用事例として、工程センサー時系列にマスキング復元を適用してラベルなしで正常パターンを学習し、その後異常検知へ転移する方式が製造現場で活用される。

言語とビジョンでマスキング比率が大きく異なる点(BERT 15% vs MAE 75%)は、モダリティの情報密度(information density) の違いで説明される。言語はトークン一つ一つが高密度の意味を担うため、少し隠すだけでも復元が難しいが、画像は隣接画素が冗長(redundant)であり、少し隠すと周囲からそのまま写して復元する近道が生じる。したがって画像は多く隠してこそ初めて「意味を推論」するようになる。このように自己教師ありタスクのハイパーパラメータすらデータの統計的性質に合わせて調整せねばならないという点は、自己教師あり学習がタスク設計の工学であることを改めて示す。

4. 教師あり・教師なし・転移学習との比較

自己教師あり学習の位置を明確にするには、隣接パラダイムとの違いをその「違いが生じる理由」まで指摘せねばならない。表は補助的整理であり、核心はラベルの出所と学習目標の性格である。

区分	ラベル出所	学習目標	代表技法	データ要件
教師あり学習	人が手作業で付与	入力→正解の写像	CNN分類, 回帰	ラベル多, 高価
教師なし学習	なし	構造・分布の発見	K-means, PCA, オートエンコーダ	ラベル不要
自己教師あり学習	データから自動生成	汎用表現学習	BERT, SimCLR, MAE	非ラベル大 + 少量ラベル
転移学習	(事前学習モデルの再利用)	知識移転	ファインチューニング, 特徴抽出	事前学習 + 下流ラベル

教師あり学習との本質的違いは、ラベルを人が与えるか、データが自ら供給するかである。教師あり学習は正確な正解を使うためタスクが明確だが、ラベルコストが規模の上限を決める。自己教師あり学習は正解をデータから自動生成するため規模制約が解けるが、タスク設計を誤ると下流タスクと無関係な表現を学習する危険がある。すなわち両者の違いは「正確性対拡張性」のトレードオフに帰着し、実務では自己教師あり事前学習 + 少量ラベル微調整という結合が両方の長所を取る支配的戦略となった。

具体的な数値で見ると、このトレードオフの実益が表れる。医療画像分野の複数の研究で、ラベルが全体の1〜10%のみという低資源設定のとき、自己教師あり事前学習後に微調整したモデルは、一から教師あり学習したモデルよりも数%pから時に二桁%pまで高い精度を見せる。ラベルが十分になると差は縮むが、事前学習表現は依然として収束速度と汎化で利点を与える。すなわち「ラベルが貴重なほど自己教師あり学習の相対的利得が大きくなる」という規則性が比較の核心的含意である。

教師なし学習との違いは微妙だが重要である。自己教師あり学習は広く見れば教師なし学習(ラベルなし)に属するが、伝統的教師なし学習がクラスタリング・密度推定のような「構造発見」自体を目標とするのに対し、自己教師あり学習は教師あり学習の予測-損失の枠組みをそのまま借りて転移可能な表現を作ることに目的がある。転移学習との関係は包含関係に近い。転移学習は「事前学習された知識を下流へ移す」上位概念であり、自己教師あり学習はその事前学習段階をラベルなしで行う具体的方法である。今日の基盤モデルの転移学習は、ほぼ全面的に自己教師あり事前学習を前提とする。

5. 深化 — 最新動向と産業への拡散

自己教師あり学習は、単一モデルの技法を超えて基盤モデル時代の共通エンジンへと拡散している。第一に、マルチモーダルSSLが急浮上した。CLIPは画像-テキスト4億対を対照学習で整列させ、ラベルなしでも任意のカテゴリを分類するゼロショット(zero-shot)能力を得た。この「異なるモダリティを同じ表現空間に整列させる」原理は、以後、画像・オーディオ・ビデオを網羅するマルチモーダルモデルの土台となった。

第二に、マスキングモデリングの汎用化である。最初に言語(BERT)から出発したマスキング復元は、ビジョン(MAE)、オーディオ(wav2vec 2.0)、グラフ、時系列へ拡張され、「すべてのモダリティに通じる自己教師あり公式」として定着した。メタのdata2vecは、モダリティに無関係に同一の学習枠組み(教師表現を生徒が予測)を適用し、音声・ビジョン・言語を一つのアルゴリズムで処理する統合自己教師ありフレームワークを提示した。第三に、世界モデル(world model)とJEPAである。ヤン・ルカンが提案したI-JEPA/V-JEPAは、画素レベルの復元の代わりに表現空間での予測を行い、生成負担を減らしつつより意味中心的な表現を学習しようとする最新の方向として注目される。

この流れの背景には、「画素を復元するのに使われるモデル容量が、実は意味と無関係な細部の質感再現に浪費される」という問題意識がある。JEPA系は入力を隠したうえでその部分の表現(embedding)のみを予測するため、モデルが些細な質感の代わりに場面の構造・関係のような抽象的情報に集中するよう誘導する。これは自己教師あり学習が「ピクセルを当てる生成タスク」から「世界の抽象的構造を予測するタスク」へ進化する方向を示し、今後ロボティクス・自動運転の予測的世界モデルと結びつく潜在力が大きい。

第四に、効率的適応技法との結合である。事前学習された巨大表現を毎回全体微調整するのは高価であるため、LoRA・アダプタ・プロンプトチューニングのように少数パラメータのみを更新する効率的適応(PEFT)が自己教師あり事前学習と対をなす。すなわち「自己教師ありで広く事前学習 → 軽量技法で安価に適応」という分業が定着しており、これが自己教師あり学習を産業で実用的に運用する核心的運用モデルとなった。

産業適用の面で、自己教師あり学習はラベルが高価な専門領域で特に価値を発揮する。医療ではラベルのない大量のX線・CTで事前学習した後、少量の診断ラベルで微調整してデータ不足を克服し、金融では非ラベルの取引ログで正常パターンを学習して異常取引・詐欺を検知する。製造では工程センサー・設備ログにマスキング復元の自己教師ありを適用し、予知保全(predictive maintenance)の表現基盤とする。共通点はいずれも「ラベルは少ないが生データは豊富な」環境である点であり、これが自己教師あり学習が応用AIの基本戦略として定着する理由である。

6. 考慮事項および示唆点

自己教師あり学習を組織とシステムに適用する際、技術士の観点から考慮すべき戦略的事項は次のとおりである。

第一に、事前学習コスト対転移効果のトレードオフを設計せねばならない。大規模な自己教師あり事前学習は膨大なGPU・データ・エネルギーを要するため、すべての組織が一から学習する必要はない。公開された基盤モデル(DINOv2・BERT・CLIP)を再利用し、自社領域データで追加の自己教師あり適応(continued pretraining)後に少量ラベルで微調整する段階的戦略が費用効率的である。自前の事前学習は領域特殊性が大きくデータが十分なときのみ正当化される。

第二に、表現崩壊・近道学習の防止が品質を左右する。非対照型の崩壊、手製タスクの近道のように、自己教師あり学習は設計の失敗が「表面上の損失は低いが無用な表現」へつながりうる。したがって線形プロービング・下流タスク性能で表現品質を独立検証する評価体系を必ず併行し、データ増強・マスキング比率のようなハイパーパラメータを慎重に調整せねばならない。

第三に、データ偏向とガバナンスを警戒せねばならない。自己教師あり学習はラベル検収の過程がないため、ウェブから掻き集めた大規模データの偏向・有害・著作権の問題がそのまま表現に刻印される。データ出所管理、フィルタリング、個人情報の非識別化、ライセンス点検のようなデータガバナンスがモデル信頼性の前提であり、AI信頼性・説明可能性の要件と連携して管理せねばならない。

第四に、評価・転移の標準化とMLOps連携である。自己教師あり表現は複数の下流タスクへ再利用されるため、表現のバージョン管理・転移性能追跡・ドリフト監視をMLOpsパイプラインへ統合してこそ再現性と運用安定性を確保できる。事前学習モデルを資産(asset)として登録・管理するモデルレジストリと結合してはじめて、組織レベルの再利用効果が最大化される。

第五に、下流タスク適合性の検証と過剰期待の警戒である。自己教師あり表現が常に教師あり学習を凌駕するわけではなく、ラベルが十分でタスクが狭い場合には、一から教師あり学習したモデルのほうが優れることもある。また事前学習データ分布と下流タスク分布が大きく異なると(領域間隙)転移効果は急減する。したがって「自己教師ありが万能」という過剰期待を警戒し、ラベル可用性・領域近接性・コストを基準に、教師あり学習・自己教師あり学習・外部基盤モデルの活用のうち適切な戦略を選択する意思決定体系が必要である。

第六に、連携技術との統合展望である。自己教師あり学習は埋め込み・転移学習・基盤モデル・RAG・マルチモーダルAIの共通下部技術であるため、個別技法ではなくAIプラットフォームの表現層(representation layer) として認識し投資せねばならない。今後は画素復元型から表現予測型(JEPA)へ、単一モーダルから統合マルチモーダルへ、手動微調整からプロンプト・インコンテキスト適応へと重心が移動する見通しである。

参考資料

Yann LeCun, "Self-supervised learning: The dark matter of intelligence", Meta AI Blog, https://ai.meta.com/blog/self-supervised-learning-the-dark-matter-of-intelligence/
Chen et al., "A Simple Framework for Contrastive Learning of Visual Representations (SimCLR)", https://arxiv.org/abs/2002.05709
He et al., "Masked Autoencoders Are Scalable Vision Learners (MAE)", https://arxiv.org/abs/2111.06377
Oquab et al., "DINOv2: Learning Robust Visual Features without Supervision", https://arxiv.org/abs/2304.07193

一言まとめ: 自己教師あり学習は、人が付与したラベルなしにデータ自体から学習信号を作って汎用表現を得るパラダイムであり、予測・対照・非対照・マスキングの方法論を通じてGPT・BERT・DINOなど基盤モデルの事前学習エンジンとなり、「ラベルのボトルネック」を迂回する現代AIの核心戦略である。