何から何が生まれたか。原本を体系として読む
いま生きている（現役）もののうち、世界で最も引用されている10本を、古い順に並べたものです。上から読むと、後の論文がなぜその形をしているのかが分かります。
| # | 年 | 名前 | 被引用数 | 何を示したか |
|---|---|---|---|---|
| 1 | 1950 | チューリングの問い Computing Machinery and Intelligence | 11,976 | 「機械は考えることができるか」を、模倣ゲームという観測可能な形に置き換えた。 |
| 2 | 1986 | 誤差逆伝播法 Learning representations by back-propagating errors | 31,680 | 多層のネットワークの重みを、出力の誤差から逆向きに調整する方法。 |
| 3 | 1989 | 畳み込みニューラルネット Backpropagation Applied to Handwritten Zip Code Recognition | 12,246 | 画像の局所的な形を捉える畳み込みを、学習可能な層として組み込んだ。 |
| 4 | 2015 | 残差接続 Deep Residual Learning for Image Recognition | 227,991 | 層を飛び越える経路を足すことで、非常に深いネットワークを学習可能にした。 |
| 5 | 2017 | Transformer Attention Is All You Need | 190,998 | 再帰も畳み込みも使わず、注意機構だけで系列を扱えることを示した。 |
| 6 | 2020 | GPT-3 Language Models are Few-Shot Learners | 62,781 | 規模を上げるだけで、追加学習なしに例示だけで新しい課題を解けるようになった。 |
| 7 | 2021 | AlphaFold2 Highly accurate protein structure prediction with AlphaFold | 46,961 | タンパク質の立体構造予測を、実験に迫る精度で解いた。 |
| 8 | 2021 | 潜在拡散モデル High-Resolution Image Synthesis with Latent Diffusion Models | 27,104 | ノイズを段階的に取り除いて画像を作る方式を、圧縮された潜在空間の上で行った。 |
| 9 | 2023 | GPT-4 GPT-4 Technical Report | 26,926 | 画像も扱えるようになり、多くの専門試験で人間の上位水準に達した。 |
| 10 | 2023 | RT-2 RT-2: Vision-Language-Action Models | 273 | 言語と画像で学んだモデルに、ロボットの動作を同じ形式で学ばせた。 |
原本の関連の列から自動で作っています。左が親、右がそこから生まれたものです。
| 年 | 親 | そこから生まれたもの | |
|---|---|---|---|
| 1943 | 人工ニューロンの最初のモデル | → | パーセプトロン (1958) |
| 1956 | ダートマス会議 | → | チューリングの問い (1950) |
| 1958 | パーセプトロン | → | パーセプトロンの限界 (1969) |
| 1969 | パーセプトロンの限界 | → | 誤差逆伝播法 (1986) |
| 1986 | 誤差逆伝播法 | → | 畳み込みニューラルネット (1989) |
| 1989 | 畳み込みニューラルネット | → | AlexNet (2012) |
| 1997 | Deep Blueがカスパロフに勝利 | → | AlphaGoが李世乭に勝利 (2016) |
| 1997 | 長短期記憶 | → | Transformer (2017) |
| 2014 | 敵対的生成ネットワーク | → | 潜在拡散モデル (2021) |
| 2015 | 残差接続 | → | Transformer (2017) |
| 2017 | Transformer | → | BERT (2018) GPT-3 (2020) |
| 2018 | BERT | → | GPT-3 (2020) |
| 2020 | GPT-3 | → | ChatGPT公開 (2022) |
| 2021 | 潜在拡散モデル | → | 敵対的生成ネットワーク (2014) |
| 2022 | ChatGPT公開 | → | GPT-3 (2020) GPT-4 (2023) |
| 2023 | GPT-4 | → | ChatGPT公開 (2022) |
| 2023 | Open X-Embodiment | → | RT-2 (2023) |
| 2023 | RT-2 | → | Open X-Embodiment (2023) Transformer (2017) |
どの分野に何件あり、いつからいつまで続いているか。
| 分野 | 件数 | 年の幅 | 代表（被引用の多い順） |
|---|---|---|---|
| 基盤 | 10 | 1943〜2021 | Transformer・長短期記憶・AlphaFold2 |
| 画像 | 5 | 1989〜2021 | 残差接続・AlexNet・潜在拡散モデル |
| LLM | 4 | 2018〜2023 | BERT・GPT-3・GPT-4 |
| ロボット | 2 | 2023〜2023 | RT-2・Open X-Embodiment |
| 強化学習 | 1 | 2016〜2016 | AlphaGoが李世乭に勝利 |