AI.doll

にゃーん(機械学習, 深層学習, 強化学習のメモ。)

機械学習の歴史

WikipediaTimeline of machine learningというページに機械学習の歴史がまとめられた表があったので、あとから見返しやすいように全て日本語にしてみた。
日本語訳はガバガバかもしれないので心配な人は元ページを見てね。
ムムッってとこがあったらコメントで教えてほしいにゃ🐾

年表

1763 ベイズの定理のベース
トマス・ベイズ(Thomas Bayes)の著書, "An Essay towards solving a Problem in Doctorine of Chances"がベイズが死んだ2年後, 彼の友人により修正・編集され出版された.

1805 最小二乗
アドリアン=マリ・ルジャンドル(Adrien-Marie Legendre)が最小二乗(méthode des moindres carrés)について記述.

1812 ベイズの定理
ピエール=シモン・ラプラス(Pierre-Simon Laplace)がThéorie Analytique des Probabilitésを出版. その著書の中で, ベイズの研究を発展させ, ベイズの定理として知られる定理を示した.

1913 マルコフ連鎖
アンドレイ・マルコフ(Andrey Markov)が詩の分析に用いた手法について初めて記述する. この手法は現在マルコフ連鎖として知られているものである.

1950 Turing's Learning Machine(チューリングの学習機?)
アラン・チューリング(Alan Turing)が学習により人工的に知性を持つ, learning machine(学習機?)を提案する. チューリングの具体的な?提案は遺伝的アルゴリズムを予見した?.

1951 最初のニューラルネットワーク
マービン・ミンスキー(Marvin Minsky)とディーン・エドモンズ(Dean Edmonds)は最初のニューラルネットワークを作り, SNARCを学習させた.

1952 チェッカーを機械がプレイする
アーサー・サミュエル(Arthur Samuel)がIBMのポキプシー研究所の一員になり, 初めの機械学習プログラムに取り掛かり, チェッカーをプレイするプログラムを作成した.

1957 パーセプトロン
フランク・ローゼンブラット(Frank Rosenblatt)がコーネル航空技術研究所で働いている間にパーセプトロンを発明する. その発明はかなりの反響を呼び, メディアにより広く報道された.

1963 機械がTic-Tac-Toe(まるばつゲーム)をプレイする
ドナルド・ミッキー(Donald Michie)が強化学習(304個のマッチ箱とビーズで実装)によりまるばつゲームをプレイする機械を作った.

1967 最近傍
最近傍法が考案され, ベーシックなパターン認識の始まりとなった. このアルゴリズムは地図上での経路決定に用いられた.

1969 ニューラルネットワークの限界
マービン・ミンスキーシーモア・パパード(Seymour Papert)が共著書Perceptronを出版し, パーセプトロンニューラルネットワークの限界について述べた. この本が示したニューラルネットワークには根本的な限界があるという考えはニューラルネットワーク研究の障害であったと考えられている.

1970 自動微分(誤差逆伝播法)
セポ・リンナインマー(Seppo Linnainmaa)が個別に接続された入れ子状の微分可能関数のネットワークの自動微分の一般的な方法を発表する. これは現在の誤差逆伝播法と対応するが, まだそのように名付けられてはいなかった.

1972 TF-IDF
Karen Spärck Jonesがある単語が文書の集合中もしくはコーパス中でどの程度重要かを反映するための統計量TF-IDFを発表した. 電子書籍分野のテキストベースのリコメンダシステムは83%がTF-IDFを用いている.

1972 Stanford Cart
スタンフォード大学の学生が部屋を障害物を避けて案内するカート(小さな車?)を開発した.

1980 ネオコグニトロン
福島邦彦が人工ニューラルネットワークの一種である, ネオコグニトロンに関する研究を発表した. 後の畳込みニューラルネットワークはこれに着想を得ている.

1981 説明にもとづく学習
ジェラルド・デ・ヨング(Gerald DeJong)がデータを解析し, 従うことか出来て重要ではないデータを捨てられる一般的なルールを作る説明にもとづく学習を提案した.

1982 リカレント・ニューラルネットワーク
ジョン・ホップフィールド(John Hopfield)がリカレントニューラルネットワークの一種で, 連想メモリとして役立つ, ホップフィールドネットワークを広めた.

1985 NetTalk
テリー・セジノウスキー(Terry Sejnowski)が赤ちゃんと同じ方法で発音を学ぶプログラムを開発した.

1986 誤差逆伝播
デビッド・ラメルハート( David Rumelhart), ジェフリー・ヒントン(Geoff Hinton), ロナルド・J・ウィリアムス(Ronald J. Williams)が誤差逆伝播法のプロセスを説明した.

1989 強化学習
クリスト・ファーワトキンス(Christopher Watkins)がQ学習を開発したことにより, 強化学習の実用性がかなり上がった.

1989 PC上での機械学習の商業利用
Axcelis, Inc.がPC上で遺伝的アルゴリズムを商業利用した初めてのソフトウェアEvolverを発売.

1992 機械がバックギャモンをプレイする
ジェラルド・テザウロ(Gerald Tesauro)がTD学習を用いてバックギャモンをプレイする, TD-Gammonを開発. TD-Gammonは人間のトッププレイヤーには優らないか, 同程度の能力があった.

1995 ランダムフォレスト
ティン・カム・ホ(Tin Kam Ho)がランダムフォレストについて記述した論文を発表した.

1997 IBM Deep Blueがカスパロフに勝利
IBMのDeep Blueが当時のチェス世界チャンピオンに勝利した.

1997 LSTM
Sepp HochreiterとJürgen SchmidhuberがLong Short-TermMemory(LSTM)を用いたリカレントニューラルネットワークを発明し, リカレントニューラルネットワークの効率と実用性を大きく向上させた.

1998 MNIST データ
Yann LeCunのチームがアメリカ合衆国国勢調査局の局員とアメリカの高校生の手書き数字データセットである, MNISTデータベースを公開した. これ以降, MNISTデータは手書き文字認識のベンチマークとして使用される.

2002 機械学習ライブラリTorch
機械学習ライブラリであるTorchが初めて公開される.

2006 Netflix Prize
機械学習を用いて, Netflix独自のリコメンデーションソフトの精度をユーザーの映画に対する評価を予測する点において上回ることを目的とした, Netflix Prizeが開始する. この競争は2009年に決着した.

2009 ImageNet
データが現実世界を反映していないと機械学習アルゴリズムはうまく機能しない事に気づいたスタンフォード大学のFei-Fei Liにより考案された, 大規模画像データベースであるImageNetが作成された.ImageNetは21世紀のAIブームのきっかけとなった.

2010 Kaggleコンペティション
機械学習コンペティションのプラットフォームであるウェブサイトKaggleが立ち上げられる.

2011 ジョパディ!で人間に勝利
機械学習, 自然言語処理, 情報検索技術を組み合わせることでIBM Watsonがジョパディ!のチャンピオン2人に勝利した.

2012 YouTube上の猫を認識
アンドリュー・エン(Andrew Ng), ジェフ・ディーン(Jeff Dean)が率いるGoogle BrainチームがYouTube動画から抽出されたラベル付けされていない画像から学習により猫を認識したニューラルネットワークを作成した.

2014 顔認識における飛躍
Facebookの研究者がニューラルネットワークを用い, 97.35%の精度で顔を識別するシステムであるDeepFaceに関する研究を発表した. 97.35%というのはそれ以前のモデルと比べ, 27%以上の改善であり, 人間にも匹敵する精度だった.

2014 Sibyl
Googleの研究者がユーザー行動の予測とリコメンデーションの提供のためにGoogleで使われていた大規模並列機械学習のためのプロプライエタリなプラットフォームであるSibylに関する研究の詳細を述べた.

2016 囲碁で人間に勝利
GoogleのAlphaGoは機械学習と木探索を組み合わせて, ハンデ無しの人間のプロプレイヤーに勝利した初めてのコンピュータ囲碁プログラムとなった. 後にAlphaGo Zeroとして改良され, 2017年にAlphaZeroとしてチェス等の二人ゲームに一般化された.


参考文献とかはWikipediaの方を見てね(消えてたらあれだけど)