今日の学び: 2019/03/22

仕事ではじめる機械学習

Amazon CAPTCHA

4章 システムに機械学習を組み込む

4.1 システムに機械学習を含める流れ

4.2 システム設計

バッチ処理とバッチ学習を混同しないこと。

処理

• バッチ処理

一括で何かを処理すること、またその処理そのもの。

• リアルタイム処理

刻々と流れてくるセンサーデータやログデータに対して逐次処理をすること。

学習

• バッチ学習(一括学習)

データをまとめて処理する最適化方針

• オンライン学習(逐次学習)

データを１レコードずつ処理する最適化方針

• ミニバッチ学習(一括学習と逐次学習の中間)

ある程度のデータをサンプリングしたグループを作り、このグループに対する一括学習を繰り返す。

Note: バッチ処理で逐次学習はあり得る。

用語:

バンディッドアルゴリズム: 実データに基いてWebサイトなどの改善を行う手法の総称

ツール

Oryx
GitHub - OryxProject/oryx: Oryx 2: Lambda architecture on Apache Spark, Apache Kafka for real-time large scale machine learning

jubatus
Jubatus : オンライン機械学習向け分散処理フレームワーク — Jubatus

sckit-learn
scikit-learn: machine learning in Python — scikit-learn 0.20.3 documentation

次回

4.3 ログ設計から