HeatWavejp_Meetup_09_HeatWaveAutoMLで利用できる機械学習の概要とレコメンデーションの紹介

>100 Views

February 25, 25

#HeatWave AutoML #機械学習 #教師あり学習 #SQL #レコメンデーション

スライド概要

本セッションでは、 HeatWave AutoML で利用できる機械学習の概要や具体的にどのような流れで機械学習処理を行っていくかを説明していき、最後に実際にレコメンデーションを作成した際のポイントや感想などを紹介します。

【登壇者】
株式会社スマートスタイル
データベース&クラウド事業部技術本部 DB部
高橋宣幸氏, 笠原佳多　氏

HeatWavejp

@heatwavejp

スライド一覧

HeatWavejpは、MySQL HeatWave の良さを知っていただき、参加者同士でノウハウやナレッジを共有できるユーザーコミュニティです。参加者同士のつながりを深めるため、以下の活動を行ってまいります。 COMMUNICATION *Slackやconnpassを活用したユーザー同士のコミュニケーションの場の提供 EVENT *オンライン/オフラインでのMeetupセミナーや勉強会の開催（隔月程度） SHARING *製品情報や最新アップデート、リリース情報の共有 INTERACT *参加者のコミュニティ・ネットワークやユーザー同士の交流を促進

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 3.57MB)

関連スライド

HeatWavejp_Meetup_09_HeatWaveGenAIで社内データを徹底活用(できるのか)

HeatWavejp 353

[HeatWavejpMeetup#08] OCI GoldenGate を用いたAutonomous Database から MySQL HeatWave へのデータ連携 [稲葉祐人氏（スマートスタイル）]

HeatWavejp 203

HeatWavejp_Meetup_11_HeatWave事例紹介

HeatWavejp 184

AWSから分析基盤を移行_その理由と効果

HeatWavejp 129

HeatWavejp_Meetup_07_【LT5】HeatWaveのLakehouse機能を触ってみよう！自動化してみよう！

HeatWavejp >100

HeatWavejp_Meetup_06_MySQL HeatWaveのインバウンドレプリケーション機能

HeatWavejp >100

各ページのテキスト

https://www.nri.com/jp/knowledge/glossary/lst/ka/machine_learning

機械学習とは？ ◆機械学習は3種類存在する 1. 強化学習繰り返し試行錯誤のやりとりを重ねることによってタスクを実行できるようにする手法 2. 教師なし学習学習データに正解を与えない状態で学習させる手法 3. 教師あり学習学習データに正解を与えた状態で学習させる手法 HeatWave AutoMLでは教師あり学習をサポート！ Copyright © 2024 HeatWavejp All Rights Reserved.

機械学習とは？ ◆例) 教師あり学習で犬の種類を学習させる 1. 犬の種類の正解が付いた特徴をコンピューターに学習させるゴールデンレトリバー大型金色チワワ毛が長い尻尾が長い柴犬小型白色中型茶色毛が短い尻尾が短い毛が短い尻尾が短い 2. 柴犬の画像を提示し、その画像が柴犬と予測できるか確認する Q.この画像は何？ A.柴犬だと思います Copyright © 2024 HeatWavejp All Rights Reserved. 毛が短く、茶色くて、尻尾が短い中型犬… おそらく柴犬であろう

HeatWave AutoML の機能紹介 ◆機械学習を簡単に利用できる機能=AutoML • HeatWave AutoMLで事前に用意されているルーチン(SQL)を実行するだけで、機械学習モデルの作成や予測などを自動で行える • 「教師あり学習」に対応 ➢正解のデータを学習させることで、パターンの識別や予測を実行できる Copyright © 2024 HeatWavejp All Rights Reserved.

HeatWave AutoML の機能紹介 ◆HeatWave AutoML機能を利用するメリット • すでに格納されているデータをもとにSQLで簡単に機械学習が可能 ➢一般的に機械学習はPythonを利用するが、SQLを利用できるため、学習コストが少ない ➢新たにデータの収集やDBからデータを取り出して加工することが不要 • HeatWaveを利用していれば追加費用なしで利用可能 • 他社製品と比べて高速なトレーニングを行える ➢HeatWave AutoMLはAmazon Redshift ML より平均25倍高速 Copyright © 2024 HeatWavejp All Rights Reserved.

10.

11.

12.

アヤメの分類をもとにしたAutoMLの実行 ◆本項の内容 • HeatWave AutoML WORKSHOPの「アヤメの分類」のワークショップを検証環境で実行 • 日本オラクル社の⽣駒様がGithub上で公開しているワークショップ • 検証環境で実行したワークショップの内容をもとに HeatWave AutoMLの機能の実行例を紹介 Copyright © 2024 HeatWavejp All Rights Reserved.

https://github.com/ikomachi226/mysql_heatwave_automl_workshop?tab=readme-ov-file

13.

アヤメの分類をもとにしたAutoMLの実行 ◆アヤメの分類について • 事前に用意したアヤメ(Iris)のがく片と花びらのデータを用いて、アヤメの品種(クラスラベル)がどれかを予測する • 予測に用いるアヤメの特徴 sepal length：がく片の長さ (cm) sepal width：がく片の幅 (cm) petal length：花びらの長さ (cm) petal width：花びらの幅 (cm) • 予測するアヤメの品種(クラスラベル) 予測①：Iris Versicolour(ブルーフラッグ) 予測②：Iris Setosa(ヒオウギアヤメ) 予測③：Iris Virginica(バージニカ) Copyright © 2024 HeatWavejp All Rights Reserved. がく片(sepal): 蕾の段階で花を包み保護する部分花びら(petal): 葉のような部分

14.

アヤメの分類をもとにしたAutoMLの実行 ◆ここから実施することの流れ 1. HeatWaveインスタンスの作成 2. HeatWaveインスタンスへの接続 3. データの作成 4. トレーニング(ML_TRAIN) 5. モデルのロード(ML_MODEL_LOAD) 6. 推論(ML_PREDICT_*) 7. 説明の⽣成(ML_EXPLAIN_*) 8. モデルの検証(ML_SCORE) Copyright © 2024 HeatWavejp All Rights Reserved.

15.

16.

17.

18.

19.

20.

21.

22.

23.

アヤメの分類をもとにしたAutoMLの実行 ◆2. HeatWaveインスタンスへの接続 • 踏み台のCompute InstanceからHeatWaveインスタンスへ接続 1. 2. 3. 4. OCIのCompute InstanceにてOracle Linux環境を作成作成したCompute InstanceにTeraTerm等でSSH接続 Compute InstanceにMySQL Shellをインストール MySQL Shellを利用してHeatWaveインスタンスへ接続 mysqlsh -u admin -p -h <ホスト名> -P3306 –sql ➢上記の詳細な手順はOCIチュートリアルの以下を参照その3 - インスタンスを作成するその9 - クラウドでMySQL Databaseを使う - 4. MySQLクライアント、 MySQL Shellのインストール Copyright © 2024 HeatWavejp All Rights Reserved.

24.

アヤメの分類をもとにしたAutoMLの実行 ◆3. データの作成例) テーブルデータのイメージ • iris-ml-data.txt内のSQLを実行 sepal length • 今回は意図した推測を行ってほしいので、 Iris-sentosaのpetal lengthとwidthの値を SQL実行前に変更(右の画像赤枠) • テーブルは以下列で構成 • 推測で利用する特徴のデータが格納された列 sepal length：がく片の長さ (cm) sepal width：がく片の幅 (cm) petal length：花びらの長さ (cm) petal width：花びらの幅 (cm) • 推測するアヤメの品種が格納された列 class：アヤメの品種 Copyright © 2024 HeatWavejp All Rights Reserved. sepal width petal length petal width class 4.0 2.0 3.3 1.0 Iris-setosa 4.5 2.1 4.4 1.4 Iris-setosa 4.2 2.2 3.9 1.4 Iris-setosa 4.9 3.1 1.5 0.1 Iris-versicolor 5.7 3.8 1.7 0.3 Iris-versicolor 4.4 3.2 1.3 0.2 Iris-versicolor 6.4 2.8 5.6 2.2 Iris-virginica 4.9 2.5 4.5 1.7 Iris-virginica 6.9 3.1 5.1 2.3 Iris-virginica テーブル名：iris_train データ量：120行

https://github.com/ikomachi226/mysql_heatwave_automl_workshop/blob/main/lab4/iris-ml-data.txt

25.

アヤメの分類をもとにしたAutoMLの実行 ◆4. トレーニング(ML_TRAIN) • 用意したデータをもとにトレーニング済みモデルを作成し、そのモデルをカタログに保存するコマンド • CALL sys.ML_TRAIN ('table_name', 'target_column_name', [options], model_handle); • 実行例(モデル@iris_model01を作成) Copyright © 2024 HeatWavejp All Rights Reserved.

https://dev.mysql.com/doc/heatwave/en/mys-hwaml-ml-train.html

26.

https://dev.mysql.com/doc/heatwave/en/mys-hwaml-ml-model-load.html

27.

アヤメの分類をもとにしたAutoMLの実行 ◆6. 推論(ML_PREDICT_*) • 行およびテーブルのデータに対し、どのような結果が求められるかの予測を行う • 行データに対する予測：ML_PREDICT_ROW • テーブルデータに対する予測：ML_PREDICT_TABLE • 今回は1行のデータに対する予測であるためML_PREDICT_ROWを利用 SELECT sys.ML_PREDICT_ROW(JSON_OBJECT("column_name", value, "column_name", value, ...),model_handle, options); Copyright © 2024 HeatWavejp All Rights Reserved.

28.

アヤメの分類をもとにしたAutoMLの実行 ◆6. 推論(ML_PREDICT_*) • 以下数値からAutoMLがどの品種のアヤメかを推測を実施がく片の長さ：4.4cm がく片の幅：2.5cm 花びらの長さ：3.0cm 花びらの幅：1.0cm • AutoMLはヒオウギアヤメ(Iris Setosa)と回答すると予想 • ヒオウギアヤメは一般的にがく片の長さは4～4.5cm、幅2～2.5cm • ヒオウギアヤメの花びらの幅と長さが記載された情報はないものの、写真を見る限り長さ3cm程度、幅1cm程度に見受けられた • 参考：ヒオウギアヤメ Copyright © 2024 HeatWavejp All Rights Reserved.

https://mikawanoyasou.org/data/hiougiayame.htm

29.

30.

アヤメの分類をもとにしたAutoMLの実行 ◆7. 説明の⽣成(ML_EXPLAIN_*) • データからどのようにして推測したかの説明を⽣成 • 行データからの推測の説明：ML_EXPLAIN_ROW • テーブルデータからの推測の説明：ML_EXPLAIN_TABLE • 今回は先に実行したML_PREDICT_ROWで推測した内容の説明を確認するため、行データの推測の説明を求めるコマンドを実行 SELECT sys.ML_EXPLAIN_ROW(JSON_OBJECT("column_name", value, "column_name", value, ...)', model_handle, options); • コマンド実行で特徴値の重要度が-1 から 1 までの値として表示される • 0 または 0 に近い値の場合、推論に影響を与えないことを示す • -1 は推論の参考にならない、かつ現実的にあり得ないことを示す • 1 または1に近い値の場合、推論に影響を与えたことを示す • 今回はがく片の値が影響したという説明が出ると予想 Copyright © 2024 HeatWavejp All Rights Reserved.

31.

アヤメの分類をもとにしたAutoMLの実行 ◆7. 説明の⽣成(ML_EXPLAIN_*) • 実行結果 Notesに「がく片の長さがヒオウギアヤメの予測に最も大きな影響を与えた」と表示 ⇒予想通りがく片が影響を与えたという説明が表示された「がく片」の長さの特徴値が1に近いため • • • Copyright © 2024 HeatWavejp All Rights Reserved. この赤枠の数値が特徴値の重要度を示す花びらの幅(petal width)が 0.58 がく片の長さ(sepal length)が 0.99

32.

アヤメの分類をもとにしたAutoMLの実行 ◆8. モデルの検証(ML_SCORE) • モデルの評価を得点として出力するコマンド CALL sys.ML_SCORE(table_name, target_column_name, model_handle, metric, score, [options]); • balanced_accuracyスコアリングメトリックを利用して得点を出す • balanced_accuracyはデータの偏りがなく、バランスの取れた正解率の評価を行うメトリック • 参考：balanced_accuracy_score • コマンド出力される評価の値は、0に近いと悪い評価、 1に近いと良い評価 Copyright © 2024 HeatWavejp All Rights Reserved.

33.

https://dev.mysql.com/doc/heatwave/en/mys-hwaml-ml-score.html

34.

アヤメの分類をもとにしたAutoMLの実行 ◆AutoML実行結果の考察 • 品種の推測結果とその過程は予想通り • トレーニングで利用したテーブル” iris_train”のデータは120行とデータ量は多くはないものの、ヒオウギアヤメと判断できる「がく片」のデータが十分学習されていたものと考えられる • ML_SCOREの評価は微妙 • 各品種で偏りのない数値を格納できれば、評価は上がるものと考えられる • 推論の後に評価を実施したが、推論の前に評価を実施し、トレーニングをし直してモデルの評価を高めれば、より精度の高い推論が行えると考えられる Copyright © 2024 HeatWavejp All Rights Reserved.

35.

36.

37.

38.

ざっくり言うと「協調フィルタリング」は・・・ ①ユーザベース型：好みが似ている「人」からオススメする！評価高を優先 (過去データ) (現在) Bさんには「納豆」をオススメしよう！ ②アイテムベース型：関連度が高い「物」をオススメする！ごはんのお供に「味噌汁」はいかがでしょうか！ HeatWave AutoMLでは、「どちらも採用！？」 Copyright © 2024 HeatWavejp All Rights Reserved.

39.

https://apexapps.oracle.com/pls/apex/r/dbpm/livelabs/view-workshop?wid=3859&clear=RR,180&session=3985345855664

40.

https://apex.oracle.com/ja/

41.

https://grouplens.org/datasets/movielens/100k/

42.

43.

44.

45.

46.

47.

48.

49.

50.

所感 ◆映画レコメンデーションアプリの考察 • DBに登録されているデータを使って、簡単に機械学習が行える • 機械学習にかかる時間が思っていたよりも短い • Oracle APEXを利用して、全くコーディングせず画面が作成できた • UPDATE文を利用して画像ファイルパスを登録したが、数が多いと間違える可能性もあるので、この点は今後に期待 Copyright © 2024 HeatWavejp All Rights Reserved.

51.