>100 Views
November 17, 26
スライド概要
2026/11/20(火) 18:30 〜 21:00 開催
DataScience&DataEngineering MeetUp #3
https://techplay.jp/event/995155
ハンズオン用ソースコード
https://github.com/takimiko-gohan/snowvillage-dsde-3-handson
博士(情報学)。2012年に修士号を取得した後、西日本電信電話株式会社に入社。プライベートクラウド基盤やアプリケーション開発を経験した後、様々な技術(NW、サーバ、クラウド、プログラミング)を組合せることで、データ活用を推進するためのプラットフォームを運営。2019年から社会人ドクターとして研究活動を行い、2023年に博士号を取得。「実社会に役立つデータ活用」を推進する技術者兼研究者。
HANDS-ON / 40 MIN 需要予測 ハンズオン SQL の ML関数から、全店グローバルモデルまで Snowflake Notebook / 東京23区 × 架空のベーカリーチェーン SnowVillage DataScience&DataEngineering支部 運営一同 高須賀 将秀、児玉 蓮、滝川 皇、鷹 輝政、谷口 翔、角田 克磨 ハンズオン用ソースコード
全体説明 同じ売上データを、2つの深さで予測する 5分 20分 15分 全体説明 ① ML関数 ② グローバルモデル 題材とデータ SQL だけで Python で 準備セルの実行 売上予測と異常検知 全店を1つのモデルに 2
題材 架空のチェーン「SNOW BAKERY」 東京23区に約100店。店ごと・毎日の売上を予測します 駅ナカ 駅前 住宅街 乗降客数の多い駅の構内 駅から 80〜250m 駅から 600m 以上 3
データ 実データの上に、売上を合成 実データ 合成データ(架空) • 駅の位置・乗降客数 • 店舗 • 500m メッシュの人口 • 毎日の売上 • 23区の境界・鉄道路線 • 販促 • 祝日 • 天気 国土交通省「国土数値情報」・内閣府 店の位置と売上の大きさは、左の実データから決めています 4
いま実行してください 「0. 準備」のセルを上から順に 1 ノートブック 01_forecast_ml_functions を開く 2 「0. 準備」の4セルを実行(約1分) 3 「データ準備が完了しました」が出れば OK 5
ハンズオン① / 20分 SQL だけで 需要予測 FORECAST と ANOMALY_DETECTION を体験する
ハンズオン① ML関数は、どれも同じ3ステップ 1. 表を用意 2. CREATE で学習 3. ! で予測 学習用のビュー CREATE SNOWFLAKE.ML. モデル名 (今日は準備済み) FORECAST ... !FORECAST(...) モデルもデータも Snowflake の中。Python は書きません 7
ハンズオン① / FORECAST 12店の今月の売上を、日ごとに予測 売上と一緒に渡す情報 CREATE SNOWFLAKE.ML.FORECAST 販促 祝日 年末年始・お盆 SALES_FORECAST( INPUT_DATA => ...FC_TRAIN, 気温 降水量 SERIES_COLNAME => 'STORE_ID', TIMESTAMP_COLNAME => 'TS', TARGET_COLNAME => 'SALES'); 見るもの:実績と予測のグラフ 誤差率(WAPE)・効いた要因 8
ハンズオン① / ANOMALY_DETECTION 「いつもと違う日」を自動で見つける 学習:1年分で「ふつうの範囲」を覚える 検知:直近2か月 対象:既存店の売上合計(祝日・販促・天気も一緒に渡す) 直近2か月に、ある出来事を仕込みました 9
ハンズオン① / まとめ 表を用意 → CREATE → ! で予測 やったこと ML関数 予測で呼ぶもの 店ごとに売上を予測 FORECAST !FORECAST いつもと違う日を検知 ANOMALY_DETECTION !DETECT_ANOMALIES 次は、FORECAST では難しい「履歴のない新店」へ 10
ハンズオン② / 15分 全店を 1つのモデルで XGBoost のグローバルモデルで需要予測
ハンズオン② FORECAST との違い FORECAST(①) グローバルモデル(②) 学習の単位 店ごと 全店で1つ 新店・開業予定店 履歴が必要 似た店から学ぶ 使える情報 日ごとの外生変数 +店の属性(乗降客数・人口) 検証 学習時の評価 期間をずらしたバックテスト 運用 SQL で作って使う Registry 経由で SQL から 12
ハンズオン② / 特徴量 予測する時点で分かる値だけを使う 過去の売上(ここまでは分かる) 予測する1か月 予測する時点 ▲ 使わない 使う 昨日・先週の売上(1か月先を予測する時点では まだ分からない) 35日以上前の売上、カレンダー、天気、立地 13
ハンズオン② / 検証 期間をずらして4回テストする 1回目 学習 2回目 学習 3回目 学習 4回目 学習 テスト テスト テスト テスト 比べる相手:ベースライン(5〜8週前の同じ曜日の平均)と、①の FORECAST 4回目のテスト月は①と同じ月です 14
ハンズオン② / 後半 新店を予測し、説明し、SQL で使う 新店 SHAP Registry 開業直後の店も 予測できる? 降雨の影響は 業態で違う? SQL から来月を予測 開業予定の店も 15
おつかれさまでした データについて 後片付け 店舗・売上・販促・天気は架空のデータです。 DROP DATABASE DF_HANDSON; 実際の消費行動を表すものではありません 出典:国土交通省「国土数値情報」(駅別乗降客数・鉄道・行政区域・500mメッシュ別将来推計人口)を加工して作成/内閣府「国民の祝日」