146 Views
March 31, 25
スライド概要
クラウド食堂 大気汚染予測モデルをSagemakerで作って、 光化学オキシダント濃度予測しようとした話 2025/03/26 阿部健太郎
自己紹介 名前:阿部 健太郎(あべ けんたろう) 所属:富士ソフト株式会社 業務:ポータルサイト保守運用 社会人2年目 趣味:ダーツ 資格:修士(工学)(大気汚染について) 公害防止管理者(水質一種)合格率:27.2% 技術士補(環境)相当認定 合格率:30~50% AWS SAP(1年目に取得)
目次 ・SageMaker Canvasを使ってみようと思ったきっかけ ①大気汚染と研究の主流 ・やってみようとした結果 ①アプリケーションの構成 ②失敗談 ③やりたかった事のイメージ ・まとめと感想
光化学オキシダント(Ox) 光化学オキシダント(Ox)は二次汚染物質 二次汚染物質:大気中において、化学変化によって生成される 発生源が特定しにくい。 Oxは以下のような問題 ①環境基準達成率が0.2%(2020年) 早急な対策がもめられている 出典:環境省・文部科学省 ECO学習ライブラリーより ②健康被害があるため大気汚染防止法で 注意報や警報が定義。 実測が基準値を超えてから発令されるため、回避が難しい 対策検討に必要な発生源寄与度や排出量変化による 濃度の応答は実測が困難 大気質(数値)モデルによる推計が一般的
大気質モデルと研究の主流 CMAQ(Community Multiscale Air Quality)という大規模モデルが主流 都市や地域が直面する大気中の様々な汚染を 汚染物質の相互影響も含めて同時に取り扱い、1つの大気として 予測計算が行える。 対策検討に置いて一定以上の成果 ※問題点 複雑な物理、化学変化に加え気象を計算するため、 計算コストが高く予測計算に時間がかかる 直前予測には向かない。 回避予報のようなことは難しい 大気環境分野でも深層学習を用いた予測研究が流行 研究室で検討したが、当時のスキルと時間のなさから断念 SageMaker Canvasを使ったら作れるのでは?
SageMaker Canvasとは ・SageMaker AWSが提供するフルマネージドサービス ・機械学習を実施するうえで必要なデータの前処理や作成 ・機械学習(ML)モデルの構築、学習 ・学習モデルのデプロイ 一連のプロセスを行う機能が用意されています。 ・SageMaker Canvas Amazon SageMakerでは機会学習を実行するために、 一連のプロセスをSageMaker Studioの中でCLIにて実行する必要。 Amazon SageMaker CanvasはCLIでのオペレーションを一切排除 AWSコンソール上でオペレーションを行うことができるため、 誰でも簡単に機会学習を行うことが可能なサービス。 Sagemaker Canvasで予測モデルを構築
アプリ構成1 ・1時間おきに1時間先の濃度予測を実施 ・基準値を超えた時にSNSでアラートを通知 ・予測結果をブラウザで表示(構成図未反映) 入力データ 取得 予測とデータ の保存 予測濃度が 一定以上で通知
アプリ構成2 ・1時間おきに1時間先の濃度予測を実施 ・基準値を超えた時にSNSでアラートを通知 ・予測結果をブラウザで表示 構成図1で書いた予測結 果が入ったDynamo
モデルの入力データ ・環境展望台(https://tenbou.nies.go.jp/) 大気汚染常時監視データ 対象年度:2009~2022年 対象地点:埼玉県(93地点) 物質:Ox、PM2.5、NO、NO2、NOX 気象データ:気温、風向、風速 約1000万行の8000万セルの入力データ ・あとはSagemakerでトレーニングしてモデルを作って、 予測の精度を確認するだけ
失敗談 ・あとはSagemakerでトレーニングしてモデルを作って、 予測の精度を確認するだけ が!
予測するのに時間がかかる おおっと、事件発生! ①モデルを作るのに1.5日を要する。(張り切りすぎた) ②モデルを使った予測をしてみると予期せぬエラーが発生 ググるとSMは、クォータの緩和申請が必要 うおおおまにあわぬ(クォータ緩和まで5日)
やりたかったこと 今回は、ここまで。 予測結果がこんな感じで表示できる予定だった・・・ 地点ごとの予測精度検証 川越 120 実測 予測 濃度(ppb) 100 80 60 40 20 0 7/21 9:00 7/22 7:00 7/23 5:00 時刻 7/24 3:00 7/25 1:00
教訓とまとめ ・Sagemaker Canvasをつかうときは、 緩和申請やモデルの作成時間を検討 ・いい学び:計画とゴールを作り準備 LTで登壇する勇気をゲット ・続きをどこかのLTで発表したい
ご清聴ありがとうございました