爪色の変化によるものの重さの推定に関する基礎検討

2.4K Views

March 15, 23

#爪 #爪色 #ものの #ものの重さ #画像処理 #機械学習 #重さ推定 #調査結果 #料理 #基本検討 #明治大学

スライド概要

日常生活を送る上でものの重さや量をはかることは頻繁に発生する．その際には計量器などの道具を要するが,必ずしも手元にあるとは限らず，目分量で計量してしまうことも考えられる．しかし，ひとの目分量は正確では無く，料理等で計量に間違いがあると，失敗のもととなってしまう．ここで爪色は，力を加えると赤色から白色に変化する．そこで本研究では，特別な道具なく重さをはかるため，ものを持った時の指の爪色の変化を利用する手法を提案する．また，ものの重さに対応して爪色は変化するという仮説を立て，50g 刻みの重さについて爪画像のデータセットを構築した．また分析の結果，重さに応じてHSV，RGB の値が変化する傾向があること，1 つの重さあたり 20 枚程度の爪画像があると 85% の精度で判定できることが明らかになった．

profile-image
スライド一覧

明治大学 総合数理学部 先端メディアサイエンス学科 中村聡史研究室

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 12.34MB)

関連スライド

slide-thumbnail

周辺視野に対するぼかしエフェクトが作業時の集中力に及ぼす影響の調査
user-img Nakamura Laboratory (Meiji University) 16K
slide-thumbnail

商品選択においてフォントがユーザの選択行動に及ぼす影響の調査
user-img Nakamura Laboratory (Meiji University) 12.3K
slide-thumbnail

色覚特性を考慮したゲームの有利不利制御のAmong Usを用いた検証
色覚多様性者 模擬フィルタ 色のハンディキャップ オンラインゲーム
user-img Nakamura Laboratory (Meiji University) 11.2K
slide-thumbnail

周辺視野における妨害刺激の減衰が集中度に及ぼす影響
user-img Nakamura Laboratory (Meiji University) 10.7K
slide-thumbnail

手書きとフォントの文字形状の違いによる記憶効果の比較
user-img Nakamura Laboratory (Meiji University) 10.2K
slide-thumbnail

三択の選択肢の色の組み合わせが選択行動に及ぼす影響
選択 ゴルディロックス効果 色
user-img Nakamura Laboratory (Meiji University) 8.9K
各ページのテキスト
1.

!"!#$#$%& '()!"! ⽖⾊の変化による ものの重さの推定に関する基礎検討 明治⼤学 松⽥さゆり 中村聡史

2.

研究背景 レシピ通りの料理を作るとき・・・ 何度も計量する必要がある 2

3.

研究背景 レシピ通りの料理を作るとき・・・ 何度も計量する必要がある めんどうだなぁ．．． 3

4.

料理に関するアンケート調査 65%(642/991⼈)が材料の計量を⾯倒と感じている • • • 余計な洗い物が増える ⼿間がかかる いちいち道具を⽤意することが⾯倒 4

5.

料理に関するアンケート調査 65%(642/991⼈)が材料の計量を⾯倒と感じている • • • 余計な洗い物が増える ⼿間がかかる いちいち道具を⽤意することが⾯倒 そもそも道具を持ち合わせていないことも 5

6.

料理に関するアンケート調査 65%(642/991⼈)が材料の計量を⾯倒と感じている • • • 余計な洗い物が増える ⼿間がかかる いちいち道具を⽤意することが⾯倒 そもそも道具を持ち合わせていないことも !"#$%&'( 6

7.

問題 ⼈間の⽬分量は正確ではない 7

8.

⽬的 はかり無しで計量 8

9.

関連研究 VibroScale スマートフォンの振動を物体に伝えて計量 Zhang, S., Xu, Q., Sen, S., and Alshurafa, N.. VibroScale: Turning Your Smartphone into a Weighing Scale. UbiComp-ISWC, 2020, p. 176-179. Arctanbler ⽬盛りが振られていない容器に携帯情報端 末を付けると、⽔平にして⽬盛りを読まず とも、計量できる 尾⾼陽太, 渡邉恵太. Arctanbler: 空中でも⽔平を得られる計量カップ. 情報処 理学会 インタラクション,2016, c2-3, p. 612-613. 9

10.

関連研究 ⼿のひらに物体を載せた時に⽣じる 筋電位から物体の重さを推定 ⼩原⽥和也, 志築⽂太郎, ⾼橋 伸. 筋電位を⽤いた物体の重さの推定. 情報処理学会 HCI169, 9, 2016. 10

11.

関連研究 ⽖の⾊を測定し、指の接触圧⼒を検出 Mascaro, S., Kuo Wei Chang, and Asada, H. H.. Finger touch sensors using instrumented nails and their application to human-robot interactive control. IEEE Transactions Robotics and Automation, 1998, p. 91-96. 11

12.

関連研究 ⽖の⾊から、⽖が押している⼒の⼤きさと⽅向を推定 !" !" !" !" Mameno, H., Imura, M., Uranishi, Y., Yoshimoto, S., and Oshiro, O.. Estimation of fingertip contact force direction based on change in nail color distribution. ⽣体医⼯学, 1998, vol. 53, p. 155-56 12

13.

提案⼿法 ⽖⾊の変化でものの重さを推定する ❓ 13

14.

仮説 持っているものが重くなるほど、⽩い部分が増える さらに、⾚い部分はより⾚くなり、⾊変化がはっきりする 持っている重さによって⽖⾊が変化するため 重さを推定できる 14

15.

予備検討 ⽖⾊は個⼈によって異なる上、照明・容器の形・持ち⽅に よって変化しやすいため条件の統制が必要 最も精度が⾼くなるデータセット 持ち⽅ 上 ⽖領域抽出⽅法 横 下 ⽖全体 四⾓形を抽出 15

16.

予備検討 ⽖⾊は個⼈によって異なる上、照明・容器の形・持ち⽅に よって変化しやすいため条件の統制が必要 最も精度が⾼くなるデータセット 持ち⽅ 上 ⽖領域抽出⽅法 横 下 ⽖全体 四⾓形を抽出 16

17.

実験 0ｇ〜500gまで50ｇ区切りに ⽔を⼊れたペットボトル 各重さ5枚ずつ⽖画像撮影 ⼤学⽣17名 合計935枚 17

18.

結果 0gを持った時との差分 100 ←根元 150 200 250 300 ⽖の根元からの距離(px) 350 400 先端→ 18

19.

結果 19

20.

結果 20

21.

結果 21

22.

結果 22

23.

結果 23

24.

結果 24

25.

結果 25

26.

結果 26

27.

結果 27

28.

結果 28

29.

結果（RGB） 0gを持った時との差分 100 ←根元 150 200 250 300 ⽖の根元からの距離(px) 350 400 先端→ 29

30.

結果（RGB） 0gを持った時との差分 100 ←根元 150 200 250 300 ⽖の根元からの距離(px) 350 400 先端→ 30

31.

結果（RGB） 0gを持った時との差分 100 ←根元 150 200 250 300 ⽖の根元からの距離(px) 350 400 先端→ 31

32.

結果（HSV） H S 0gを持った時との差分 100 150 200 250 300 ⽖の根元からの距離(px) 0gを持った時との差分 350 400 100 150 200 250 300 350 400 ⽖の根元からの距離(px) 32

33.

結果（HSV） H S 0gを持った時との差分 100 150 200 250 300 ⽖の根元からの距離(px) 0gを持った時との差分 350 400 100 150 200 250 300 350 400 ⽖の根元からの距離(px) 33

34.

結果（HSV） S H H S 0gを持った時との差分 100 150 200 250 300 ⽖の根元からの距離(px) 0gを持った時との差分 350 400 100 150 200 250 300 350 400 ⽖の根元からの距離(px) 34

35.

⽖⾊から重さを推定する際の特徴量 0gを持った時との差分が⼤きくなる(H,G,B)・⼩さくなる（S） • H・S・G・Bの平均値 • H・S・G・Bの最⼤値 • H・S・G・Bの最⼩値 ⽖の中での⾊変化が⼤きくなる（G,B） • G・Bの変化量 • G・Bの傾き 35

36.

推定平均分類確率 持っている重さ（ｇ） 推定した重さ（g） 0 50 100 150 200 250 300 350 400 450 500 0 0.41 0.26 0.06 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 50 0.12 0.47 0.21 0.06 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100 0.03 0.24 0.47 0.09 0.03 0.00 0.00 0.00 0.00 0.00 0.00 150 0.00 0.03 0.29 0.56 0.26 0.03 0.03 0.00 0.00 0.00 0.00 200 0.00 0.00 0.03 0.18 0.38 0.18 0.06 0.00 0.00 0.00 0.00 250 0.00 0.00 0.03 0.00 0.29 0.65 0.12 0.00 0.00 0.00 0.00 300 0.00 0.00 0.00 0.00 0.06 0.24 0.44 0.32 0.03 0.00 0.00 350 0.00 0.00 0.00 0.00 0.00 0.03 0.21 0.59 0.18 0.03 0.03 400 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.15 0.59 0.24 0.06 450 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.03 0.12 0.56 0.15 500 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.12 0.26 0.44 36

37.

推定平均分類確率 持っている重さ（ｇ） 推定した重さ（g） 0 50 100 150 200 250 300 350 400 450 500 0 0.41 0.26 0.06 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 50 0.12 0.47 0.21 0.06 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100 0.03 0.24 0.47 0.09 0.03 0.00 0.00 0.00 0.00 0.00 0.00 150 0.00 0.03 0.29 0.56 0.26 0.03 0.03 0.00 0.00 0.00 0.00 200 0.00 0.00 0.03 0.18 0.38 0.18 0.06 0.00 0.00 0.00 0.00 250 0.00 0.00 0.03 0.00 0.29 0.65 0.12 0.00 0.00 0.00 0.00 300 0.00 0.00 0.00 0.00 0.06 0.24 0.44 0.32 0.03 0.00 0.00 350 0.00 0.00 0.00 0.00 0.00 0.03 0.21 0.59 0.18 0.03 0.03 400 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.15 0.59 0.24 0.06 450 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.03 0.12 0.56 0.15 500 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.12 0.26 0.44 37

38.

推定平均分類確率 持っている重さ（ｇ） 推定した重さ（g） 0 50 100 150 200 250 300 350 400 450 500 0 0.41 0.26 0.06 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 50 0.12 0.47 0.21 0.06 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100 0.03 0.24 0.47 0.09 0.03 0.00 0.00 0.00 0.00 0.00 0.00 150 0.00 0.03 0.29 0.56 0.26 0.03 0.03 0.00 0.00 0.00 0.00 200 0.00 0.00 0.03 0.18 0.38 0.18 0.06 0.00 0.00 0.00 0.00 250 0.00 0.00 0.03 0.00 0.29 0.65 0.12 0.00 0.00 0.00 0.00 300 0.00 0.00 0.00 0.00 0.06 0.24 0.44 0.32 0.03 0.00 0.00 350 0.00 0.00 0.00 0.00 0.00 0.03 0.21 0.59 0.18 0.03 0.03 400 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.15 0.59 0.24 0.06 450 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.03 0.12 0.56 0.15 500 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.12 0.26 0.44 38

39.

推定平均分類確率 持っている重さ（ｇ） 推定した重さ（g） 0 50 100 150 200 250 300 350 400 450 500 0 0.41 0.26 0.06 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 50 0.12 0.47 0.21 0.06 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100 0.03 0.24 0.47 0.09 0.03 0.00 0.00 0.00 0.00 0.00 0.00 150 0.00 0.03 0.29 0.56 0.26 0.03 0.03 0.00 0.00 0.00 0.00 200 0.00 0.00 0.03 0.18 0.38 0.18 0.06 0.00 0.00 0.00 0.00 250 0.00 0.00 0.03 0.00 0.29 0.65 0.12 0.00 0.00 0.00 0.00 300 0.00 0.00 0.00 0.00 0.06 0.24 0.44 0.32 0.03 0.00 0.00 350 0.00 0.00 0.00 0.00 0.00 0.03 0.21 0.59 0.18 0.03 0.03 400 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.15 0.59 0.24 0.06 450 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.03 0.12 0.56 0.15 500 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.12 0.26 0.44 39

40.

推定平均分類確率 持っている重さ（ｇ） 推定した重さ（g） 0 50 100 150 200 250 300 350 400 450 500 0 0.41 0.26 0.06 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 50 0.12 0.47 0.21 0.06 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100 0.03 0.24 0.47 0.09 0.03 0.00 0.00 0.00 0.00 0.00 0.00 150 0.00 0.03 0.29 0.56 0.26 0.03 0.03 0.00 0.00 0.00 0.00 200 0.00 0.00 0.03 0.18 0.38 0.18 0.06 0.00 0.00 0.00 0.00 250 0.00 0.00 0.03 0.00 0.29 0.65 0.12 0.00 0.00 0.00 0.00 300 0.00 0.00 0.00 0.00 0.06 0.24 0.44 0.32 0.03 0.00 0.00 350 0.00 0.00 0.00 0.00 0.00 0.03 0.21 0.59 0.18 0.03 0.03 400 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.15 0.59 0.24 0.06 450 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.03 0.12 0.56 0.15 500 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.12 0.26 0.44 40

41.

考察 重いものを持つほど、G・Bの値が⾼くなる ⽖の先端にかけて急に⾼くなる 重いものを持つと ⽩⾊に近づく ⽖の中での⾊変化が⼤きくなる 41

42.

考察 推定率が低い 個⼈差 ⽖の⼀部分を使⽤したため →⽖全体の利⽤・分析の⼯夫 学習データ枚数が不⼗分 42

43.

考察 推定率が低い 個⼈差 ⽖の⼀部分を使⽤したため →⽖全体の利⽤・分析の⼯夫 学習データ枚数が不⼗分 どれくらいの枚数があったら正確に推定可能か？ 43

44.

追実験 適切な枚数の検討 各重さにつき80枚の画像（合計1760枚） 学習データ枚数ごとの分類正解率 約20枚で 精度が安定する傾向 44

45.

追実験 1つの重さにつき 5枚 の画像データ 1つの重さにつき 20枚 の画像データ 0 推定した重さ（g） 0 50 100 150 200 250 300 350 400 450 500 0.82 0.16 0.02 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 50 0.01 0.93 0.06 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 推定した重さ（g） 50 100 150 200 250 300 350 400 450 500 0 0.20 0.68 0.09 0.03 0.00 0.00 0.00 0.00 0.00 0.00 0.00 50 0.00 0.72 0.28 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100 0.00 0.15 0.59 0.22 0.04 0.00 150 0.00 0.00 0.01 0.08 0.35 0.35 200 0.00 0.00 0.07 0.62 0.21 0.08 250 0.00 0.04 0.10 0.10 0.14 0.24 0.00 0.00 0.00 0.00 0.00 300 0.00 0.00 0.00 0.00 0.02 0.13 350 0.00 0.00 0.00 0.00 0.00 0.00 400 0.00 0.00 0.00 0.00 0.00 0.00 450 0.00 0.00 0.00 0.00 0.00 0.02 0.46 0.36 0.03 0.00 0.00 0.16 0.03 0.01 0.00 0.00 0.02 0.00 0.00 0.00 0.00 0.13 0.11 0.15 0.01 0.00 0.07 0.50 0.41 0.02 0.00 0.10 0.20 0.59 0.11 0.00 0.03 0.09 0.52 0.34 0.00 500 0.00 0.00 0.00 0.00 0.00 0.00 0.02 0.15 0.40 0.42 0.01 持っている重さ（ｇ） 持っている重さ（ｇ） 0 100 0.02 0.08 0.82 0.07 0.00 0.00 150 0.00 0.00 0.01 0.76 0.13 0.09 200 0.00 0.00 0.00 0.16 0.77 0.06 250 0.00 0.00 0.00 0.01 0.07 0.77 0.00 0.00 0.00 0.00 0.00 300 0.00 0.00 0.00 0.00 0.00 0.07 350 0.00 0.00 0.00 0.00 0.00 0.00 400 0.00 0.00 0.00 0.00 0.00 0.00 450 0.00 0.00 0.00 0.00 0.00 0.00 0.83 0.09 0.02 0.00 0.00 0.01 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.13 0.03 0.00 0.00 0.00 0.01 0.99 0.00 0.00 0.00 0.03 0.09 0.83 0.04 0.00 0.00 0.01 0.06 0.91 0.02 500 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.01 0.02 0.11 0.85 45

46.

追実験 1つの重さにつき 5枚 の画像データ 1つの重さにつき 20枚 の画像データ 0 推定した重さ（g） 0 50 100 150 200 250 300 350 400 450 500 0.82 0.16 0.02 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 50 0.01 0.93 0.06 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 推定した重さ（g） 50 100 150 200 250 300 350 400 450 500 0 0.20 0.68 0.09 0.03 0.00 0.00 0.00 0.00 0.00 0.00 0.00 50 0.00 0.72 0.28 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100 0.00 0.15 0.59 0.22 0.04 0.00 150 0.00 0.00 0.01 0.08 0.35 0.35 200 0.00 0.00 0.07 0.62 0.21 0.08 250 0.00 0.04 0.10 0.10 0.14 0.24 0.00 0.00 0.00 0.00 0.00 300 0.00 0.00 0.00 0.00 0.02 0.13 350 0.00 0.00 0.00 0.00 0.00 0.00 400 0.00 0.00 0.00 0.00 0.00 0.00 450 0.00 0.00 0.00 0.00 0.00 0.02 0.46 0.36 0.03 0.00 0.00 0.16 0.03 0.01 0.00 0.00 0.02 0.00 0.00 0.00 0.00 0.13 0.11 0.15 0.01 0.00 0.07 0.50 0.41 0.02 0.00 0.10 0.20 0.59 0.11 0.00 0.03 0.09 0.52 0.34 0.00 500 0.00 0.00 0.00 0.00 0.00 0.00 0.02 0.15 0.40 0.42 0.01 持っている重さ（ｇ） 持っている重さ（ｇ） 0 100 0.02 0.08 0.82 0.07 0.00 0.00 150 0.00 0.00 0.01 0.76 0.13 0.09 200 0.00 0.00 0.00 0.16 0.77 0.06 250 0.00 0.00 0.00 0.01 0.07 0.77 0.00 0.00 0.00 0.00 0.00 300 0.00 0.00 0.00 0.00 0.00 0.07 350 0.00 0.00 0.00 0.00 0.00 0.00 400 0.00 0.00 0.00 0.00 0.00 0.00 450 0.00 0.00 0.00 0.00 0.00 0.00 0.83 0.09 0.02 0.00 0.00 0.01 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.13 0.03 0.00 0.00 0.00 0.01 0.99 0.00 0.00 0.00 0.03 0.09 0.83 0.04 0.00 0.00 0.01 0.06 0.91 0.02 500 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.01 0.02 0.11 0.85 46

47.

今後 個⼈に応じた⽖⾊分析⽅法 他の持ち⽅、計量対象の検討 ⽇常の中でも精度を出すための検証 47

48.

まとめ 背景：⼈間の⽬分量は正しくない ⽬的：道具なしでものの重さを測れるようにしたい ⼿法：⽖の⾊の変化を利⽤ 仮説：重いものを持つと⽩くなる、⾊変化が⼤きくなる 実験：50gごと持って撮影 結果：ある程度近い重さで推定 考察：重いものを持つと⽩⾊に近づく傾向 追実験：適切な学習枚数の検討 48