触覚・近接覚センサ解説 V4
51.7K Views
April 03, 23
スライド概要
触覚・近接覚・すべり覚センサの解説です。
「内容」
1. 人間の触覚について
1.1 人間の触覚の生理学
1.2 触覚の特徴
2. 触覚センサの概要
2.1 概要（分類、機能、特性など）
2.2 新たな技術・開発分野
3．触覚センサの構成
3.1 触覚センサ基本構成
3.2 変換方式（接触物理量→電気量）の種類
3.3 配線方式と伝送方式の種類
4．触覚センサの原理
4.1 電気抵抗方式
4.2 静電容量方式
4.3 光方式
4.4 電荷方式
4.5 磁気方式
4.6 超音波方式
5. 触覚センサの開発例
5.1 触覚センサ（電気抵抗変化型）
5.2 触覚センサ（静電容量型）
5.3 触覚センサ（光応用型）
5.4 触覚センサ（磁気応用型）
5.5 触覚センサ（半導体センサアレイ型）
5.6 その他
6．すべり覚センサの原理
6.1 変位検出方式
6.2 振動検出方式
6.3 接触画像検出方式（接触領域の剥がれ検出）
6.4 周波数成分検出方式（高周波など）
6.5 接線力の変化検出
6.6 接触パターン変化検出方式（法線/接線力，温度）
7．すべり覚センサの開発例
7.1 すべり覚（変位検出型）
7.2 すべり覚（振動検出型）
7.3 すべり覚（接触画像検出型）
7.4 すべり覚（周波数成分検出型）
7.5 すべり覚（接線/法線力検出型）
7.6 すべり覚（その他）
8. 近接覚センサの原理
8.1 光反射光量方式
8.2 静電容量（電界）方式
自己容量方式(self capacitance)
相互容量方式(mutual capacitance)
8.3 光/超音波の往復時間（TOF）方式
8.4 三角測量方式
8.5 渦電流方式
9. 近接覚センサの開発例
9.1 近接覚センサ（光反射光量型）
9.2 近接覚センサ（静電容量（電界）型）
9.3 近接覚センサ（光TOFなど）
9.4 近接覚センサ（複合型）
9.5 触・近接覚センサ
10.新製法&新材料の利用
10.1 最近開発が進んでいる新たな研究分野
E-skin (Printed Electronics)
Soft robotics (3D Printing)
11.機械学習での利用
まとめ
これまでに主に，ロボティクス・メカトロニクス研究，特にロボットハンドと触覚センシングの研究を行ってきました。現在は、機械系の学部生向けのメカトロニクス講義資料、そしてロボティクス研究者向けの触覚技術のサーベイ資料の作成などをしております。最近自作センサの解説を動画で始めました。https://researchmap.jp/read0072509 電気通信大学 名誉教授
関連スライド
各ページのテキスト
2023.04.03 触覚センサ・近接覚センサ解説V4 “これからの触覚技術”補足説明資料” 以前のVer.にからの変更 ⚫ ⚫ ⚫ ⚫ ⚫ 構成を再整理しました 生理心理の内容を追加 触覚の修正と新たな追加 すべり覚の修正と新たな追加 近接覚の修正と新たな追加 下 条 誠 電気通信大学名誉教授 https://www.docswell.com/user/m_shimojo https://researchmap.jp/read0072509/ The University of Electro-Communications Department of Mechanical Engineering and Intelligent System
コメント ⚫ 例示センサの出典論文は各スライドに示しました ⚫ 動画（youtube）がある場合はURLを示しました 触覚センサの例では，実際にロボットに実装や実験されているものを取 り上げています。しかし，E-Skinなど新しい分野の触覚センサではこの 原則を外しました。 補足説明の場合，このアイコンを表示してます。 下条研究室で開発したセンサ例の場合このアイコンを表示してます。 そして各々センサの簡単な解説動画を新たに作成して、youtubeに 掲載しました。 ここに示す例は，これまで開発された多数の触覚センサのごく一部です。重要な開発例および利 用例が抜け落ちています。また退職に伴い、2020年以降のIEEEなどの有料サイトでの論文閲覧 は行っておりません。ただし、arXivや著者掲載などはチェックしています。 著者の知識不足、サーベーイ不足が多々あるかと思います。ご容赦頂ければ幸いです。 2
内 1. 人間の触覚について 1.1 人間の触覚の生理学 1.2 触覚の特徴 2. 触覚センサの概要 容 6.5 接線力の変化検出 6.6 接触パターン変化検出方式（法線/接線力，温度） 7．すべり覚センサの開発例 7.1 すべり覚（変位検出型） 2.1 概要（分類、機能、特性など） 7.2 すべり覚（振動検出型） 2.2 新たな技術・開発分野 7.3 すべり覚（接触画像検出型） 7.4 すべり覚（周波数成分検出型） 7.5 すべり覚（接線/法線力検出型） 7.6 すべり覚（その他） 3．触覚センサの構成 3.1 触覚センサ基本構成 3.2 変換方式（接触物理量→電気量）の種類 3.3 配線方式と伝送方式の種類 4．触覚センサの原理 4.1 電気抵抗方式 4.2 静電容量方式 4.3 光方式 4.4 電荷方式 4.5 磁気方式 4.6 超音波方式 5. 触覚センサの開発例 5.1 触覚センサ（電気抵抗変化型） 5.2 触覚センサ（静電容量型） 5.3 触覚センサ（光応用型） 5.4 触覚センサ（磁気応用型） 5.5 触覚センサ（半導体センサアレイ型） 5.6 その他 6．すべり覚センサの原理 6.1 変位検出方式 6.2 振動検出方式 6.3 接触画像検出方式（接触領域の剥がれ検出） 6.4 周波数成分検出方式（高周波など） 8. 近接覚センサの原理 8.1 光反射光量方式 8.2 静電容量（電界）方式 ①自己容量方式(self capacitance) ②相互容量方式(mutual capacitance) 8.3 光/超音波の往復時間（TOF）方式 8.4 三角測量方式 8.5 渦電流方式 9. 近接覚センサの開発例 9.1 近接覚センサ（光反射光量型） 9.2 近接覚センサ（静電容量（電界）型） 9.3 近接覚センサ（光TOFなど） 9.4 近接覚センサ（複合型） 9.5 触・近接覚センサ 10.新製法&新材料の利用 10.1 最近開発が進んでいる新たな研究分野 ①E-skin (Printed Electronics) ②Soft robotics (3D Printing) 11.機械学習での利用 まとめ 3
第１部 触覚センサの基礎 1. 人間の触覚について 1.1 人間の触覚の生理学 ①受容器の種類/特性など ②体表部での空間/強度分解能など 3.1 触覚センサ基本構成 ①変換器，検出器，信号処理伝送 3.2 変換方式（接触物理量→電気量）の種類 ③温冷感覚、神経経路など ①電気抵抗方式 ④皮膚機械受容器表 ②静電容量方式 1.2 特徴 2. 3．触覚センサの構成 ③光方式 ①確定感覚 接触による確認 ④電荷方式 ②接触感覚 見えないものを知覚する ⑤磁気方式 ③原始感覚 心への伝達 ⑥超音波方式 触覚センサの概要 2.1 概要 3.3 配線方式と伝送方式の種類 ①一対一接続方式 ①触覚センサの分類 ②マトリクス方式 ②触覚センサの検出機能 ③階層的シリアルバス方式 ③求められる特性 ④ワイアレス方式 ④開発が困難な点 ⑤境界接続方式 2.2 新たな技術・開発分野 ①E-skin, Wearable sensor ②Soft robotics 4
1. 人間の触覚について 1.1 人間の触覚の生理学 ① 受容器の種類/特性など ② 体表部での空間/強度分解能など ③ 温冷感覚 1.2 特徴 ① 確定感覚 接触による確認 ② 接触感覚 見えないものを知覚する ③ 情動感覚 心への伝達 5
1.1 触覚の生理学（五感の中の触覚） 注 器官 集 中 型 分 散 型 6 通信量 視覚：眼 107 bit/s 聴覚：耳 105 bit/s 嗅覚：鼻 103 bit/s 味覚：舌 103 bit/s 触覚：皮膚 106 bit/s 大脳での触感覚領域の広さ ［Penfield et al., 1950］ 成人では1.6〜1.8㎡の面積と，３〜５Kgの重量を有する 最大の器官である 注：山田雅弘，"各感覚における神経情報処理の共通点・相違点"．電総研調査報告，No.215, 18,1986
7 ①皮膚構造と機械受容器 順応時間 深さ ：浅い→I SA: slow adaptation unit ：深い→II FA: fast adaptation unit （RAとも表記） 皮膚受容器は，配置の“深さ” と，“順応” 時間のタイプから， 4種類に分けられる。 RA: Rapidly Adapting メルケル細胞 (SAI) 皮丘 皮溝 汗腺 表皮 表皮 隆起 Mr Mk 真皮 乳頭 真皮 皮下 組織 マイスナー小体(FAI) R ルフィニ終末 Pc パチニ小体 (FAII) (SAII)
8 ①順応性と受容野 FA-I SA-I FA-II 刺 激 順 応 性 感 度 （ し き い 値 ） SA-II 神経パルス応答 (μm) 75 600 50 400 25 200 0 0 2 4 0 6 (mm) 0 50 1000 0 0 2 4 6 0 2 4 6 8 0 2 受 容 野 1mm 領域明確 1mm 領域不明確 4 6 8
9 ①機械受容器の周波数特性 メルケル細胞 振動刺激振幅（dB ：1.0μm基準） マイスナー小体(FAI) NP-III ( FA-I ) 45 ルフィニ終末 (SAII) パチニ小体 (FAII) NP-II ( SA-II ) NP-I ( SA-I ) 30 (SAI) 強度検出 15 注釈 速度検出 ：浅い→I 0 P ( FA-II ) ：深い→II -15 加速度検出 30 0 1 10 100 振動刺激周波数（ Hz ：対数軸） SA: slow adaptation unit 遅い順応 1000 FA: fast adaptation unit 早い順応 S. J. Bolanowski, Jr. , G. A. Gescheider , R. T. Verrillo , C. M. Checkosky, Four channels mediate the mechanical aspects of touch,J. of the Acoustical Society of America 84,5, November 1988
10 ①各感覚器と受容野 SAI FAI 注釈 ：浅い→I SAII FAII ：深い→II SA: slow adaptation unit 遅い順応 FA: fast adaptation unit 早い順応 R.F. schmit, (岩村吉晃訳): 感覚生理学第２版, 金芳堂, 1991.
11 機械受容単位投射密度(本／cm2） ①機械受容器と配置密度 人の手には約 17000本の機械 受容器神経線維 120 FA-I 80 FA-II SA-I 40 SA-II ⚫FAI :43% ⚫FAII:13% ⚫SAI :25% ⚫SAII:19% 0 投射部位と機械受容単位 R.F. schmit, (岩村吉晃訳): 感覚生理学第２版, 金芳堂, 1991.
12 ②体表部における圧覚の閾値 3.6 右側 3.2 左側 2.8 2.4 2.0 縦軸がログです。0.1mが 基準（値：ゼロ）となる。 1.6 縦軸： １で10倍（1ｍｇ）、 ２で100倍(10mg) ３で1000倍(100mg) と読みます。 1.2 0.8 0.4 0 足母指 大腿 足底 腹 胸 肩 脹脛 背中 鼻 上唇 頬 母指 1234 指 前額 上腕 前腕 手掌 Weinstein (1968)より】
13 ②体表部における触２点弁別閾 50 45 右側 40 左側 平均弁別閾 (mm） 35 30 25 20 15 2点で触れたとき、2点と 判別できる間隔 10 5 0 足母指 大腿 腹 胸 鼻 上唇 頬 母指 1234 指 前額 肩 上腕 足底 脹脛 背中 前腕 手掌 Weinstein (1968)より】
14 ③体表部における温・冷覚の弁別閾値 基準：体表温度33度 3 3 温覚 冷覚 温 2 覚 閾 値 ℃ 2 冷 覚 閾 値 18～28歳 1 0 つま先 1 足裏 脹脛 大腿 腹 唇 頬 上腕 前腕 母指 指 0 ℃ 基準温度からど の程度変化すれ ば、温かい、冷た いかを感じる値 前額 背中下部 Stevens, et al.(1998 )
③人間の触覚：受容器と神経経路 15 ビデオ ビデオ https://www.youtube.com/watch?v=udzhuFz3HKw Physiology of Touch: Receptors and Pathways, Animation
④ヒトの無毛部皮膚機械受容器の分類1/2 SAI SAII FAI FAII 受容器 Merkel Ruffini Meissner Pacinian 順応性 遅い 遅い 速い 速い 受容野の境界 明瞭 不明瞭 明瞭 不明瞭 平均的受容野面積4) 11.0 mm2 59.0 mm2 12.6 mm2 101.0 mm2 受容器当たりの 抹消感覚機構4) 4-7 1 12-17 1 皮膚表面からの 相対的深さ 浅い 深い 浅い 深い 形状・寸法2) 卵円形（6-l2μm）、触覚 円板(直径7μm、厚さ1μm) 手掌面における 神経支配密度3) 25% (4250本) 19% (3230本) 43% (7310本) 13% (2210本) 空間加算特性12) なし -- なし あり 時間加算特性12) -- あり なし あり 皮膚表面温度影響12) あり あり (100Hz以上) なし あり 紡錘形(長さ0.5-2mm) 楕円体(長軸40-100μm. 短軸30-60μm) 楕円体(長軸2.0~45ｍｍ、 短軸10~20ｍｍ) 16
④ヒトの無毛部皮膚機械受容器の分類2/2 SAI SAII FAI FAII 感覚発生に必要な パルス数6,19) 連続パルス(20程度) 少しでは関与なし 単一パルス 連続パルス 触神経電気刺激 による発生感覚18) Pressure -- Tapping(1Hz) Flutter(10Hz) Vibration(50Hz) Tickling/Vibration 周波数レンジ 0.4-100Hz 0.4-100Hz 10-200Hz 70-1000Hz 最小閾値(周波数) 10μm(50Hz) 3μm(50Hz) 6μm(40Hz) 0.1μm(250Hz) 機能的特徴 強度検出 空間パターン検出 皮膚曲率検出 速度検出 空間パターン検出 皮膚曲率変化検出 加速度検出 振動検出 皮膚の引っ張り検出 刺激(皮膚変形） と 応答(発火頻度）6) 刺 激 神経発火頻度 神経線維 伝導速度が速い(40-70m/s)、太い直径(8-13μm以上)の有髄神経線維。 体性感覚野まで2つ程度の中継で伝達。 下条誠，皮膚感覚の情報処理, 計測自動制御学会, Vol.41, No.10, pp.723-727, 2002 （表中の文献番号はここを参照してください） 17
1.2 触覚の特徴 （なぜ触覚か？） 18 １．商品の差別化・高級化を図る 視覚，聴覚 と比較して 利用がまだ 未開拓 ２．より自然なインターフェース ➢ 視覚･聴覚･触覚の融合(multimodal) ・見て，聞いて，触れる ３．皮膚機能の実現 ➢ 人工の手の実現 • 巧みな動作（機能を向上させる触覚） ➢ 生体センシング • バイオメディカル，ウェアラブルデバイス
触覚の特徴 19
20 ①触覚の特徴は何か １．確定感覚：接触による確認 ➢ 視覚で推定 ➢ 触覚で確認 視覚は撮像系により非接触で対象の存在を推定する感覚なのに対して， 触覚は接触により対象を確認する感覚である。 ⚫ 大局情報 ⚫ 局所情報 ⚫ 推定 (Expect) ⚫ 確定 (Confirm) ⚫ 隠蔽・死角 ⚫ 接触まで未検出
21 ②触覚の特徴は何か ２．接触感覚：力・硬さ・熱，接続関係などの検出 ➢ 見えないものを知覚する ⚫ 押す（力） ✓ 柔らかさ ✓ 表面あらさ ⚫ 触る，なでる ✓ 熱伝達率 S.J. Lederman, R.L. Klatzky: Haptic perception: A tutorial,Attention, Perception, & Psychophysics, 71(7), pp.1439-1459,2009. ✓ 固定されている or 分離可能？ ✓ 可動範囲・方向 ✓ ガタつきの有無 ⚫ 能動的動作 意図的動作 分離可能？ 動作方向は？ 触ることで 判別可能
22 ③触覚の特徴は何か ３．情動的感覚：心への伝達 ➢ 情動への関与 コミュニケーション手段として重要な役割を担っている。 触覚の特性 識別感覚 制御 原始感覚 心 ロボティクス ヒューマンインタフェース
23 器用な作業のための触覚 器用な動作，様々な作業を行うための触覚 人間の優れた点 ”脳”と”手” ⚫ 認識・創造する脳 →人工知能 ⚫ 実体化する手 →人工の手 機能を向上させる触覚
2. 触覚センサの概要 2.1 概要 皮膚 ① 触覚センサの分類 ② 触覚センサの検出機能 ③ 求められる特性 ④ 開発が困難な点 2.2 新たな技術・開発分野 ① E-skin, Wearable sensor ② Soft robotics 24
25 2.1 概要（触覚センサの標準デバイスは？） 触覚は，視覚，聴覚に対して開発が遅れている 標準デバイス 視覚：入力：ビデオカメラ 出力：モニター 聴覚：入力：マイクロホン 出力：スピーカ 触覚：入力：？？？ 出力：？？？ ？
2.1 概要（触覚は，視覚，聴覚と比較して開発が遅れている） 26 触覚センサの研究は、視覚、 聴覚と比べて遅れている。これは視覚、 聴覚センサが検出器 レベルを過ぎ，情報処理／応用レベルが主なのに比べ、まだ触覚センサは検出方式レベルの 研究が多く、応用への取り組みが発展途上の感覚である。 視覚を基準とした場合の各感覚の進展度合いイメージ 生理学的知見 センシング （入力） 五感情報通信技術に関する調査研究会報告書, http://www.soumu.go.jp/main_sosiki/joho_tsusin/policyreports/chousa/gokan_index.html 1) 再生・表現 （出力）
① 触覚センサの分類 ① 触圧覚センサ： a. 接触センサ：物体との接触をON/OFF情報として検出する b. 圧覚センサ：接触力を連続量として検出する ② すべり覚センサ： ⚫ センサと物体との相対的なすべり変位，速度を検出する ③ 近接覚センサ： ⚫ センサの近傍にある物体の有無，もしくは位置，距離などを 検出する ④ 温熱覚センサ，硬さ覚センサなど： ⚫ 触覚は視覚と補完的な役割があり，視覚では見えない力のほ か，温熱覚，硬さなどを計測する 27
28 ② 触覚に求められる検出機能 近接覚センサ 距離/方向 Distance/Posture Fingertip 物体面までの ⚫ 距離/方向 ⚫ 衝突回避 ⚫ 柔らかな接触 ⚫ 倣い，追尾 ⚫ 接触位置 ⚫ 力/トルク ⚫ 安全性の向上 Force/Torque 触覚センサ 力/トルク Vibrations 振 動 ⚫ すべり ✓ 方向/速度 ⚫ 初期すべり ⚫ 安定な物体把持 ⚫ 巧みな物体操作 ⚫ 把持力制御 ⚫ すべり制御 ⚫ Reactive制御 Contact patterns 接触パターン ⚫ 力/トルク分布 ⚫ 接触面３D変形 ⚫ 接触状態 ⚫ テクスチャー識別 ⚫ 材質識別 情報処理
触・近接覚からの検出情報と操作への利用 触・近接覚センサからの検出情報の種類および操作への応用，並びに新技術・新材料 などの最近のトピクッスを表す。センサ情報とセンサを実装したロボットの運動情報とを 統合処理することで，各種情報の検出と操作を行えることを示している。 29
② 触覚センサに求められる検出機能 さまざまな接触に関係する物理量の計測 機能（タスク） 検 出 量 接触位置 点接触位置、圧力分布中心位置 接触強度 法線力、圧力分布の総和 力強度／方向 力ベクトル(Fx,Fy,Fz)およびモーメント（Mx,My,Mz） 力の分布 法線力分布，または力ベクトル・モーメント分布 摩擦係数 静摩擦／動摩擦係数の推定 すべり 初期すべり，すべり，すべり方向、すべり速度 変形・変位 変形量、柔らかさ，硬さ計測 温度 温度，温度分布，熱伝達率 表面粗さ 表面の凹凸、テクスチャー, 触覚イメージ 接触画像，接触面変形3D画像 30
触覚と力覚センサの用語の違い ✓ 一般に触覚センサとは，物体とセンサ間の力学的関係を 検出するセンサで，分布圧，力とモーメント，すべり等 を検出する。 ✓ その中の，“力とモーメント”の大きさと方向を計測す るセンサを力覚センサと呼ぶ。力覚センサは指の関節や 手首に取付けられることが多い。 31
③ 触覚センサに求められる特性 ◆ 薄く柔らかい ✓ 物理・化学的耐久性 ◆ 伸縮性 ✓ 関節部覆える ◆ 広い曲面を覆える ◆ 多種類のセンサ(multimodality) ✓ 触圧，振動，伸展，温冷， 痛覚 ◆ そのほか ✓ 情報処理（局所的） ✓ データ転送（高速通信） ✓ 省配線（←重要） ロボットが組立作業などで用いる触覚機能は， ここに記した機能すべては必要なく，目的に 応じて機能設計を行うべきと考える。 32
33 ③ 触覚センサに求められる特性 人間の皮膚のように薄く柔らかく多種類のセンサを実現 項 目 機 能 要 求 事 項 ・柔軟／薄型の確保，広い面積／曲面への配置 多数の検出素子 分布量検出 多種類の検出素子 柔らかい ・高密度への対応，高速応答、配線処理の問題 ・接触，振動，すべり，温度などの検出 ・力ベクトル，モーメントベクトルの検出 ・皮膚のように薄く柔軟で伸び縮み可能 薄い ・伸び，縮み，擦り，打撃などに対する物理的耐久性 伸縮性 ・水，油，薬品などに対する化学的耐久性 素材特性 広い曲面を覆える 局所情報処理 情報処理 ・関節部など伸び縮みする曲面の被覆 ・高速サンプリング動作 ・触覚の局所的情報は局所的に処理 データ伝送 ・高速通信，省配線/無線，耐ノイズ，耐久性
34 ③ 触覚が必要な状況例 ⚫ 制御された環境（工場など）→実際の環境 ✓ 乱雑さ、オクルージョン、 ✓ 変化する照明条件、 ✓ 見たことのない物体などが含まれる ✓ あるいは十分に顕著な視覚的特徴がないために感知できない ⚫ 視覚や他の外界受容モダリティが遮断された場合 隠れた木のブロック 散らかったキャビネットや 冷蔵庫の中の物を取る 卵などを探す 密生した葉の中にある 果実をつかむ Jain et al_2013_Reaching in clutter with whole-arm tactile sensing, International Journal of Robotics Research,DOI: 10.1177/0278364912471865
④ 触覚センサは，何が難しいのか 1. 接触型である ⚫ 伸び，縮み，擦り，打撃などに対する物理的耐久性 ⚫ 水，油などの化学的汚染に対する化学的耐久性 ⚫ キチンと接触させるのが難しい（片当たりなどによって変わる検出量） 2. 分布型である ⚫ 柔軟性があり，薄く，広い自由曲面を覆えることが必要 ⚫ 多数分布する検出素子への配線が必要 3. マルチモダリティである ⚫ 力／トルク，滑り，振動，熱効果，接触面積，伸縮など多感覚の検出が必要 4. 能動型である ⚫ 触覚は手・指でなぞる等の何らかの意図に基づいた探索的動作が必要な 感覚である． ⚫ アクティブタッチに関わる機構＆検出アルゴリズムが必要 35
36 2.2 新たな技術・開発分野 最近開発が進んでいる新たな研究分野 分野 Wearable sensor, e-skin Soft robotics 技術 Printed Electronics 3D Printing
37 新たな研究開発分野 Wearable sensor, e-skin 柔軟で伸縮自在な素材で構成する E-skin Hua, Q.,et.al. ,Skin-inspired highly stretchable and conformable matrix networks for multifunctional sensing. Nat. Commun. 2018, 9, 244 Soft robotics 軟質素材で構成するソフトロボットに 対応したセンサーが必要となっている Jin, T.; et al. Triboelectric nanogenerator sensors for soft robotics aiming at digital twin applications. Nat. Commun. 2020, 11, 5381.
① E-skin (Printed Electronics) 柔軟で伸縮自在な素材で構成するE-skin は、人間の体性感覚システムを模倣する ために開発されており、ロボット工学、 義肢装具、ヘルスモニタリングや， ヒューマン・インターフェースなどへの 応用が注目されている。柔らかく伸縮自 在にすることで、より快適な装着感が得 られるとともに、接触面積が増えること で検出信号の忠実度が大幅に向上する。 https://www.youtube.com/watch?v=XDyZTbjkjNE https://www.youtube.com/watch?v=cc4IWtaOx_s 38
② Soft robotics (3D Printing) 39 No-Audio ソフトロボティクスでは，シリコーンゴム などの柔軟な素材を用いて，生物と似たよ うな器用な動作を実現するロボットを目標 としている。しかし、非線形変形が大きく、 関節のない構造のため、従来のポテンショ メータやエンコーダなどのセンサーでは対 応できず、ソフトロボットに対応したセン サーが必要となっている。 https://www.youtube.com/watch?v=RUfuhW0cnRU https://www.youtube.com/watch?v=p1qyg4TbDgQ&t=22s
3．触覚センサの構成 3.1 触覚センサ基本構成 ① 変換器，検出器，信号処理伝送 3.2 変換方式（接触物理量→電気量）の種類 ① ② ③ ④ ⑤ ⑥ 電気抵抗方式 静電容量方式 光方式 電荷方式 磁気方式 超音波方式 3.3 配線方式と伝送方式の種類 ① ② ③ ④ ⑤ 一対一接続方式 マトリクス方式 階層的シリアルバス方式 ワイアレス方式 境界接続方式 40
3.1 触覚センサの構成（変換器，検出器，信号処理伝送） 力 電気量 物 理 量 - 41 電気量 + 変換器 物理 量 電気 量 検出回路 狭義の センサ 信号処理・伝送 広義の センサ
3.2 変換方式（力を電気量に変える変換器） 変換器 力 例） 変位 電気量 Δｄ ΔＣ 42 Δｄ 電極 弾性体 弾性体 𝐴 𝐶=𝜖 𝑑 𝐴：電極面積 𝜖 ：誘電率(弾性体) 電極 ΔＣ： 静電容量変化
43 3.2 変換方式（力を電気量に変える変換器） 次の2つの過程 1. 力により変形する機械的構造体 力→変形量ε →電気量 ε f 弾性体 弾性体 2. 変形量εを計測する方式 ① 電気抵抗方式 ② 静電容量方式 ③ 光方式 ④ 電荷方式 ⑤ 磁気方式 ⑥ 超音波方式
3.2 変換方式（力を電気量に変える変換器） 力を電気量に変える変換器は多くの種類がある ① ② ③ ④ ⑤ ⑥ 電気抵抗 ✓ 抵抗体の伸縮などによる抵抗値変化 静電容量 ✓ 誘電体の圧縮による静電容量変化 光利用 ✓ 光路長変化による光量変化 ✓ 柔軟体変形の３Ｄ計測 詳細は， 電荷 触覚センサの動作原理 ✓ 圧電効果（ピエゾ効果） 磁気 と開発例で説明 ✓ 柔軟体変形による磁場変化 超音波 ✓ 経路長変化による強度位相変化 ✓ 音響共鳴 44
3.2 変換方式（力を電気量に変える変換器） 方 式 原 理 ひずみ抵抗変化 電気抵抗 パーコレション原理 接触抵抗変化 静電容量 光 触覚センサ/材料 備 考 ひずみゲージ，ピエゾ抵抗効果型 材料の伸縮による断面積や長さ変化などによる抵 半導体など 抗値変化 導電体（粒体，フィーラ）の体積比率の増減に伴 感圧導電ゴム，感圧エラストマ う抵抗値変化 感圧インク，感圧繊維 電極間容量(電界)変化 弾性体，誘電体 光量変化 45 接触面積の増減に伴う抵抗値変化 電極間の距離変化に伴う静電容量（電界）変化 フォトリフレクタ、光路変化によ 発光/受光素子間の距離・姿勢などの相対変化 る光量変化，光拡散，光ファイバ （経路長，相対位置/姿勢）散乱光変化 屈折率変化（全反射） 光導波型，ガラス，ポリマー 光導波路からの光漏れ（全反射条件の破れ） 変形/変位の画像計測 ゲルフォース，ゲルサイト，光透 柔軟ゲルの内部マーカの３D変位や、ゲルの表面 過性弾性体 変形などの撮像系による変位計測 光経路遮断 フォトインタラプタ 発光/受光素子間の光路を塞ぐ 電荷 圧電効果(ピエゾ電気) 圧電ポリマー，PVDF，PZT，水晶 磁気 磁気変化 ホール素子，磁気抵抗素子，磁性 微小磁石／磁性粒子+ホール素子/磁気抵抗素子な 体 どによる変位計測 強度/位相変化 弾性体，圧電体(送受信) 発振/受信素子間の距離・姿勢などの相対変化 共鳴（共振） 音響共鳴型，弾性体 空洞形状変化による共鳴周波数変化 超音波 圧力による分極に伴う表面電荷変化 E-skin 有機トランジスタ/OFETを用いたアクティブマトリックス方式を用いた触覚センサ．印刷技術による作成．伸 縮可能で薄型な触覚を実現．力を電気量に変換する原理は同じ． E-textile 導電性高分子繊維，炭素，金属等で表面修飾した繊維を用いて，編み込み，織り上げ技術を用いた布状の触覚 センサ．力を電気量変換は，繊維間の接触抵抗，静電容量などを用いる． その他 機械的方式：バネなどの機械的構造の変位，変形から接触力を検出する 触角（whisker），微小クラック（光漏れ，抵抗値）
3.3 配線方式と伝送方式（配線処理問題） 46 触覚センサでは 1. 広い面積に多数の検出素子が分布することがある 2. このとき，配線が測定の妨げにならぬよう，多数の検出素子を繋げ る配線方式が必要となる 3. そして，測定された多数のデータをセンサから情報処理部にどのよ うに伝送するか，その方式も重要である 4. これらは，配線処理（コード）問題と言われる課題である
3.3 配線方式と伝送方式（一対一、マトリクス方式） 47 介護ロボット RI-MAN (a) 一対一配線方式 8ｘ８に半導体圧力センサを配置 http://rtc.nagoya.riken.jp/RI-MAN/index_jp.html (b) マトリクス状 64ｘ64マトリクス電極 http://www.rm.mce.uec.ac.jp/sjE/index.php?Tactile%20sensor
3.3 配線方式と伝送方式（階層的シリアルバス方式） 48 (c)階層的シリアルバス方式 12 tactile sensor ATtiny40(8-bit ) A highly sensitive 3D-shaped tactile sensor ,Ritter, 2013 IEEE/ASME Int. Conf. Advanced Intelligent Mechatronics (AIM ) Event-based signaling for large-scale artificial robotic skin - Realization and performance evaluation,cheng,IROS2016 A real-time data acquisition and processing framework for large-scale robot skin, S. Youssefi et al. / Robotics and Autonomous Systems 68 (2015)
3.3 配線方式と伝送方式（ワイアレス方式） 49 Tactile chip Antenna/ coil Wireless Tactile Sensing Element Using Stress-Sensitive Resonator, Shinoda, IEEE/ASME TRANS. ON MECHATRONICS, 5, 3, 2000 A Sensitive Skin Using Wireless Tactile Sensing Elements,shinoda, TECHNICAL DIGEST OF THE 18TH SENSOR SYMPOSIUM, 2001 A Capacitive Touch Interface for Passive RFID Tags,J.R. Smith,2009 IEEE International Conference on RFI
3.3 配線方式と伝送方式（境界接続方式） 50 (e)境界接続方式 石川正俊, 下条誠: 感圧導電性 ゴムを用いた2次元分布荷重の中 心位置の測定方法,SICE, 18, 7, 1982 https://www.youtube.com/watch?v=MFAem79rF1E A Tactile Distribution Sensor Which Enables Stable Measurement Under High and Dynamic Stretch, Nagakubo, IEEE Symp. on 3D User Interfaces 2009
第２部 4．触圧覚センサの原理 4.1 電気抵抗方式 ① ひずみゲージ ② 感圧導電ゴム ③ 接触抵抗値変化 ④ 圧抵抗効果 4.2 静電容量方式 ① 静電容量（電界）変化 4.3 光方式 ① 光量変化（フォトリフレクタ） ② 光遮断（フォトリフレクタ） ③ 光導波板 ④ 弾性体変形画像計測 4.4 電荷方式 ① 圧電効果（ピエゾ効果）、PVDF 4.5 磁気方式 ① 磁石、磁気センサ、磁性エラストマ 4.6 超音波方式 ① 強度/位相変化 ② 音響共鳴 触覚センサ ⑤ アレイ状配置型（感圧導電素材） ⑥ 触覚スーツ（接触抵抗値変化型） ⑦ 強靭な触覚センサ（導電布、導圧ゴムシート） 5.2 触覚センサ（静電容量型） ① 静電容量型の例（iCub skin） ② 静電容量型の例(Univ. stanford) ③ 静電容量型の例(Univ. ETS,Canada) 5.3 触覚センサ（光応用型） ① 触覚センサの切り貼り実装型（光量変化型） ② 光導波板方式（突起付きピンでの3軸力計測） ③ 光導波板方式（Fingertip Sensor） ④ GelSight（ゲル変形計測方式） ⑤ Finger Vision（透過型） ⑥ OmniTact(Mlti-Directional) ⑦ DIGIT（Low-Cost Compact) ⑧ TacTip(ピン変位型) ⑨ Soft-bubble（弾性膜変位計測） 5.4 触覚センサ（磁気応用型） ① 磁気変化方式(Uskin) 5.5 触覚センサ（半導体センサアレイ型） ① 半導体圧力センサアレイ(RI-MAN) ② 複合型センサ(HEX-O-SKIN) 5. 触覚センサの開発例 5.1 触覚センサ（電気抵抗変化型） ① ビデオ出力型触覚センサ（感圧導電ゴム） ② 縫込み電極型触覚センサ（感圧導電ゴム） ③ 3層シート型触覚センサ（感圧導電ゴム、COP) ④ 3D-shaped tactile sensor(Conductive elastomer) 5.6 その他 ① 導電性流体のインピーダンス計測(BioTac) ② EIT(Electrical Impedance Tomography)方式 ③ Tomography（接触抵抗から力分布を計算）方式 ④ 空気圧による接触検知方式(AIRSKIN) 51
4．触圧覚センサの原理 4.1 電気抵抗方式 ① ひずみゲージ ② 感圧導電ゴム ③ 接触抵抗値変化 ④ 圧抵抗効果 4.2 静電容量方式 ① 静電容量（電界）変化 4.3 光方式 ① 光量変化（フォトリフレクタ） ② 光遮断（フォトリフレクタ） ③ 光導波板 ④ 弾性体変形画像計測 4.4 電荷方式 ① 圧電効果（ピエゾ効果）、PVDF 4.5 磁気方式 ① 磁石、磁気センサ、磁性エラストマ 4.6 超音波方式 ① 強度/位相変化 ② 音響共鳴 52
4.1 触覚センサ（電気抵抗型） ① ② ③ ④ ひずみゲージ 感圧導電ゴム 接触抵抗値変化 圧抵抗効果 53
54 ① 電気抵抗方式（ひずみゲージ） 荷重による抵抗線の歪みによる抵抗値変化から検出する方式 共和電業社製歪ゲージ R l K = K R l K：ゲージ率 ひずみアンプ ブリッジ回路 抵抗体の種類により， ✓ 箔ひずみゲージ， ✓ 線ひずみゲージ， ✓ 半導体ひずみゲージなど
① 電気抵抗方式（ひずみゲージ ロードセル） 歪ゲージ 55
56 ①力覚センサへの利用（ひずみゲージ） 例） ATI 指先 （BL AUTOTEC LTD.) 手首 （PR2）
①力覚センサ（圧電、静電容量） ちなみに，力覚センサはひずみゲージ方式だけではない 水晶圧電方式 エプソンS250シリーズ 静電容量式 ワコーテック Dynpick 57
58 ② 電気抵抗方式（感圧導電ゴム） 多孔質シリコンゴム中に炭素 粒子等の導電粒子を均一に拡 散させたものである 荷重 抵抗値 利点： ➢ 薄く柔軟で加工が容易 ➢ 大面積化が容易 ➢ 衝撃などによっても破損しない ➢ 検出回路は簡単 ➢ 安価 欠点： ➢ ヒステリシス特性があり， ➢ 定量的な計測に不向き
②電気抵抗方式（感圧導電ゴム） 原理 パーコレション理論：感圧導電ゴムの導電機構を説明する一つの理論 導体密度 低い 導体密度 高い 導電路 導体密度上昇→相互接触増加→導電性発現 （力→導電体を含む柔軟物の圧縮→導体密度上昇→電気抵抗値減少） 導体：カーボン粒子，導体糸，カーボンナノチューブ（CNT)，グラフェン (graphene)等 59
60 ②電気抵抗方式（感圧導電ゴム） 縦方向に電流が流れる 横方向に電流が流れる gifアニメ 炭素粒子 電極 Vp https://www.youtube.com/watch?v=G4VfuvQ_Z6Y （１）縦方向電流パス方式 （２）横方向電流パス方式 ビデオ
61 ②電気抵抗方式（感圧導電ゴム） 縦方向に電流が流れる ©shimojo （１）縦方向電流パス方式 横方向に電流が流れる ©shimojo （２）横方向電流パス方式
62 ② 感圧導電ゴムの特性（例） 荷重 VS 抵抗値 周波数 VS エネルギ散逸 ひずみ VS ひずみ VS 応力 エネルギ散逸 M. Shimojo, A. Namiki, M. Ishikawa, R. Makino and K. Mabuchi: A tactile sensor sheet using pressure conductive rubber with electrical-wires stitched method, IEEE Trans. Sensors, Vol.4, No.5, pp.589-596, 2004
63 ② 感圧導電ゴムの特性（例） 抵抗値時間緩和特性 抵抗値応答特性 これらは横浜ゴムの製品に対して、1980年代に下条が実験を行ったデータの一例です M. Shimojo, A. Namiki, M. Ishikawa, R. Makino and K. Mabuchi: A tactile sensor sheet using pressure conductive rubber with electrical-wires stitched method, IEEE Trans. Sensors, Vol.4, No.5, pp.589-596, 2004
64 ② 感圧導電ゴム（製品例） 感圧導電性エラストマー 荷重-抵抗変化（F-R特性）パターン (a) 理想的な感圧性（感圧導電性ゴム） (b) 抵抗変化なし（絶縁性ゴム） (c) ON-OFF的な挙動（加圧導電性ゴム 感圧導電性エラストマー（感圧導電性ゴム）とは絶縁性の高いゴム材料（1015～1018Ω）に導 電性粒子（カーボン、金属粉、金属蒸着粉等）を一定の配合割合でほぼ均一に混ぜること で感圧導電性を付加したゴムです。 一般的に導電性ゴム（数Ω～数百kΩ）というものがありますが、これは常時低抵抗を有する もののことをいい、感圧導電性ゴムはこれとは異なり、ゴムの持つ弾力性を生かして、加 圧変化（押さえる力の変化）をゴムの変位変化（たわみ変化）に換え、この変化に伴って電 気抵抗値（電気を流れやすくする値）が数拾ＭΩから数百Ωまで変化するものです。また、 加圧（押さえる力）を解除することによって数拾MΩまで抵抗値が戻る性質があります。 http://www.inaba-rubber.co.jp/products/inastomer/index.html イナバゴムHPより
③ 電気抵抗方式（接触抵抗値変化） 65 感圧インク表面の微小な凹凸部分の接触面積 が圧力により変化し，電極間相互の接触抵抗 が変化することから圧力を計測 利点： ➢ 薄いフィルム状（0.1mm） ➢ 印刷による形成ため自由な形状と空間分解 能が可能 欠点： ➢ 剪断力に弱い ➢ 変形するとフィルムに皺発生し，故障 ➢ ヒステリシス特性 https://www.nitta.co.jp/product/sensor/flexiforce/A201/
66 ③ 電気抵抗方式（接触抵抗値変化） 感圧原理 接触面積の増減による接触抵抗値の変化 荷重負荷 弾性のある 導体変形 接触面積の 増加 抵抗値の減少 https://www.nitta.co.jp/product/sensor/
③ Tekscan （製品例） 67 2枚のフィルム（PET）に、縦横方向の銀電極を配線し， 感圧導電性インクで被覆，電極の交点が検出点，圧力が かかると電気抵抗値が変化 ✓ 薄さ：0.1mm ✓ 感度：50kPa～20MPa ✓ サンプリング：100Hz程度 https://www.nitta.co.jp/product/sensor/ https://www.youtube.com/watch?v=rzHiGQh2FNo
68 ③ Tekscan （製品例） FlexiForce™ Standard Model A201 Thickness ：0.203 mm Sensing Area: 9.53 mm diameter CoV; Components of Variance https://www.tekscan.com/products-solutions/force-sensors/a201
③ Interlink （製品例） Force Sensing Resistor® (FSR) Sensor Series （例） FSR UX 400 •sensing range：0.5N to 150N •08 mm diameter https://www.interlinkelectronics.com/force-sensing-resistor 69
④ 電気抵抗方式（圧抵抗効果） 70 圧抵抗効果： ✓ 半導体結晶に圧力を加えるとその電気抵抗が変化する。ピエゾ抵抗 効果(piezoresistive effect)ともいう 気圧センサ（ｂａｒｏｍｅｔｅｒ)への利用例 気圧センサ(barometer)ICはこのピエゾ抵抗式受圧素子（ダイヤフラム構造とピエゾ 抵抗を集積化したMEMS）と温度補正処理、制御回路等を含めた集積回路パケージ化
④ マイクロカンチレバーを用いた触覚センサ （例） 71 ピエゾ抵抗層を備えたSiマイクロ カンチレバーを用いた触覚センサ ⚫ 法線およびせん断応力を検出する ⚫ カンチレバーをPDMSエラストマー に埋め込んで柔らかな表面とする ⚫ エラストマーの表面に応力を加える と、エラストマーとともにカンチレ バーが変形し、ピエゾ抵抗層の抵抗 値変化として検出される deflection control layer Piezoresistors layer A cross-sectional view of the cantilever (a) fabricated cantilever without elastomer, (b) tactile sensor chip M. Sohgawa, Y.-M. Huang, M. Noda, T. Kanashima, K. Yamashita, M. Okuyama, M. Ikeda, H. Noma, Fabrication and characterization of normal and shear stresses sensitive tactile sensors by using inclined micro-cantilevers covered with elastomer, Mater. Res. Soc. Symp. Proc. 1052 (2008) 151–156.
72 ④ Takktile （製品例） MEMS気圧センサICを用いた触覚センサ I2C接続 MEMS barometric sensor (MPL115A2, Freescale Semiconductor) ゴムを 注入 Load is applied through a spherical tip with diameter of 6 mm https://softroboticstoolkit.com/book/takktile-sensors
④ Takktile （製品利用例） ビデオ 73 無音声 https://www.youtube.com/watch?v=TqMtOmw9C7Y
74 ④ ReFlex Robotic Grippers Takktileを触覚として利用するハンド https://www.youtube.com/watch?v=4Ku7Q3vEkRw
4.2 触覚センサ（静電容量方式） 75
76 4.2 静電容量方式 誘電体変形による静電容量変化から力を計測 利点： ➢ 薄型で構造がシンプル ➢ 誘電体により検出感度などの特 性を変更可能 ➢ 静電容量変化検出用IC市販 https://pressureprofile.com/ 欠点： ➢ 空間分解能を上げると容量が 小さくなりS/N比が低下 ➢ 電磁ノイズ，温度の影響を受 けやすい http://wiki.icub.org/wiki/Tactile_sensors_(aka_Skin)
77 4.2 静電容量方式 荷重負荷 弾性のある 誘電体変形 電極間距離 の減少 AD7147 A Tactile Sensor for the Fingertips of the Humanoid Robot iCub,A.Schmitz, IEEE/RSJ Int. Conf. Intell. Robots Syst., 2010 静電容量Cの 増加
4.2 静電容量方式（製品例） ✓ ✓ ✓ ✓ 78 最小感度：10Pascal(0.1gf/cm2)も可能としている 薄さ: 1mm linearity : 99.8% Sample rate: 7-10KHz/element https://pressureprofile.com/ CONFORMABLE TACTARRAY SENSOR (CTS) https://www.youtube.com/watch?v=lvVJ9vG6H_k
静電容量センシングと電界センシング 静電容量センシング（capacitive sensing）は、いくつかの文献では 電界センシング（electric field sensing）と呼ばれています。これら は同じ基本技術を指しています。 ⚫ 静電容量性近接センシングは，長い歴史があり様々な技術があります。ここで 述べた，誘電体を挟んだ電極間の変位により荷重を計測する方法，以外に様々 な技術・用途があります ⚫ 例えば、電極を用いて電界を発生させることができます。物体が電極に近づく とこの電界が干渉し、静電容量が変化します。これを利用して距離を推定する ととともに、物体の材質などの特性も推定されます これらについては，近接覚の 原理で説明いたします Tobias Grosse-Puppendahl,Christian Holz,Gabe, Raphael Wimmer, Oskar Bechtold, Steve Hodges, Matthew S Reynolds, Joshua R Smith,"Finding Common Ground: A Survey of Capacitive Sensing in Human-Computer Interaction,"Proceedings of the 2017 CHI Conference on Human Factors in Computing SystemsMay 2017 Pages 3293–3315 79
4.3 触覚センサ（光方式） ① ② ③ ④ 光量変化 光遮断 光導波板 弾性体変形画像計測 80
① 光学方式（光量変化） 1. 発光·受光素子などを対にして配置し,力による柔軟体の変形に よる受光量の変化から力を検出する 2. 力の変形による発泡材内の散乱光量変化による光透過性の変化 を計測することで，力を計測する 81
82 ① 光学方式（光量変化 製品例） 1. 外力によりシリコンゴムで作られた半球状外皮 が変形する 半球状 外皮 検知表面 反射層 2. 半球状外皮内側には反射層があり、光源からの 赤外光を反射する 3. その反射光を受光素子で検出、外皮形状の変化 から外力を計測する 受光素子 光源 OptoForce Ltd. 半球型フォースセンサ (3軸) 寸法：直径20mm 力：±20N 分解能：2mN 非直線性：2% ヒステリシス：2% 以下 ✓ サンプリング： 100Hz（標準） 1kHz(最大) ✓ ✓ ✓ ✓ ✓ https://www.youtube.com/watch?v=PnW6lH9Wu6I http://optoforce.com
83 ① 光学方式（光量変化 製品例） 1. 外力により発泡材が圧縮さ れると、発光素子から光の 散乱光量が変化し、光透過 性が減少する 2. この透過光を受光素子で計 測することで，外力を計測 する ⚫ 測定点 （タッチエンス株式会社） ⚫ スポンジ表面の複数点を計測か ら、表面の傾き、上下左右方向 の「つまむ」動作などの検出が 可能 ⚫ センササイズ、スポンジの形状 などは変更可能 https://www.youtube.com/watch?v=b68S0d_qZpY https://www.slideshare.net/Touchence/ss-52242522
② 光学方式（光遮断方式） 84 ① 荷重面に弾性パッドを配置 ② 加圧力によりパッドが変位 ③ 弾性パッド下にある発光／受光素 子間の光路を遮断する ④ その光量変化から荷重を検出する 例2 例1 LTS-210 tactile array sensor (Lord Corpration) ✓ ✓ ✓ ✓ Array size: 10x16, Pixel size:1.8mm x 1.8mm Force resolution:5g Bandwith: 10Hz An Overview of Tactile Sensing, R Agrawal, R Jain - 1986 - ntrs.nasa.gov S. H. Jeong, et.al.,Design of a miniature force sensor based on photointerrupter for robotic hand,Sensors and Actuators, https://doi.org/10.1016/j.sna.2017.11.052.
85 ③ 光学方式（光導波板） ⚫ ガラス，有機ポリマー など光を通す光導波板 と白色弾性体を用い， ⚫ 荷重による白色弾性体 と光導波板の接触面積 の変化を ⚫ 撮像系（カメラ等）で 観測する方法 利点： 欠点： ➢ 空間解像度を高くできる ➢ カメラ等の撮像系のため薄型 が困難 ➢ 光源とカメラの配線のみでよい ➢ 曲面等の配置が困難
86 ③ 光学方式（光導波板） 1. ゴムカバーに覆われた光を 通すアクリル樹脂の端面か ら光を照射 2. 物体との接触でゴムカバー がアクリル樹脂と接触、 その部分から光が散乱する 3. この光散乱位置を受光素子 (PSD) で検出することで 接触位置を計測する https://robogaku.jp/history/manipulation/M-1995-2.html 無音声 前川，谷江，小森谷, 触覚フィードバックを用いた多指ハンドによる未 知形状物体の転がり接触を考慮した操り制御 ，計測自動制御学会論 文集, 第31巻9号, pp. 1462-1470, 1995
④ 光学方式（弾性体変形画像計測） 87 ⚫ 光透過性弾性体中に入れた赤, 青などのマーカの外力による位 置変化を ⚫ 撮像系（カメラなど）で計測し て外力を計測する方式 ⚫ 荷重方向・トルクにより弾性体 の変形が異なることから ⚫ 外力の方向成分，回転成分など が計測できる 利点： ➢ 外力の方向成分，回転成分が計 測できる ➢ 光源とカメラの配線のみでよい 欠点： ➢ 撮像系の薄型が困難 K.Kamiyama, K. Vlack,T. Mizota, H. Kajimoto, K. Kawakami,S. Tachi, S.:Vision-based sensor for real-time measuring of surface traction fields, IEEE Computer Graphics and Applications, 25, 1, 68-75, 2005
④ 光学方式（弾性体変形の画像計測） 88 GelForce GelSightに ついては 第2部で解説 Kazuto Kamiyama, Kevin Vlack, Terukazu Mizota,Hiroyuki Kajimoto, Naoki Kawakami, and Susumu Tachi,Vision-Based Sensor for Real-Time Measuring ofSurface Traction Fields,IEEE Computer Graphics and Applications ( Volume: 25, Issue: 1, Jan.-Feb. 2005 )
4.4 触覚センサ（電荷方式） 89
90 4.4 圧電効果(電荷)方式 圧電効果を利用して，荷重 を電荷変化から計測する 圧電効果（piezoelectric effect）とは、物質（特に水 晶や特定のセラミックス）に圧力（力）を加えると、 圧力に比例した分極（表面電荷）が現れる現象。また、 逆に電界を印加すると物質が変形する現象は逆圧電効 果と言う。(Wikipedia) ⚫ 圧電効果（ピエゾ効果）： 特定方向に力を加えると応 力に比例した電気分極(表 面電荷)が発生する現象． 利点： ➢ 高速な応答 ➢ 検出感度高い ピエゾ素子（圧電効果と逆圧電効果） ➢ 機械・電気的特性が良い 欠点： ➢ 静的な荷重は不得手 ➢ 温度変化有り（集電効果） https://www.matsusada.co.jp/case/ps/piezo_device.html https://www.tokin.com/product/piezodevice1/piezo_tech.html
91 4.4 圧電効果(電荷)方式 Strain gage and PVDF 歪みゲージとPVDFを様々な 深さや方向に埋めた柔軟指 ✓ Hand: Robotiq AdaptiveGripper ✓ Sensor: 8 PVDF strips ✓ IC: AnalogDevices AD7608 ✓ Sampling: 3.125 kHz, with an antialias filter with a cutoff at 1.5 kHz. B Heyneman, MR Cutkosky, Slip classification for dynamic tactile array sensors, The International Journal of Robotics Research, March 16, 2015 多田泰徳,細田耕,浅田稔，内部に触覚受容器を持つ人間型柔軟 指，日本ロボット学会誌，23巻，4号, 2005
圧電効果(電荷)方式（製品例） 切削加工時の力測定(Kistler) 水晶圧電方式力覚センサ （セイコーエプソン） 92 圧電フィルム（ピエゾフィルム） (Measurement Specialties Inc.) 3軸加速度計 （PCB Piezotronics Inc.）
4.5 触覚センサ（磁気方式） 93
94 4.5 磁気変化方式 磁気双極子の空間的変位か ら外力を計測する。 ⚫ 磁気センサ素子と微小 磁石を混合した弾性体 を組合わせ， ⚫ 弾性体の変形による磁 場の変化を磁気センサ 素子で検出する方法 磁気センサ：磁場変化 → 抵抗値変化 利点： ➢ 外力の方向成分，回 転成分が計測できる 欠点： ➢ 物体が磁性体の場合， 特性に影響与える http://techon.nikkeibp.co.jp/article/WORD/20080324/149333/?rt=nocnt
95 4.5 磁気変化方式（例） fingertip model Hall-effect sensor characteristic curve. http://robonable.typepad.jp/news/2010/08/30bl-auto.html 中本裕之, 伍賀正典, 武縄悟, 貴田恭旭，磁気抵抗素子とインダクタを用いた 磁気式触覚センサ，日本機械学会論文集 C編 / 76 巻 (2010) 766 号 Lorenzo Jamone, Lorenzo Natale, Giorgio Metta, and Giulio Sandin,Highly Sensitive Soft Tactile Sensors for an Anthropomorphic Robotic Hand, IEEE SENSORS JOURNAL,15,8, 2015
4.5 磁気変化方式（例） 96 The force applied is estimated detecting the position of the tip of the dome. Magnets is used to detect the position of the tip ⚫ 接触力により鉄粉を含むゴムの層が変形 して、磁気センサに近づく ⚫ すると、磁石が作る磁場が変化 ⚫ この磁気の変化を磁気センサで計測、接 触力を推定する 川節拓実, 堀井隆斗, 石原尚, 浅田稔,磁性・非磁性エラストマを積層した磁気式触覚 センサの基礎特性解析,日本AEM 学会誌 Vol. 24, No.3 (2016) Sensitive Robotics platforms. These robots are covered with the compliant tacitle sensors. Sina Youssefian, Nima Rahbar, and Eduardo Torres-Jara, Contact Behavior of Soft Spherical Tactile Sensors, IEEE SENSORS JOURNAL,14, 5, 2014
4.6 超音波方式 ① 強度/位相変化方式 ② 共鳴（共振）方式 97
① 超音波方式（強度/位相変化） 力による弾性体の変形を超音波により計測 する方式 ⚫ 配置した発振器と受信機の動作モードに工夫 を凝らすことで，力による弾性体の３D 変形を 超音波の強度/位相の変化から計測 ⚫ 弾性体に加わったx,y,z 軸方向力と，x,y,z 軸 周りのモーメント，計6 軸力を求める S. Ando, H. Shinoda, A. Yonenaga, and J. Terao, Ultrasonic Six-Axis Deformation Sensing, IEEE trans. on ultrasonics, ferroelectrics, and frequency control, 48, 4, 1031-1045, 2001 98
99 ① 超音波方式（音響共鳴） 力による変形を音響共鳴現象により計測する方式 Relaxation signal amplitude 弾性体内の空洞の共鳴周波数から空洞の３D 変形を計測する ① 外力が加わると共鳴空洞が変形する ② その変形は共鳴周波数の変化となる ③ 直方体ならば３辺の長さの各方向の伸縮 に対応した3つの周波数(f1,f2,f3)になる ④ そして各辺の伸縮から、xyz各軸方向の 歪みが計算され, 各軸方向の垂直応力を 求めることができる (horizontal mode) (vertical mode) Cavity Silicone rubber Ultrasound transmitter Excitation frequency[kHz] Three primary resonant frequencies Ultrasound receiver 吉海智晃, 但馬竜介, 加賀美聡, 篠田裕之, 稲葉雅幸, 井上博允, 音響共鳴型テン ソルセル触覚センサによる滑り予知と把持動作への応用, 日本ロボット学会誌, 20, 8, 868-875, 2002 Nakamura, K., Shinoda, H. , A Tactile Sensor Instantaneously Evaluating Friction Coefficients. Transducers ’01 Springer,2001 https://doi.org/10.1007/978-3-642-59497-7_331
5 触覚センサの開発例 5.1 触覚センサ（電気抵抗変化型） 5.5 触覚センサ（半導体センサアレイ型） ① ビデオ出力型触覚センサ（感圧導電ゴム） ① 半導体圧力センサアレイ(RI-MAN) ② 縫込み電極型触覚センサ（感圧導電ゴム） ② 複合型センサ(HEX-O-SKIN) ③ 3層シート型触覚センサ（感圧導電ゴム、COP) ④ 3D-shaped tactile sensor(Conductive elastomer) ⑤ アレイ状配置型（感圧導電素材） ⑥ 触覚スーツ（接触抵抗値変化型） ⑦ 強靭な触覚センサ（導電布、導圧ゴムシート） 5.2 触覚センサ（静電容量型） 5.6 その他 ① 導電性流体のインピーダンス計測(BioTac) ② EIT(Electrical Impedance Tomography)方式 ③ Tomography（接触抵抗から力分布を計算）方式 ④ 空気圧による接触検知方式(AIRSKIN) ① 静電容量型の例（iCub skin） ② 静電容量型の例(Univ. stanford) ③ 静電容量型の例(Univ. ETS,Canada) 5.3 触覚センサ（光応用型） ① 触覚センサの切り貼り実装型（光量変化型） ② 光導波板方式（突起付きピンでの3軸力計測） ③ 光導波板方式（Fingertip Sensor） ④ GelSight（ゲル変形計測方式） ⑤ Finger Vision（透過型） ⑥ OmniTact(Mlti-Directional) ⑦ DIGIT（Low-Cost Compact) ⑧ TacTip(ピン変位型) ⑨ Soft-bubble（変位計測） 5.4 触覚センサ（磁気応用型） ① 磁気変化方式(Uskin) 100
5.1 触覚センサ（電気抵抗変化型） ① ビデオ出力型触覚センサ（感圧導電ゴム） ② 縫込み電極型触覚センサ（感圧導電ゴム） ③ 3層シート型触覚センサ（感圧導電ゴム、COP) ④ 3D-shaped tactile sensor(Conductive elastomer ) ⑤ アレイ状配置型（感圧導電素材） ⑥ 触覚スーツ（接触抵抗値変化型） ⑦ 強靭な触覚センサ（導電布、導圧ゴムシート） 101
① ビデオ出力型触覚センサ（感圧導電ゴム） Tactile sensor(64x64, 1mm pitch) 102 Video signal output(1991) http://www.rm.mce.uec.ac.jp/sjE/index.php?Tactile%20sensor 感圧機構：感圧導電ゴム 特徴： ✓圧力分布をビデオ信号として出力 ✓64×64マトリクス状配置，1mmピッチの高密度 備考： ✓ 配線が128本となり，その処理が問題 ✓ 回り込み電流の防止回路の工夫が必要（マトリクス配置の問題点）
① ビデオ出力型触覚センサ（感圧導電ゴム） 64×64＝4096点 （1mm pitch） 103 scan time: 1/30/4096=8μs/cell ビデオ信号変換のメリット：画像処理のハードとソフトが利用できる ⚫ 圧力分布情報の各種情報書処理が簡単・安価で実現可能 ⚫ 圧力分布の計測を，ビデオ録画を用いて長時間，安価に行える ⚫ 但し，高速なスキャニングを行い，かつ不要な電流の回り込みをキャンセル する必要がある。 M. Shimojo, M. Ishikawa, K. Kanaya: A Flexible High Resolution Tactile Imager with Video Signal Output, IEEE Int. Conf. Robotics and Automation (ICRA), Sacramento, pp.384-391, 1991.4
① ビデオ出力型触覚センサ（電流の回り込み） 104 仮想接地 電流の回り込み 仮想接地 （e0=0V） 対策：ゼロ電位法
① ビデオ出力型触覚センサ（検出回路、ビデオ） https://www.youtube.com/watch?v=E4NBZfc5Ic4 105 ビデオ 64×64＝4096点 （1mm pitch） •石川正俊，下条誠，ビデオ信号出力を持つ圧力分布センサと触覚パターン処理, 計測自動制御学会論文集, Vol.24, No.7, pp.662-669, 1988 走査回路 •M. Shimojo, M. Ishikawa, K. Kanaya: A Flexible High Resolution Tactile Imager with Video Signal Output, IEEE Int. Conf. Robotics and Automation, Sacramento, pp.384-391 (1991)
② 縫込み電極型（感圧導電ゴム） 106 感圧導電ゴムに金メッキ線 を網目状に縫い込んだ構造 ⚫ 薄型柔軟の一体型センサ ⚫ 接線方向力にも頑健 M. Shimojo, A. Namiki, M. Ishikawa, R. Makino and K. Mabuchi: A tactile sensor sheet using pressure conductive rubber with electrical-wires stitched method, IEEE Trans. Sensors,vol.4, no.5, pp.589-596 (2004)
107 ② 縫込み電極型（感圧導電ゴム） ビデオ ✓ CyberGroveで ハンドを制御 ✓ 4指ハンド ✓ 触覚センサ： 3x16マトリクス M. Shimojo, T. Suzuki, A. Namiki, T.Saito, M. Kunimoto, R. Makino, H. Ogawa, M. Ishikawa, K..Mabuchi, Development of a System for Experiencing Tactile Sensation from a Robot Hand by Electrically Stimulating https://www.youtube.com/watch?v=Lffe73bZdlc&t=26s Sensory Nerve Fiber, IEEE ICRA pp.1264-1270,2003
③ 3層シート型触覚センサ (COP、 感圧導電ゴム) ◼ 荷重分布中心位置と総荷重検出 108 制御では荷重分布の中心位置 と総和が分かれば良い ◼ センサの特徴 ⚫ ⚫ ⚫ ⚫ ⚫ 柔軟，薄型，軽量 曲面に配置可能 1[ms]以内の高速応答性 処理回路はアナログ回路 配線は4本 郡司大輔 荒木拓真 並木明夫 明愛国 下条誠, 触覚センサによる滑り検出に基づく多指ハンドの把持力制御,日本ロボット学会誌 Vol.25 No.6 pp.970-978 , 2007
③ 3層シート型触覚センサ (COP、原理) ビデオ 触覚センサの原理及び動作の紹介 ⚫ 連続体センサ構造とポアソン方程式 ⚫ 境界値問題の解法 ⚫ ポアソン方程式の離散化 ⚫ 離散型センサと半球型CoPセンサ ビデオでの説明です ビデオ(2:38) 109 https://www.youtube.com/watch?v=MFAem79rF1E
③ 3層シート型触覚センサ （CoP、すべり） ビデオ センサの構造及び動作の紹介 ⚫ ロボット指に実装・物体把持 ⚫ 物体検知での高速緊急停止 ⚫ 高速ハンドリング（ペン回し） ⚫ 滑り検出とAnti-Slip制御 ビデオでの説明です ビデオ(3:21) 110 https://www.youtube.com/watch?v=L2fvubHKo3Q
Ishikawa lab. U.Tokyo https://www.youtube.com/watch?v=qqhL7zOLKo8 https://www.youtube.com/watch?v=xCCYxYgTTYk 111 https://www.youtube.com/watch?v=-tTN2SPeEoY https://www.youtube.com/watch?v=QH8XHmlWPlg
指長手方向 ③ CoP型触覚センサのJPLハンドへの実装 指円周方向 112 だいぶ以前（1986年頃）に なりますがStanford JPLハ ンドに装着して動作実験をし たことがあります。 ビデオでは，木片をハンドリ ングしている動作を示します。 センサは3本指のうち１本に のみ実装。白い指先部分がセ ンサで，シリコンゴムで被覆 してあります。 オシロスコープがセンサ 出力を示す ⚫ 木片と指先の接触位置の 時間変化が，指先での接 触の軌跡で示される ⚫ 画面横軸が指円周方向， 縦軸が指長手方向の接触 位置を示す ⚫ （1986年，下条，Ronald S. Fearing ） https://www.youtube.com/watch?v=bBaKCXpYeGs
113 ④ 3D-shaped tactile sensor(Conductive elastomer ) ⚫ 12 tactile sensor regions ⚫ Embedded signal acquisition electronics ⚫ Capture force patterns with a frame-rate of more than 1 kHz. ⚫ Conductive elastomer from Weiss Robotics. 12 tactile sensor ATtiny40 (8-bit ) ヒステリ シス特性 https://ni.www.techfak.uni-bielefeld.de/node/3554 Risto Kõiva; Matthias Zenker; Carsten Schürmann; Robert Haschke; Helge J. Ritter, Mechatronics (AIM), 2013 IEEE/ASME Int. Conf. on A highly sensitive 3D-shaped tactile sensor, Advanced Intelligent
114 ⑤ アレイ状配置型（感圧導電素材） The six tactile sensors from Weiss Robotics ✓ センサ：触覚センサ/指（指先，指腹） ✓ 指腹： 6 ｘ14 (3.4mm pitch) ✓ 指先： 6 ｘ13 tactels J Sanchez, S Schneider, P Plöger, Safely grasping with complex dexterous hands by tactile feedback, RoboCup 2014: RoboCup 2014: Robot World Cup XVIII pp.332-344 Weiss Robotics :WTS 0614-34とすると ✓ 寸法：51.4 x 25.4 x 5.7 mm ✓ レンジ：2.8kPa-85kPa ✓ 応答速度：270fps Schunk Dexterous Hand (SDH-2) https://www.youtube.com/watch?v=4QvShViUceM 無音声
⑥ 触覚スーツ（接触抵抗値変化型） 115 網目状メッシュを介しての導電布の相互接触 特徴： ⚫ 導電性の布と繊維でできているため，縫製で洋服 形状可能 ⚫ メッシュの直径と厚みにより感度を可変可能 （全身：160ポイント） 備考： ⚫ 検出点と配線が一対一対応，検出点の増大による 配線処理問題がある 稲葉雅幸，星野由紀子，井上博允：導電性ファブリックを用いた全身被覆型触覚センサスーツ，日本ロボット学会学会誌, vol.16, no.1,pp.80-86, 1998
116 ⑥ 触覚スーツ（接触抵抗値変化型） ネット こすりによる感圧変化実験 感圧特性例 負荷/除荷特性 湿度による耐久性実験
⑥ 触覚スーツ（接触抵抗値変化型） 117 稲葉研での各種 触覚センサ http://www.jsk.t.u-tokyo.ac.jp/research/sensorsuit-j.html
⑦ 強靭な触覚センサ（導電布、導圧ゴムシート） 118 強靭で、曲げやすく、伸縮自在な 触覚センサーアレイの提案 ⚫ 導電布、導圧ゴムシート、シリ コーンゴムでセンサを構成 ⚫ 各触覚素子は，0.7N～3Nの法 線方向の力を，ヒステリシスが 少なく，高い再現性で検出する bendable and stretchable tactile sensors array with a 16 4 matrix configuration impact force a radius of 10mm 25% stretching Y. Hirai, Y. Suzuki, T. Tsuji and T. Watanabe, "Tough, bendable and stretchable tactile sensors array for covering robot surfaces," 2018 IEEE International Conference on Soft Robotics (RoboSoft), 2018, pp. 276-281, doi: 10.1109/ROBOSOFT.2018.8404932.
A Soft Pressure Sensor Skin （例） 119 X. Tan, L. He, J. Cao, W. Chen and T. Nanayakkara, "A Soft Pressure Sensor Skin for Hand and Wrist Orthoses," in IEEE Robotics and Automation Letters, vol. 5, no. 2, pp. 2192-2199, April 2020, doi: 10.1109/LRA.2020.2970947.
5.2 触覚センサの事例（静電容量型） ① 静電容量型の例（iCub skin） ② 静電容量型の例(Univ. stanford) ③ 静電容量型の例(Univ. ETS,Canada) 120
121 ① 静電容量型触覚（iCub skin） 導電層 誘電層 感圧機構：静電容量型 特徴： ✓三角形のパッチで大面積を覆う ✓三角形のパッチ内に静電容量計測ICがあ り，I2Cでデータ転送 備考： ✓ iCub，KASPER，NAO などのロボット に利用 G. Cannata, M. Maggiali, G. Metta and G. Sandini, "An embedded artificial skin for humanoid robots," 2008 IEEE Int. Conf. on Multisensor Fusion and Integration for Intelligent Systems, 2008, pp. 434-438 AD7147
① 静電容量型触覚（iCub skin） ０か月 122 （シリコン商品名） 6か月 圧力と静電容量変化および素材経年変化 TH Le, P Maiolino, F Mastrogiovanni, G Cannata,skinning a Robot: Design Methodologies for Large-Scale Robot Skin,IEEE Robotics & Automation Magazine, 23, 4, 2016 センサ：48個/掌，12個/指 https://www.youtube.com/watch?v=yQGXYGS0Ojo
123 ① 静電容量型触覚（iCub skin） simulation data experimental data simulation data Fig. shows sensitivity and weight computed for each elastomer for a target pressure p= 10 KPa. 誘電体の違いによるセンサの 感度と重量 Thuy-Hong-Loan Le; Perla Maiolino; Fulvio Mastrogiovanni; Giorgio Cannata,skinning a Robot: Design Methodologies for Large-Scale Robot Skin,IEEE Robotics & Automation Magazine, Volume: 23, Issue: 4, Dec. 2016 experimental data
124 ② 静電容量型の例(Univ. stanford) a) The adaptive gripper with sensor suite installed. Insets show closeups of b) the texture and c) the taxels on the inner surface of a distal link. Top: a cross-section view of sensor construction. Bottom: a closeup of the PCB and dielectric structure without the external skin texture. ⚫ 検出点：132（ taxels ） ⚫ 突起(125 µm高､125 µm 直径)付きの 外皮（Silicone rubber)で覆う。これは sliding behavior計測等で有用のため ⚫ CDC： AD7147 (Analog Devices ) I2C接続 B Heyneman and M Cutkosky, Biologically inspired tactile classification of object-hand and object-world interactions, 2012 IEEE Int. Conf. on Robotics and Biomimetics (ROBIO)
125 ② 静電容量型の例(Univ. stanford) ⚫ ⚫ ⚫ ⚫ ⚫ ⚫ taxel 合計132個の検出点 (taxels) 検出点面積：1.5～2cm2 検出点間隔：1～1.5cm 識別可能荷重： 20mN(最高部位) 飽和力： 100N サンプリング：100Hz http://bdml.stanford.edu/Main/RobotiqGrasping Robotiq Adaptive Gripper FFT変換結果 A typical calibration curve for a load/unload cycle of one taxel showing low hysteresis. キャリブレーション曲線 A voice coil actuator was used to apply an input force chirp signal from 0-200Hz while a single-axis load-cell (25N range) was used to measure the applied forces. 動的センシング機能
126 ③ 静電容量型の例(Univ. ETS) 突起 1.2mm（間隔） 0.5mm（高さ） 2段階に変形する誘電層を用いた 静電容量型触覚センサ 誘電層 ⚫ Stage1：低圧用。対応する一組の 突起が素早く変形する ⚫ Stage2：突起がつぶれ、誘電体は 完全なエラストマーシートとして 作用する 誘電層 2段階変形 2nd 1st 誘電体シートに突起 を均等に配置 ヒステリシス特性 10回試行実験結果 ヒステリシス、温度特性、S/N比の実験結果 が記載されているのは貴重である 温度ドリフト特性 センサ最小出力 14500 ドリフト最高値 900 900/14500→6.5% S/N比の特性 センサ出力 18000 ノイズ 100 100/18000→0.5% T. -H. -L. Le, A. Maslyczyk, J. -P. Roberge and V. Duchaine, "A highly sensitive multimodal capacitive tactile sensor," 2017 IEEE Int. Conf. on Robotics and Automation (ICRA), 2017
③ 静電容量型の例(Univ. ETS) 127 ⚫ 表皮には、特殊なシリコン を用い、これにニッケル繊 維と窒化ニッケルを均一に 混ぜ合わせている ⚫ 皮膚の剛性を高め、セン サーの全体的な精度を向上 させるために、2種類のナ ノ粒子（BaTiO3と PMNPT）を混ぜている ⚫ 制御はPSoCマイクロコン トローラーを搭載している 無音声 Integrated Tactile Sensors for Robotic Gripper from ETS (École de technologie supérieure in Montreal, Quebec, Canada.) https://blog.robotiq.com/bid/69803/Integrated-Tactile-Sensors-for-Robotic-Gripper-from-ETS A. Rana, J. -P. Roberge and V. Duchaine, "An Improved Soft Dielectric for a Highly Sensitive Capacitive Tactile Sensor," in IEEE Sensors Journal, vol. 16, no. 22, pp. 7853-7863, Nov.15, 2016
5.3 触覚センサ（光応用型） ① 触覚センサの切り貼り実装型（光量変化型） ② 光導波板方式（突起付きピンでの3軸力計測） ③ 光導波板方式（Fingertip Sensor） ④ GelSight（ゲル変形計測方式） ⑤ Finger Vision（透過型） ⑥ OmniTact(Mlti-Directional) ⑦ DIGIT（Low-Cost Compact) ⑧ TacTip(ピン変位型) ⑨ Soft-bubble（変位計測） 128
① 触覚センサの切り貼り実装型（光量変化型） (GP2S60) ウレタン内の散乱光量による透過光量変化 特徴： ⚫ センサは、シリアルバス介して接続されるモジュール構成 ⚫ 触覚センサと通信機能をモジュール化（計測点1800以上） ⚫ 切断，または折り曲げて, エレメントごとに配置調整が可能 Y. Ohmura, Y. Kuniyoshi, A. Nagakubo, “Conformable and Scalable Tactile Sensor Skin for Curved Surfaces,” ICRA,pp.1348-1353,2006 129
① 触覚センサの切り貼り実装型（光量変化型） センサの 接続方式 130 切断，または折り 曲げて, エレメン トごとに配置調整 が可能 感圧特性 Y. Ohmura, Y. Kuniyoshi, A. Nagakubo, “Conformable and Scalable Tactile Sensor Skin for Curved Surfaces,” ICRA,pp.1348-1353,2006
② 光導波板方式（突起付きピンでの3軸力計測） 131 Sampling interval: 25ms/finger Number of elements 41 Detectable maximum force/elements Acceptable maximum force/elements Fx, Fy: 0.15N, Fz:2N Fx, Fy: 2N, Fz:3N Resolution Fx, Fy: 1x10-5 N, Fz: 3.6x10-5 N Ohka, M., Takata, J., Kobayashi, H., Suzuki, H., Morisawa, N., & Yussof, H., Object exploration and manipulation using a robotic finger equipped with an optical three-axis tactile sensor. Robotica, 27(5), 763-770. M Ohka, et.al.,Two-Hand-Arm Manipulation Based on Tri-axial Tactile Data, Int. J. , Social Robotics January 2012, Volume 4, Issue 1, pp 97–105
② 光導波板方式（突起付きピンでの3軸力計測） 132 1. センサは、光導波路ドーム、接 触子、CCDカメラ、光源で構成 される 2. 光源から発せられた光は、光導 波路ドーム(水色)に導かれる 3. 光導波路と接触子(赤)との接触 部分では、光が散乱するため画 像データとして観察できる 4. 接触子は、底面に8個の円錐状突 起がある柱状の素子である 5. この接触子に力が加わると、ア クリル製の光導波路ドームと円 錐状突起との接触面積が力ベク トルに応じて図のように変化す る 6. それをCCDカメラで撮影して3 成分Fx、Fy、Fzを計測する。 M. Ohka, H. Kobayashi, J. Takata, and Y. Mitsuya, “An Experimental Optical Three-axis Tactile Sensor Featured with Hemispherical Surface,” Journal of Advanced Mechanical Design, Systems, and Manufacturing, Vol. 2, No. 5, pp. 860-873, 2008.
③ 光導波板方式（ fingertip, https://www.youtube.com/watch?v=wGm76-ht3rs B. Romero） 133 ビデオ B. Romero, F. Veiga and E. Adelson, “Soft, Round, High Resolution Tactile Fingertip Sensors for Dexterous Robotic Manipulation,” 2020 ICRA, doi: 10.1109/ICRA40945.2020.9196909.
134 ④ GelSight（ゲル変形計測方式） 計測例 GelSight 光透過性柔軟ゲルの接触変形の計測。ゲル周囲からRGB各色LED 照明を 照射しカメラで撮影，ゲル表面の３D変形を推定，接触状態を計測する 特徴： ⚫ 接触状態のカメラ画像による高空間分解能な計測 ⚫ 動的接触状態からせん断、回転、すべりなどを計測 備考： ⚫ カメラを搭載するため指先形状寸法に制限はある http://www.gelsight.com/
④ GelSight （ゲル変形計測方式） 135 Output:Handが把持している USBコネクタ (camera pixels : 320 240) Localization and Manipulation of Small Parts Using GelSight Tactile Sensing, R Li; R Platt; W Yuan; A Pas; N Roscup; MA Srinivasan; E Adelson,IROS 2014 https://www.youtube.com/watch?v=4DSilbo2B24
136 ④ GelSight（高解像度型） 旧GelSightの欠点： ⚫ 接触面の3Dマップが粗い。これ はゲル表面を照らすLED照明の不 均一のため、推定される表面法線 に誤差が生じた ⚫ 半鏡面反射面（光反射膜）がうま く機能しない Camera:xHD 720p (1280 x 720) ⚫ センサーの製造工程が複雑である 提案されたGelSight 旧型 新型 ⚫ 従来の光反射膜から、どの角度か ら見ても輝度一定であるランバー ト反射膜への転換 ⚫ 新型を用いた場 合、コインの鷲 の羽が鮮明に分 離して見える ⚫ 旧型では、羽が ノイズに埋もれ ていることがわ かる ⚫ LED照明方法の改良として、コリ メートレンズ付きLEDの採用と密 配置（ 2×4アレイ） などの改良などにより、高い空間 分解能と形状の測定精度が大幅に向 上した Improved gelsight tactile sensor for measuring geometry and slip,S Dong, W Yuan, E Adelson - arXiv preprint arXiv:1708.00922, 2017 - arxiv.org
137 ④ Gelslim （GelSight薄型） GelSightを薄型にした ⚫ 投光系・撮像系の光学パスを下図 のようにミラーを用いて薄型にな るよう構成 ⚫ 接触部表面には耐久性と検出品質 を向上させるため布を貼り付けた E. Donlon, S. Dong, M. Liu, J. Li, E. Adelson, A. Rodriguez, sensing Finger, arXiv:1803.00628 (2018) GelSlim: A High-Resolution, Compact, Robust, and Calibrated Tactile-
138 ④ GelSight （応用例） ビデオ Cable manipulation with a tactile-reactive gripper https://www.youtube.com/watch?v=-xKeWdrmuBc She Y, Wang S, Dong S, Sunil N, Rodriguez A, Adelson E. ,Cable manipulation with a tactile-reactive gripper, IJRR, 2021, doi:10.1177/02783649211027233
④ GelSight （応用例） 139 ビデオ ローラー型触覚を用いた物体形状の探索 https://www.youtube.com/watch?v=huUXnzZYJ1Y arXiv:2210.13403 [cs.RO]
140 ⑤ Finger Vision （透過層方式） 透明な柔軟層と硬く透明なアクリル層 を介して物体をカメラで観測する ⚫ 柔らかい層のマーカーの変形を カメラで読み取り外力を推定 ⚫ 画像解析により，物体の滑り・ 変形も検出可能とする ⚫ センサは透明層を用いているた め視覚情報も取得可能とする A. Yamaguchi and C. G. Atkeson: Combining Finger Vision and Optical Tactile Sensing: Reducing and Handling Errors While Cutting Vegetables, in Proc. of the 16th IEEE-RAS Int. Conf. on Humanoid Robots,2016. https://www.fingervision.jp/
⑥ OmniTact(A Multi-Directional Touch Sensor） Coating Elastomer gel 141 GelSightセンサと同様に，反射層が塗布され たゲル状の皮膚の変形をカメラで記録する LEDs ⚫ 多方向のセンシング:5台のマイクロカメラ利用 Cameras ⚫ 最短撮影距離を短くするため内視鏡カメラ（最 短焦点距離 5mm，視野角約90°）を用いる ⚫ カメラに隣接してRGBカラーLEDを配置 A. Padmanabha, F. Ebert, S. Tian, R. Calandra, C. Finn and S. Levine, "OmniTact: A MultiDirectional High-Resolution Touch Sensor," 2020 IEEE International Conference on Robotics and Automation (ICRA), 2020, pp. 618-624, doi: 10.1109/ICRA40945.2020.9196712. LEDs Camera OmniTact sensor GelSight sensor 比較 Showing the fields of view and arrangement of the 5 micro-cameras inside the sensor flex-PCB with the positions of LEDs and camera Top Camera Side Camera
⑦ DIGIT（Low-Cost Compact Tactile Sensor) 142 GelSightと同様に，柔軟ゲルの変形を カメラで計測 DIGIT ➢ 反射，反射＋マーカー，透明＋マーカー Camera PCB plastic housing lighting PCB snap-fit holder acrylic window elastomer elastomer back housing DIGIT ⚫ 安価，小型・軽量化，耐久性の向上 ⚫ ゲル状柔軟体の耐久性向上と簡単な交 換を可能とした（←gelsightの欠点） ✓ 幅20mm×高さ27mm×奥行 き18mm、重さ約20g ✓ Image Resolution: 640x480 M. Lambeta et al., "DIGIT: A Novel Design for a Low-Cost Compact HighResolution Tactile Sensor With Application to In-Hand Manipulation," in IEEE Robotics and Automation Letters, vol. 5, no. 3, pp. 3838-3845, July 2020 分解斜視図 Before After Camera PCB? ゲル状柔軟体 の種類 reflective reflective with markers transparent with markers Industry-standard linear abrasion device による摩耗試験の結果
⑧ TacTip （ピン変位型） 143 内向きのピンを備えたシリコーン製の外皮、レン ズ、光源とカメラから構成。接触による外皮変位 によるピン変形をカメラ画像で検出する TacTip family pins Clear gelatinous polymer blend Light souce Silicone membrane lens camera Nathan F. Lepora, Soft Biomimetic Optical Tactile Sensing with the TacTip: A Review, arXiv:2105.14455 https://www.youtube.com/watch?v=qBrdipVi-ys
144 ⑨ Soft-bubble（弾性膜変位計測） 接触による柔軟バブルの３D変形を ToF型の距離センサで計測する ⚫ 変形の計測には正確に配置された照明や 3D再構成アルゴリズムが必要ない ⚫ 製造は安価で構造はシンプル ⚫ 弾性膜の形状変形の計測であり、接触力 の検出ではない ⚫ 膜の内面にドットなどの特徴を追加する ことでせん断力とモーメントも推定可能 Depth sensor (ToF) PMD CamBoard pico flexx 初期バージョンであり、これとは異なる？ 弾性膜の変形の様子 ) 弾性膜(ラテックス • 解像度:224×171 • 応答性：45 fps • 検知範囲：0.1～4m • 分解能：距離の2%ほど A. Alspach, K. Hashimoto, N. Kuppuswamy and R. Tedrake, "Soft-bubble: A highly compliant dense geometry tactile sensor for robot manipulation," Int. Conf. on Soft Robotics (RoboSoft), 2019, pp. 597-604, doi: 10.1109/ROBOSOFT.2019.8722713.
⑨ Soft-bubble （弾性膜変位計測） https://www.youtube.com/watch?v=2fIzF_gmWG0 145 ビデオ N. Kuppuswamy, A. Alspach, A. Uttamchandani, S. Creasey, T. Ikeda and R. Tedrake, "Soft-bubble grippers for robust and perceptive manipulation," 2020 IROS, doi: 10.1109/IROS45743.2020.9341534.
⑨ Soft-bubble （弾性膜変位計測） https://www.youtube.com/watch?v=G8ZYgPRV5LY 146 ビデオ A. Goncalves, N. Kuppuswamy, A. Beaulieu, et.al., "Punyo-1: Soft tactile-sensing upper-body robot for large object manipulation and physical human interaction," 2022 RoboSoft, 10.1109/RoboSoft54090.2022.9762117
5.4 触覚センサ （磁気応用型） ① 磁気変化方式(Uskin) 磁場（磁界） 理学系では「磁場」，工学系では「磁界」という 「物理学基礎」（学術図書出版社） 147
148 ① 磁気変化方式(Uskin) 磁石とホール素子の組合わせで3軸力を検出 磁石変位による磁界の変 化をホール素子で検出 磁界 Flexible PCB attached to the 3D printed fingertip ⚫ ネオジウム磁石： 1.59mm(直径) 0.53mm(厚さ) ⚫ ホール素子：MLX90393 ⚫ 配置数：24個/指 ⚫ I2C接続 Response: 66ms TP Tomo, A Schmitz, W Wong, H Kristanto,S Somlor, J Hwang, L Jamone, S,Sugano, Covering a Robot Fingertip With uSkin: A Soft Electronic Skin With Distributed 3-Axis Force Sensitive Elements for Robot Hands, IEEE ROBOTICS AND AUTOMATION LETTERS, 3, 1, 2018.
② 磁気変化方式(Uskin) 149 ビデオ 無音声 https://www.youtube.com/watch?v=uflHqP5mhYg
5.5 触覚センサの事例（半導体センサアレイ型） ① 半導体圧力センサアレイ(RI-MAN) ② 複合型センサ(HEX-O-SKIN) 150
① 半導体圧力センサアレイ(RI-MAN) 半導体圧力センサのアレイ状配置 特徴： 151 FUJIKURA FPBS-04A ピエゾ抵抗効果を利用した拡散型の半 導体圧力センサ ⚫ 検出素子間補間を弾性体シート等で行い， 検出ヘッドへの荷重誘導 ⚫ 小型コントローラによるセンサ情報の階層 的分散制御 備考： Scanning circuit ⚫ ロボット全身で320個 ⚫ サンプリング：20ms T. Mukai, M. Onishi, T. Odashima, Development of the Tactile Sensor System of a Human-Interactive Robot "RI-MAN”, IEEE Trans. on Robotics, 24, 2, 505-512, 2008 https://www.youtube.com/watch?time_continue=29&v=L-YbxcyRghQ
② 複合型センサ(HEX-O-SKIN) 152 感圧機構：力，近接,温度,加速度セン サの複合型センサ（六角形構造） 特徴： ⚫ 六角形はポートで隣接六角形に接続され 計測データを伝送 ⚫ 近接(GP2S60)，加速度(BMA150)， 温度(PCS1.132)，静電容量型力セン サ（MEMS) 備考： ⚫ 柔軟性は低い Substrate and cap design of the new force sensor cell. P. Mittendorfer, G. Cheng: Humanoid Multimodal Tactile Sensing Modules, IEEE Trans. Robotic, 27(3), pp.401-410, 2011.
② 複合型センサ(HEX-O-SKIN) 153 Robot TOMM with robotic skin using event-based signaling https://www.youtube.com/watch?v=4bs58bA7Hy8
② 複合型センサ(HEX-O-SKIN) ) 154 https://www.youtube.com/watch?v=M-Y2HW6JcGI
5.6 触覚センサの事例（その他） ① 導電性流体のインピーダンス計測(BioTac) ② EIT(Electrical Impedance Tomography)方式 ③ Tomography（接触抵抗から力分布を計算）方式 ④ 空気圧による接触検知方式(Airskin) 155
① 導電性流体のインピーダンス計測(BioTac) 156 柔軟スキンの変形による導電性流体の インピーダンス変化 特徴： ⚫ 3軸方向力およびその力の重心位置を計測 ⚫ 接触振動を流体圧力波を圧力センサによ り計測（two pressure transducers, one for low (upto 100 Hz) and one for high (up to 2.2 kHz) frequencies. ） ⚫ サーミスタにより温度変化も検出 備考： ⚫ 寸法はやや長く，ロボットハンドへの実 装ではハンド指先第2リンクまで https://www.syntouchinc.com/clients/ ダイナミックレンジ 0.01～50N (100～1000 kΩ) 再現性 ＜5％ ヒステリス ＜5％ 空間分解能 ＜3mm http://www.nihonbinary.co.jp/Products/Robot/BioTac.html
① 導電性流体のインピーダンス計測(BioTac) https://www.youtube.com/watch?v=W_O-u9PNUMU 157 ビデオ
① 導電性流体のインピーダンス計測(BioTac) 158 Shadow hand with Biotac RB Hellman, E Chang, J Tanner, SIH Tillery and VJ Santos, A Robot Hand Testbed Designed for Enhancing Embodiment and Functional Neurorehabilitation of Body Schema in Subjects with Upper Limb Impairment or Loss, Front Hum Neurosci. 2015; 9: 26.6
② EIT(Electrical Impedance Tomography)方式 159 導電体シートの外周に多数の電極を配置し導電 体内部の抵抗値分布を逆問題手法を用いて計測 する方法 特徴： ⚫ 感圧領域は導電性の布やゴムシートなどで構成できるため、高い伸縮性が実現できる ⚫ 測定領域内に配線が不要なためセンサは柔軟・薄型，伸縮可能 ⚫ 導電材料の層を重ねると伸縮と圧力を分離して検出することもできる 備考： ⚫ 電磁ノイズ等に対する耐性？，空間分解能は高くない H Alirezaei; A Nagakubo; Y Kuniyoshi, A tactile distribution sensor which enables stable measurement under high and dynamic stretch,IEEE Symposium on 3D User Interfaces, 3DUI 2009
② EIT(Electrical Impedance Tomography)方式 160 sensor sheet is 90mm x 160mm and it can be stretched to up to 140% of its original size Pressure is applied to a circular area with a 20mm diameter Developed tactile sensor under 2way stretch: The sensor’s response is demonstrated over a relatively hard foamed styrol sphere.60mm(a), a highly deformable and stretchable balloon- .90mm (b,c) and a slim PET bottle cap.20mm (d). H Alirezaei; A Nagakubo; Y Kuniyoshi, A tactile distribution sensor which enables stable measurement under high and dynamic stretch,IEEE Symposium on 3D User Interfaces, 3DUI 2009
③ Tomography方式 161 導電体間の接触抵抗分布を Tomography法を用いて計算す ることで力分布を計測 ⚫ 二つの導電体の接触境界には 電気接触抵抗が存在 ⚫ 接触抵抗は接触圧力によって 変化 ⚫ 接触圧力の分布に応じて導電 体に印加される電圧の分布も 決まる ⚫ よって，電圧の分布を推定す ることで、接触圧力の分布を 推定する S. Yoshimoto, Y. Kuroda and O. Oshiro, "Tomographic Approach for Universal Tactile Imaging With Electromechanically Coupled Conductors," in IEEE Transactions on Industrial Electronics, vol. 67, no. 1, pp. 627-636, Jan. 2020, doi: 10.1109/TIE.2018.2879296
162 ③ Tomography方式 https://resou.osaka-u.ac.jp/ja/research/2018/20181114_2 https://www.youtube.com/watch?v=e2boH-Peogs&feature=youtu.be
④ 空気圧による接触検知方式(Airskin) 163 AIRSKIN® pad ⚫ 気密性に優れた薄皮で覆われた柔軟なダン プニング構造 ⚫ 接触変形による内部の空気圧の変化を圧力 センサで検知 ⚫ 検出パッドは，単一のケーブルで直列接続 https://www.youtube.com/watch?v=1C7BYxE57h8 http://www.bluedanuberobotics.com/
触覚応用：モジュラー型床面インターフェース https://dl.acm.org/doi/abs/10.1145/3526113.3545699 164 ビデオ T.Yoshida,et.al.,Flexel: A Modular Floor Interface for Room-Scale Tactile Sensing, UIST '22
弾性体カバーの空間フィルタ特性 1/3 165 空間分解能とセンサカバーの関係 ⚫ 検出素子密度を高くしても，その空間分解能はセンサを 保護するカバーによって大きな影響を受ける 点荷重 P1 P2 g ( , ) 圧力分布 検出素子 圧力分布パターンが 分離 P1 弾性体 カバー センサ P2 f ( x, y ) g ( , ) filter g ( , ) s ( x, y ) 検出素子 圧力分布パターンが 重なり分解能低下 •M. Shimojo: Mechanical Filtering Effect of Elastic Cover for Tactile Sensor, IEEE Transactions on Robotics and Automation, Vol.13, No.1, pp.128-132, 1997.
弾性体カバーの空間フィルタ特性 2/3 166 f ( x, y ) 弾性体カバーはLow Passの空間周波数 フィルタである s ( x, y ) g ( , ) 点荷重によるPoint Spread Function s ( x, y ) = g ( , ) f ( x − , y − )dd カバーによる荷重 分布変化 Fourieｒ変換 S (u , v) = G (u , v) F (u , v) 空間周波数 G (u , v) 空間フィルタGain
弾性体カバーの空間フィルタ特性 3/3 167 s ( x, y ) f ( x, y ) カバー上 カバー下 カバーによる違い カバーの厚さ Thickness Gainが0.4 に低下 Young’s module Poisson’s ratio M. Shimojo: Mechanical Filtering Effect of Elastic Cover for Tactile Sensor, IEEE Tran.on Robotics and Automation, Vol.13, No.1, pp.128-132 (1997)
第３部 すべり覚センサ 6．すべり覚センサの原理 6.1 変位検出方式 6.2 振動検出方式 6.3 接触画像検出方式（接触領域の剥がれ検出） ① 接線/法線力検出型すべり覚 7.6 すべり覚（接触パターン変化検出型） ① 熱伝導の変化 ② 法線力とその中心位置の変化 6.4 周波数成分検出方式（高周波など） 6.5 接線力の変化検出 6.6 その他（法線/接線力，温度など） 7．すべり覚センサの開発例 7.1 すべり覚（変位検出型） ① 表面パターン変化検出型すべり覚 7.2 すべり覚（振動検出型） ① 振動検出型すべり覚 7.3 すべり覚（接触画像検出型） ① 接触面の画像判別型すべり覚 7.4 すべり覚（周波数成分検出型） ① 周波数成分検出型すべり覚 7.5 すべり覚（接線力の変化検出型） 168
6．すべり覚センサの原理 6.1 変位検出方式 6.2 振動検出方式 6.3 接触画像検出方式（剥がれ検出など） 6.4 周波数成分検出方式（高周波など） 6.5 接線/法線力検出方式（摩擦モデルなど） 6.6 その他（法線/接線力，温度など） 169
6. すべり覚 （概論：すべりとは？） 170 ① 物体と物体の接触は，表面に凹凸 があるため，分散した接触領域と なる．通常，この実際の接触領域 は，Fn が大きいほど増加する 参考：地震の発生 ② この接触領域は，固着領域と固着 が剥がれた部分すべり領域とから なる Wiki：定常すべり ③ またFt を増加させると，この部分 すべり領域が拡大し，固着領域が 縮小していく ④ そしてFt の増加による固着領域の 縮小が限度を超えると Ftに抵抗で きず，すべりが発生する 4.安定すべり領域 5.固着域 6.遷移領域 http://www.arito.jp/LecEQ17.shtml ⑤ この部分すべり領域は拡大してい るが，まだ全体すべりが起きてい ない状態のことを初期すべりと呼 ぶことがある
6. すべり覚 （概論：計測方式） すべりを計測する方式として次のようなものがある。 ① すべり変位を計測する方式として，ローラ，ボールなどを物体に接触させ，物体 が滑るときに生じる変位を検出する。または接触パターンもしくは、その特徴量 の変化からすべりを検出する方式がある ② 突起などを設け，物体が滑るときに発生する振動を加速度センサなどを用いて検 出する方式，または音響放射(AE)を利用する方式がある ③ 固着領域，部分すべり領域などの発生変化に伴う領域の変化，微振動などからす べりを検出する方式もある ④ 法線力と接線力を検出、その値が滑りを起こす静止摩擦係数の限界領域に近づい ているかどうかで判断。 初期すべりの検出では， ✓ 接触面の剥離に伴う内部応力の変化を歪みゲージにより検出する方法 ✓ 感圧ゴムでの特異な抵抗値変化を検出する方式 ✓ 接触面積の減少をカメラで観測する方式などがある 171
触覚情報処理 （すべり等） 触覚のデータ種類 情報処理方法 172 触覚データ の応用 力 振動 接触パ ターン ZhanatKappassov,Juan-Antonio Corrales,VéroniquePerdereau,Tactile sensing in dexterous robot hands — Review, Robotics and Autonomous Systems, Volume 74, Part A, December 2015, Pages 195-220，
173 6.1 すべり覚（変位検出方式） すべり検知として，物体とセンサ間の 滑りを検出する。 ⚫ すべり検知方式には，ローラ，ボールなど対象物に接触させ物 体が滑るときに生じるローラなどの回転で検出する方式 ⚫ 接触パターン，表面パターンの特徴量の変化からすべりを検出 例） 1） 触針検出型： ✓ 変位を触針の振動で検出 ✓ 無方向性 2） ローラ回転検出型： ✓ 変位をローラの回転で検出 ✓ 一方向性 3） ボール回転検出型： ✓ 変位を市松模様を付けたボールの 回転で検出 ✓ 2方向性 R Tomović, Z Stojiljkovic, Multifunctional terminal device with adaptive grasping force, Volume 11, Issue 6, November 1975, Pages 567-570.
6.2 すべり覚（振動検出方式） 174 突起などを設け，物体が滑るときに発生する振動を加速度センサなどを用 いて検出する方式（音響放射(AE)を利用する方式もある） 例） ① 半円筒形内部を多孔質ゴムで満たし，突起のあ るゴム膜で覆い，その中に小型加速度計を入れ る（多孔質ゴムは機械系からの振動によるノイズを防 ぐために用いている） ② 接線方向力の増加により，接触面周辺の突起が 剥がれ，その時の突起の振動の検出から，すべ りを検出する ③ すべりによって発生する振動と，それ以外を， ２つ加速度センサの振動の相違から検出する M. Tremblay and M. R. Cutkosky, “Estimating friction using incipient slip sensing during a manipulation task”, IEEE Int. Conf. on Robotics and Automation, 429–434, 1993
6.3 すべり覚（接触画像検出方式） 1/2 Alice V. Maceo, Qualitative Assessment of Skin Deformation:A Pilot Study,Journal of Forensic Identification, 2009 固着領域，部分すべり領域など の発生変化に伴う領域の変化， 微振動等からすべりを検出 Y Kurita et.al.,A Novel Pointing Device Utilizing the Deformation of the Fingertip, IROS 2003 175
6.3 すべり覚（接触画像検出方式） 2/2 176 ステップ接線力とマーカー変位 GelSight T1-T2 T2-T3 T3-T4 (Ti-Ti+1)時間でのマーカの移動変化 1. T1-T2:ステップ荷重の増加期間では、 エラストマー表面はせん断方向に均 質に変位する 2. T2-T3:荷重が最大になった後、接触 領域の中央部は静止し、周辺部は部 分的に滑るように戻る。滑りの多く は荷重の増加が止まった直後この期 間に発生し、この時期はせん断力が 最も急激に減少する時期でもある 3. T3-T4:せん断力の減少が非常に緩や かになり、最終的には準静的な状態 となり、エラストマー表面はほとん ど変位しない せん断力とせん断変位との関係模式図 ① すべりなし：マーカー変位と剪断力は比例 ② 部分すべり：せん断力の増加は緩やか ③ すべり状態：せん断力の増加はない。 W. Yuan, R. Li, M. A. Srinivasan and E. H. Adelson, "Measurement of shear and slip with a GelSight tactile sensor," 2015 IEEE Int. Conf. on Robotics and Automation (ICRA ), pp. 304-311, 2015.
高周波成分 6.4 すべり覚(周波数成分検出方式) 177 すべり発生 ① 物体が滑り出す直前付近で高周波成 分が急激に増加 ② Wavelet変換を用いて，この初期滑 りを検出 S. Teshigawara, K. Tadakuma, A. Ming, M. Ishikawa, M. Shimojo, High Sensitivity Initial Slip Sensor for Dexterous Grasp, IEEE Int. Conf. on Robotics and Automation, 4867-4872, 2010
6.5 すべり覚（接線/法線力検出方式） 178 ⚫ 従来、滑りの予測には、静摩擦係数μなどを閾値 とする摩擦円錐の概念が用いられてきた ⚫ 接線力Ftと法線力Fnの比がこの閾値以下であれば 接触は安定し、そうでなければ滑りが発生する ⚫ 特に滑り始めの摩擦力と法線力の比は、BF比 (Break-away Friction ratio)と呼ばれる。但し、 この比は物体に加わる加速度や外乱力の変化に応 じて変化する ⚫ 接線力が大きくなり、BF比を超えると滑りが発生 し、例えば把持力（法線力Fn）を大きくすること で滑りを防止する 𝐹𝑡 ≤ 𝜇𝐹𝑛 tan 𝜃 = 𝜇 X. Song, H. Liu, J. Bimbo, K. Althoefer and L. D. Seneviratne, "A novel dynamic slip prediction and compensation approach based on haptic surface exploration," 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems, 2012, pp. 4511-4516. X. Song, H. Liu, K. Althoefer, T. Nanayakkara and L. D. Seneviratne, "Efficient Break-Away Friction Ratio and Slip Prediction Based on Haptic Surface Exploration," in IEEE Transactions on Robotics, vol. 30, no. 1, pp. 203-219, Feb. 2014 すべりの検出方法としては、 ① 既知の摩擦係数を用いて、多軸力センサで検出 した接線力Ftと法線力Fn から滑りを予測する ② 摩擦モデル（ LuGreなど）を用いて、加速度 や外乱力の変化に応じて変わるBF比をリアル タイムに計算することで、動的な把持状態での 滑り発生を予測する ③ 短時間の間に接線力Ftの増加が、ある割合δを 超えた時点で滑りが発生する などがある
７． すべり覚センサの開発例 7.1 ① 7.2 ① 7.3 すべり覚（変位検出型） 表面パターン移動検出型すべり覚 すべり覚（振動検出型） 微振動と法線力の変化検出型すべり覚（BioTac） すべり覚（接触画像検出型） ① 固着・部分すべり領域画像判別 ② 7.4 表面パターンに移動検出（Gelsight） すべり覚（周波数成分検出型） ① 周波数成分検出型すべり覚（FFT, 感圧導電素材) ② 周波数成分検出型すべり覚（Wavelet、感圧導電ゴム） 7.5 すべり覚（接線/法線力検出型） ① 接線/法線力検出型すべり覚（摩擦モデル） ② 接線/法線力検出型すべり覚（接線力変化検出型） 7.6 すべり覚（その他） ① 熱伝導の変化検出型すべり覚 ② 法線力とその中心位置の変化検出型すべり覚 ③超音波共鳴型（摩擦係数推定） 179
7.1 すべり覚（表面パターン移動検出型） 例） 180 表面パターンの特徴量変化から すべりを検出 ⚫ 光学マウスは，物体表面の微細 パタンの移動を検出することで 光学マウス用 移動を検出する 光学系 ⚫ 光学マウス用の光学系およびIC は性能，寸法など各種あり，市 販されている。 光学マウス用光学系とIC （avago:Optical mouse sensors) 光学系とICを取付けた指先 A. Maldonado, H. Alvarez, M. Beetz, Improving robot manipulation through fingertip perception, IEEE/RSJ Int. Conf.on Intelligent Robots and Systems, 29472954, 2012
7.1 すべり覚（表面パターン移動検出型） System components (left image, clockwise): Fingertip sensor, SPI controller, FLOSS-JTAG TUM-Rosie, mobile manipulation platform 181 Fingertip for the DLR/HIT Hand ADNS-9500(Avago Technologies) Three fingertip sensors installed in the DLR/HIT hand (thumb, index and ring fingers). Fig. shows the relationship between grasping force and detected slip during a grasping action. The slip is detected early and quickly enough to avoid any large movement of the object. Sampling：50Hz-200Hz A. Maldonado, H. Alvarez, M. Beetz, Improving robot manipulation through fingertip perception, IEEE/RSJ Int. Conf.on Intelligent Robots and Systems, 29472954, 2012
7.2 すべり覚（微振動と法線力の変化検出、BioTac） 182 ⚫ 力微分法：法線力の変化から滑りを検出。物 体が滑るとグリッパーの力が小さくなるため、 法線力の負の微分値を用いて滑りを検出する Slip 力微分法 Slip 微振動検出 ⚫ 微振動の検出：BioTac表面のパターンによる 微振動を圧力センサで検出する ⚫ 並進と回転の滑りを機械学習により80%の確 度で判別できた 加速度 センサ Slip 加速度センサでの すべり検出 機械学習により生の センサ値から、力へ の非線形マッピング を行っている Biotac 木製ブロックのデータ 検出時間：加速度センサ検出前の時間 1. 力微分法： 5.7ms±4.5ms（プラスチック ジャー）、7.8ms±3.6ms（木製ブロック） 2. 微振動検出： 32.8ms±4.2ms（プラスチック ジャー）、35.7ms±6.0ms（木製ブロック） 柔軟スキンの変形による導電性流体のインピーダンス変化で力 を計測、振動を流体の圧力変化として圧力センサで計測する Z. Su et al., "Force estimation and slip detection/classification for grip control using a biomimetic tactile sensor," 2015 IEEE-RAS 15th Int. Conf. on Humanoid Robots (Humanoids), 2015, pp. 297-303, doi: 10.1109/HUMANOIDS.2015.7363558
183 force [N] 7.3 ①すべり覚（接触画像検出） fg ft slip margin F (a) Grip Force(fg) and Load Force(ft) time [s] ① 弾性体半球を物体に接触し，カメラで接触 状態を観測 ② スリップマージンは、ヘルツ接触の解析に 基づいて推定される ③ スリップマージンは、撮影画像から変位を 直接測定するのではなく、偏心量を用いて 推定される A Ikeda,Y Kurita,J Ueda,Y Matsumoto,T Ogasawara,Grip Force Control for an Elastic Finger using Vision-based Incipient Slip Feedback,IROS 2004.
7.3 ②すべり覚センサ（接触画像検出 Gelsight新型） Camera:xHD 720p (1280 x 720) 滑り検出： ① 物体とセンサ表面の相対変位 ② 接線方向力分布状態 ③ 接触面積変化 184 (b) Image captured by GelSight sensor during the grasp (c) The reconstructed 3D geometry from (b) The backgrounds in the pictures are the color intensity change of GelSight images. To detect the slip through marker motion, GelSigtは，把持力が小さいと，上記の現象観測が困難 なため，滑り検出に失敗したとする S. Dong, W. Yuan and E. H. Adelson, "Improved GelSight tactile sensor for measuring geometry and slip," 2017 IEEE/RSJ Int. Conf.on Intelligent Robots and Systems (IROS), 2017, pp. 137-144, doi: 10.1109/IROS.2017.8202149.
7.3 ②接触画像検出（Gelsightでのすべり検出） 1/2 物体表面 パターン センサ表 面マーカ 185 並進 ３つの手がかりから滑りを検出 回転 ① 物体とセンサー表面の相対変位 ② センサー表面上のマーカーのせん 断変位分布 ③ 接触面積の変化 ① 相対変位 物体側テクスチャとセンサ側マーカー の相対的な変位を計測。 隣接する2つ のフレーム間での並進と回転を計算し、 マーカーとテクスチャの動き差を比較 する Improved gelsight tactile sensor for measuring geometry and slip,S Dong, W Yuan, E Adelson - arXiv preprint arXiv:1708.00922, 2017 - arxiv.org
7.3 ②接触画像検出（Gelsightでのすべり検出） 2/2 186 ② せん断変位分布 色強度変化 近傍領域マーカの移動距離: 𝒗𝑝 マーカの最大移動距離: 𝒗𝑖 𝑚𝑎𝑥 マーカ最大移 動距離（赤） 𝑟= マーカ移動 距離（緑） 𝒗𝑝 𝑚𝑎𝑥 𝒗𝑖 𝑚𝑎𝑥 実験では、 r が閾値（ 0.8 ）よ り大きい場合、スリップが発生 している、または近々発生する プラスチック製円筒ボトル 木製立方体ブロック 把持実験：37個の物体に対して7～10回の把持 Successful cases Slip cases Border casees Sample Number 147 116 52 Correct Measure 79% 84% 60% 予測失敗：対象物が平らで滑らかな表面を 持ち、把持力が非常に小さい場合に発生 ✓ せん断力が小さく変形が検出できない ✓ また表面テクスチャーも不足 Improved gelsight tactile sensor for measuring geometry and slip,S Dong, W Yuan, E Adelson - arXiv preprint arXiv:1708.00922, 2017 - arxiv.org
187 Bookcoverなぞりでの 触覚データFFT結果 slip stick Power [level] Power [level] 7.4 ①すべり覚（周波数成分検出、感圧導電素材） 各種素材、なぞりでの 触覚データFFT結果 Frequency Frequency すべり検出表示 Frequency 左耳：フーリエ変換のニューラルネットワーク解析結果 右耳：把持圧力分布中心位置の変位 tactile : myrmex •寸法：80 x 80 x 15[mm] •分解能：16 x 16 •感度：0.1~20[g/mm2 ] •Sample rate: https://www.youtube.com/watch?v=mSq8e4PU90s 1800[Hz] M. Schoepfer, C. Schuermann, M. Pardowitz and H. Ritter, "Using a PiezoResistive Tactile Sensor for Detection of Incipient Slippage," ISR 2010 and ROBOTIK, 2010, pp. 1-7
高周波成分 7.4 ②すべり覚(周波数成分検出、感圧導電ゴム) 188 変位 力 すべり発生 ① 物体が滑り出す直前付近で高周波成分が 急激に増加 ② Wavelet変換を用いて，この初期滑り を検出 S. Teshigawara, K. Tadakuma, A. Ming, M. Ishikawa, M. Shimojo, High Sensitivity Initial Slip Sensor for Dexterous Grasp, IEEE Int. Conf. on Robotics and Automation, 4867-4872, 2010
7.4 ②すべり覚(周波数成分検出、感圧導電ゴム） 189 Vp (V) 仮説 Vp Vp Power of DWT https://www.youtube.com/watch?v=G4VfuvQ_Z6Y&t=82s threshold +5V GND DWT (Discrete Wavelet Transformation) S. Teshigawara, K. Tadakuma, A. Ming, M. Ishikawa and M. Shimojo, "High sensitivity initial slip sensor for dexterous grasp," 2010 IEEE International Conference on Robotics and Automation, 2010, pp. 4867-4872, doi: 10.1109/ROBOT.2010.5509288. https://www.youtube.com/watch?v=G4VfuvQ_Z6Y&t=82s
7.4 ②すべり覚(周波数成分検出、感圧導電ゴム） すべり覚センサの構造及び動作の紹介 ⚫ 検出原理仮説の紹介(gif) ⚫ 高周波検出方式（wavelet変換） ⚫ 滑り検出デモ動画 ⚫ ロボットハンド実装と検出実験 ⚫ すべりを使った物体位置姿勢制御 ビデオ ビデオでの説明です ビデオ(2:58) 190 https://www.youtube.com/watch?v=G4VfuvQ_Z6Y&t=82s
191 7.4 ②感圧導電ゴムの抵抗値変化 炭素量子 シリコンゴム Fn 電極 （１）無負荷 電気抵抗 ∞ Fn Ft （２）法線方向力：抵抗値低下 導電粒子の 分布変化 複雑な電圧 変化 （３）接線方向力：抵抗値変化 https://www.youtube.com/watch?v=G4VfuvQ_Z6Y&t=82s
6 mm 7.4 ②すべり覚(周波数成分検出、感圧導電ゴム） 5 mm 6 mm 5 mm ”すべり”による感圧素材の特徴的な 特性を解析し ”すべり”を検出するセンサを開発した 5 mm Pair of electrodes 192 5 mm Pressure conductive rubber ( 6 mm 6 mm, Thickness 0.5 mm) https://www.youtube.com/watch?v=ueSl7pWb8pc すべり覚センサ（ビデオ） Teshigawara, S.; Ishikawa, M.; Shimojo, M., Development of high speed and high sensitivity slip sensor, IEEE/RSJ IROS pp.47-45, 2008. S. Teshigawara, K. Tadakuma, A. Ming, M. Ishikawa, M. Shimojo: Development of high-sensitivity slip sensor using special characteristics of pressure conductive rubber, ICRA, pp.3289-3294, 2009.5 https://www.youtube.com/watch?v=cu18UJk3eZ8 把持力調整実験（最少力把持）
すべり覚センサをロボットハ ンドに実装： 把持力 すべり発生→把持力増加→把持力減少→すべり 発生→把持力増加→・・・ Slip S. Teshigawara, K. Tadakuma, A. Ming, M. Ishikawa, M. Shimojo: High Sensitivity Initial Slip Sensor for Dexterous Grasp, 2010 IEEE International Conference on Robotics and Automation (ICRA), pp.4867-4872, 2010.5 https://www.youtube.com/watch?v=WtuDZvrZ0Gg 193 https://www.youtube.com/watch?v=8obI1Gr53ZA https://www.youtube.com/watch?v=8obI1Gr53ZA
194 7.5 ①すべり覚（摩擦モデル） 従来、滑り発生の予測には、摩擦円錐の概念 が用いられてきた。しかし、この閾値（ BF ratio）は一定ではなく、把持物体に加わる加 速度や外乱力の変化に応じて変わる。論文で は、動的摩擦モデルを用いて、この閾値を予 測する方法を提案している注 Friction ratio predicted slip threshold (5%) slip compensation 𝜇𝑎𝑐𝑡𝑢𝑎𝑙 Slip 予測・補正のテスト結果。 実際の摩擦比μactualがSafety marginに入った時点で2回の 滑り補正を行っている BF -ratio (break-away friction ratio) Time (s) Friction Force (N) ⚫ 動的摩擦モデルとしてLuGreを用いている ⚫ 動的摩擦モデルのパラメータは、事前に実際の対 象物と指先を用いて実験的に推定 ⚫ 法線力と接線力を検出、その値が滑りを起こす限 界領域に近づいているかどうかですべり予測 注：柔らかい材料では不可 Fn LuGre model A and B is modeled as elastic bristles Velocity (mm/s) Ft X. Song, H. Liu, J. Bimbo, K. Althoefer and L. D. Seneviratne, "A novel dynamic slip prediction and compensation approach based on haptic surface exploration," 2012 IEEE/RSJ Int. Conf. on Intelligent Robots and Systems, 2012, pp. 4511-4516
7.5 ②すべり覚（接線力変化検出型） 195 slip Normal force and tangential force exerted by one of the fingers recorded while manipulating a deformable bottle of 300mL water. ✓ This framework consists of a tangentialforce based slip detection. ✓ Slip is detected when it happens for the first time by measuring the increasing rate of tangential force. 無音声 M. Kaboli, K. Yao and G. Cheng, "Tactile-based manipulation of deformable objects with dynamic center of mass," 2016 IEEE-RAS 16th International Conference on Humanoid Robots (Humanoids), Cancun, Mexico, 2016, pp. 752-757, doi: 10.1109/HUMANOIDS.2016.7803358
196 7.6 ①すべり覚（温度パターン変化検出） ⚫ ヒータ（赤）が発熱→把持物体 （生体組織）→サーミスタ（青)に 熱エネルギーが伝達 豚の組織 the da Vinci ⚫ 把持物体が滑るとヒータの4方向に 配置したサーミスタ(N,E,S,W)へ の熱伝導が変化し，サーミスタの 温度変化から変化方向を検出 腸 卵巣 食道 Mean slip and 95% Confidence Intervals N.T. Burkhard, M.R. Cutkosky and J.R. Steger: Slip Sensing for Intelligent, Improved Grasping and Retraction in Robot-Assisted Surgery, IEEE Robotics and Automation Letters, 3(4), pp.4148-4155, 2018
7.6 ②すべり覚（法線力パターン変化検出） 197 ⚫ 鉗子の把持領域に，シリコン チップ上に集積された8つのピエ ゾ抵抗ゲージを装着 ⚫ 法線方向力とその中心位置の変 化に基づいて滑りを検出する この装置は、ポリエチレンフィルム に包まれたシリコーンゲル製の「臓 器」でテストされ、表面でのせん断 力がゼロであっても、フィルムの下 での滑りを検出することができたと している Kanako Ando, Takafumi Yamamoto, Yusaku Maeda, Kyohei Terao, Fusao Shimokawa, Masao Fujiwara, and Hidekuni Takao, “Highly Sensitive Silicon Slip Sensing Imager for Forceps Grippers Used under LowFriction Condition”, 2019 IEEE Int. Electron Devices Meeting https://www.kagawa-u.ac.jp/kagawa-u_ead/topics/research/24522/
７．６ ③超音波の共鳴を用いた摩擦係数計測 198 接触部におけるセンサの変形は摩擦係数に依存する Vertical stress Tv Shearing stress Ts Shearing stress Ts ⚫ a) μ=∞:センサーの表皮は、水平方向に動けず、せん断応力 分布Ts（x）が発生 ⚫ b) μ=0 :センサーの表皮は接触部全体でスリップが発生し、 水平方向に伸びる ⚫ μの変化に応じて表面下の水平応力が連続的に変化することを 解析結果は示している ⚫ したがって、接触領域の水平応力を感知すれば、摩擦係数を 推定することができるとした ① Finger a) Finger b) 𝜇 = 𝜇=∞ 0 ② ③ 共振周波数f1から導かれる共鳴空洞の水平方向の伸びuH は、摩擦係数に依存する 水平／垂直方向の空洞の広がりは、接触深さに比例する したがって，比 Rは，接触深さに依存しない 𝑅 = 𝑢𝑉 Τ𝑢𝐻 Δ𝑓3 𝑢𝑉 = − 𝑓3 𝑢𝐻 = − Δ𝑓1 𝑓1 𝑅 = 𝑢𝑉 Τ𝑢𝐻 ✓図は3種類の速度0.8, 0.38, 0.18mm/sで センサを押したときのRの値である ✓図の実験結果から、3種類（サンドペーパ 被覆、パウダー被覆、オイル被覆）の摩擦 特性は、押しつけ速度に関係なく、Rで区 別できることがわかった Time (s) contact speed f:0.8mm/s m:0.38mm/s s:0.18mm/s Nakamura, K., Shinoda, H. , A Tactile Sensor Instantaneously Evaluating Friction Coefficients. Transducers ’01 Springer,2001 https://doi.org/10.1007/978-3-642-59497-7_331
すべり検出方式の分類例 R. A. Romeo and L. Zollo, "Methods and Sensors for Slip Detection in Robotics: A Survey," in IEEE Access, vol. 8, pp. 73027-73050, 2020, doi: 10.1109/ACCESS.2020.2987849. ＋長所 - 短所 199
第４部 近接覚センサ 8. 近接覚センサの原理 8.1 光反射光量方式 8.2 静電容量（電界）方式 ③静電容量（電界）型近接覚(S.E. Navarro) ④静電容量（電界）型近接覚(S. Mühlbacher-Karrer) 9.3 近接覚センサ（光TOFなど） ①自己容量方式(self capacitance) ① 光ToF型近接覚（テレオペレーションへの利用） ②相互容量方式(mutual capacitance) ② 三角測量型近接覚（協調動作空間での接触を予測検知 8.3 光/超音波の往復時間（TOF）方式 8.4 三角測量方式 8.5 渦電流方式 ③ 光遮断型近接覚（物体検知） 9.4 近接覚センサ（複合型） ① 複合型近接覚（静電容量+ToF, Y. Ding,2018） ② 複合型近接覚（静電容量+ToF, Y. Ding,2019 ) 9. 近接覚センサの開発例 9.1 近接覚センサ（光反射光量型） ①光反射型近接覚(フォトリフレクタ) ②光反射型近接覚(分布、フォトリフレクタ) ③光反射型近接覚(分布、フォトリフレクタ) 9.2 近接覚センサ（静電容量（電界）型） ①静電容量（電界）型近接覚(T. Schlegl) ③ 複合型近接覚（静電容量+ToF, S. Tsuji ） ④ 複合型近接覚（フォトリフレクタ+ToF, K.Sasaki ） 9.5 触・近接覚センサ ①触・近接覚（フォトリフレクタ＋柔軟体, K.Koyama) ②触・近接覚（フォトリフレクタ＋柔軟体, D. Hughes） ③触・近接覚（フォトリフレクタ＋柔軟体, N. Yamaguchi ） ④触・近接覚（静電（電界）型, H. -K. Lee Lee） ⑤光導波板と複眼カメラ型触近接覚（ K. Shimonomura ） ②静電容量（電界）型近接覚(J. R. Smith) 200
8. 近接覚センサの原理 8.1 光反射光量方式 8.2 静電容量（電界）方式 ① 自己容量方式(self capacitance) ② 相互容量方式(mutual capacitance) 8.3 光/超音波の往復時間（TOF）方式 8.4 三角測量方式 8.5 渦電流方式 201
202 8. 近接覚（概要） 触覚センサは 接触が分かる 衝突した後で わかる！ 安全のためには近接覚が重要
8. 近接覚（概要：近接覚とは何か） 触覚 近接覚 触感覚を空間的に数十cm拡張したもの （Super Tactile） 203
204 8. 近接覚（概要：近接覚とは何か） 近接領域 例えば次のような検出方式がある LED i 非接触での検知 Phototransistor EE-SY1200 触覚が空間的に拡張した イメージ 検出素子：フォトリフレクタ
205 8. 近接覚（概要：計測例） 近接覚センサ出力 ビデオ 近接覚センサ出力 近接覚センサ 16×16アレイ 近接覚センサとしてフォトリフレクタを16×16に配置した。センサー出力は カラーで表示され、距離に応じて出力画像が変化する https://www.youtube.com/watch?v=ILmK0DinkYM 無音声 国府田 直人, 鈴木 陽介, 明 愛国, 石川 正俊, 下条 誠, 分布型近接覚センサからの情報処理, ロボティクス・メカトロニクス講演会講演概要集巻,2A2-P05 (2011)
206 8. 近接覚（概要：利用例） 近接覚センサ 高速な物体表面追従を実現 Robot finger traces a surface using proximity array sensor ⚫ 指先に近接覚センサを配置 ⚫ センサ出力と指駆動モータを一対一接続 （Reactive contol） 追従と回避動作の実現 Tracking and avoiding ⚫ ARM先端に近接覚センサを配置 ⚫ 先端トップの近接覚で追従 ⚫ 先端サイドの近接覚で回避 https://www.youtube.com/watch?v=gaxcQPKM9C8 https://www.youtube.com/watch?v=M0QYP-V7qB8 https://www.youtube.com/watch?v=Bi0o-ai6-yM&feature=emb_logo https://www.youtube.com/watch?v=sCgZdzQL0GQ&t=35s M. Shimojo, T. Araki, S. Teshigawara, A. Ming, M. Ishikawa,A Net-Structure Tactile Sensor Covering Free-form Surface and Ensuring High-Speed Response, Int. Conf. on Intelligent Robots and Systems(IROS 2007), 670-675, 2007
8. 近接覚（概要：視覚，触覚の問題点） 問題： 207 物体近傍での情報の欠落 ➢ 視覚は計測誤差があり， また隠蔽や死角がある ➢ 触覚は接触するまで検出 できない 対策： ➢ 近接覚で，近くの物体 (近接領域）を検知する ✓ 視覚や触覚だと，安全のた め，衝突しないように物体 近傍では低速な動作となる ✓ 高速な動作が可能 ✓ 衝突回避が可能 ✓ ソフトな接触が可能 ✓ 非接触操作が可能
208 8. 近接覚（概要：利用場面の例） 輪郭tracing × 高速 approaching 高速動作 ⚫ 安定操作 非破壊 辺 ⚫ 安全安心 ⚫ 高速動作 Soft Touching × 〇 角 面 安定した把持・操作 Proximity Servoing 接近面形状の検知 輪郭・追従 面/辺/角など 衝突事前検知 非接触操作 Touchless Operation
209 8. 近接覚（概要：情報と利用） 種類 検出情報の種類・利用 物体面までの 近接覚 距離 ⚫ 衝突回避 視触覚をシーム レスに接続 ⚫ ソフトな接触 ◼ 非接触 →非破壊 ⚫ Servoing 輪郭・追従 ✓ 安全性向上 ⚫ 距離/方向 ⚫ 接近速度 方向 ⚫ 衝突までの 時間 ⚫ 接近面の形状 ⚫ 高速/安定 把持 平面/辺/角 形状 （分布） 長所 ⚫ 物体の位置 姿勢 ⚫ 巧緻な把持 操作 ✓ 高速な動作 ✓ 非接触イン ターフェース への応用
210 8. 近接覚（概要：位置づけ） ⚫ 視覚には隠蔽があり，触覚は接触まで検出できない ⚫ よって物体近傍では，衝突等を避けるため，低速な動作となる ⚫ 近接覚は視触覚をシームレスに接続し，確実で高速な動作を行わせる ⚫ 局所情報 (local area) ⚫ 大局情報 (wide area) ⚫ 推定 (predict) 視覚 近接覚 触覚 Vision Proximity Tactile ⚫ 接触まで未検出 ⚫ 隠蔽・死角 (Occlusion/blin d spot) 視覚 (vision) ⚫ 確定 (confirm) 非接触 接触 (non-contact) (contact) Proximity connects vision and tactile seamlessly 近接覚 (proximity) ✓ 視・触覚のシームレスな接続 (Not detected until contact) 触覚 (tactile)
8. 近接覚センサの原理 8. 近接覚センサの原理 8.1 光反射光量方式 8.2 静電容量（電界）方式 ① 自己容量方式(self capacitance) ② 相互容量方式(mutual capacitance) 8.3 光/超音波の往復時間（TOF）方式 8.4 三角測量方式 8.5 渦電流方式 211
8.1 光反射光量方式（フォトリフレクタ） 212 反射光強度は物体の距離に応じて変化 することから近接距離情報を検出 フォトリフレクタ EE-SY1200 3.2mmx1.9mm 利点： 欠点： ➢ 応答速度速い ➢ 対象物の反射率，表面粗さ，色などの 影響を受ける ➢ 空間分解能高くできる ➢ 小型軽量廉価，種類豊富 ➢ 透明体など光を反射しない物体は検知 できない
213 8.1 光反射光量方式(例) ① センサ素子は円周方向に60分割 ② 接近物体の方向と距離を検出 ③ 接近物体が複数の場合，接近物体 の方向と距離，および数を示す https://www.youtube.com/watch?v=Cfngzj1IFjU https://www.youtube.com/watch?v=XB3GhOs7UTk https://www.youtube.com/watch?v=r-n7wJWbeRQ Terada, K.; Suzuki, Y.; Hasegawa, H.; Sone, S.; Ming, A.; Ishikawa, M.; Shimojo, M.. Development of Omni-directional and Fast-responsive Net-structure Proximity Sensor, 2011 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2011) pp. 1954-1961, 2011. https://www.youtube.com/watch?v=Cfngzj1IFjU 213無音声
8.2 静電容量(電界）方式 1/2 ① 自己容量方式：送信電 極からの電界内への物 体の侵入による電流変 化から検出 物体 物体 送信電極 送信電極 受信電極 IR IT 自己容量方式 (self capacitance) 214 相互容量方式 (mutual capacitance) 利点： ➢ 光方式と比べ汚れなどに強い ➢ 形状の自由度大（大小軽薄型など） ➢ 短距離・広範囲の検出が可能 ② 相互容量方式：送受信 電極間の電界への物体 の侵入による電流変化 から検出 注）静電容量の変化となるため、周波数の 変化、位相の変化などでも検出できる 欠点： ➢ 物体の形状，材質などで検出 特性が異なる ➢ 空間分解能が低い ➢ 指向性が低い
215 8.2 静電容量(電界）方式 2/2 物体 C1 電極1 C2 電極2 物体 C3 電極3 C1 CN 電極N Active guarding 電極1 C2 電極2 C3 電極3 CN 電極N Grounded shielding この例では送信は電極1 この例では送信は電極1，受信は電極3 mode 1 (Single-ended) mode 2 (Differential ) ⚫ 送信電極のみで動作 ⚫ 送信電極と受信電極のペアで動作 ⚫ 送信電極に交流電圧をかけ，送信電極の変 位電流を測定（強度と位相情報あり） ⚫ 送信電極に交流電圧をかけ，受信電極の 変位電流を測定（強度と位相情報あり） ⚫ 独立した測定値の数はN（N:電極数） ⚫ 独立した測定値の数はN(N-1) /2（N:電 極数） ⚫ 十分に接地された対象物に対して、より優 れたS/N比が得られる ⚫ 主に導電性物体と電極との最短距離に反応 ⚫ 情報量が多い ⚫ 非導電性物体の検出能力が向上 T. Schlegl, T. Kröger, A. Gaschler, O. Khatib, H. Zangl,"Virtual Whiskers — Highly Responsive Robot Collision Avoidance," 2013 IEEE/RSJ Int. Conf. on Intelligent Robots and Systems
216 8.2 静電容量（電界）方式の説明 集中回路モデル 容量性カップリング 通常数100pF以下 grand ⚫ 導体（人体）と送受信電極との間の容量性カップリングの変化を測定する ⚫ 静電容量は1MHz以下の周波数の交流電圧で電極を駆動したときに流れる変 位電流から計測することが多い ⚫ すべての物体が電気的に結合している共通の電位であるグラウンドの役割 は重要である。このグラウンドがないと静電容量式は、正常に動作しない 静電容量式(capacitive sensing)は、電界式(electric field sensing) とも呼ばれている Tobias Grosse-Puppendahl,Christian Holz,Gabe, Raphael Wimmer, Oskar Bechtold, Steve Hodges, Matthew S Reynolds, Joshua R Smith,"Finding Common Ground: A Survey of Capacitive Sensing in Human-Computer Interaction,"Proceedings of the 2017 CHI Conference on Human Factors in Computing SystemsMay 2017 Pages 3293–3315
8.2 静電容量（電界）方式 検出モード分類 Loading Mode Active Capcitance sensing 能動型 Passive Capcitance sensing 受動型 217 ⚫ 能動型：交流電源で電界を変化させる ⚫ 受動型：存在する電界を利用する Loading(負荷)モード 自己容量方式(self-capacitance sensing) Receive Mode Transmit Mode Shunt Mode 一般的検出法 電界を遮るモード 相互容量方式(mutual-capacitance sensing) (𝐶𝑇𝑅 ≅ 𝐶𝑇𝐵 ≅ 𝐶𝑅𝐵 ) 送信側に物体を配置するモード (𝐶𝑇𝐵 ≫ 𝐶𝑅𝐵 , 𝐶𝑇𝐵 ≫ 𝐶𝑇𝑅 ) 受信側に物体を配置するモード (𝐶𝑅𝐵 ≫ 𝐶𝑇𝐵 , 𝐶𝑅𝐵 ≫ 𝐶𝑇𝑅 )
218 8.2 静電容量（電界）方式 Thomas G. Zimmerman, Joshua R. Smith, Joseph A. , Paradiso, David Allport, and Neil Gershenfeld. , "Applying Electric Field Sensing to Human-computer Interfaces", (CHI ’95), DOI:http://dx.doi.org/10.1145/223904.223940 電界 Electric Field 送信 電極 交流 電圧 受信 電極 ⚫ 静電容量センシングは、2つ以上 の導体間の静電容量を測定するこ とで、触覚、近接などの物理量を 推定することができる ⚫ 静電容量は、2つの電極が距離を 隔てているときに存在する。電極 が異なる電位にある場合、両者の 間には電界が存在する。 ① 上図の送信電極と受信電極は，コンデンサを構成する ② 電極間の電位が時間的に変化すると，電極間に変位電流Iと呼ばれる電流が流れる ③ 送受信電極間に発生した電界に，人体などの導体が介入すると，電界が妨げられ， 受信電極に流れる変位電流IRが減少する ④ この変位電流IRの変化を計測することで人体などの接近を検知する 変位電流(Displacemnt current)：電流は電荷の移動で発生するが、変位電流は電荷の移動で発生するものではないので、 「変位」という名称が付けられている（wikipedia） 私は，この例では，容量性カップリング間の単なる充放電電流と 理解している。（変位電流という呼び方も間違いではない）
8.2 変位電流とは？ 𝐼(𝑡) 𝑄(𝑡) = 𝐶𝑉 𝑡 Q(t) 変位電流 𝑉(𝑡) 𝑑𝑄 𝑑𝑉 𝐼= =𝐶 𝑑𝑡 𝑑𝑡 素直に考えると，これは単なる充放電の電流 ＋ ＋ ＋ ＋ 𝐶 219 付録の付録 電界E - - - - ① コンデンサに加わる電圧が増加する ② 電荷Qが増加する ③ コンデンサに電流が流れ込む 変位電流 コンデンサの電極間を実際に電荷が移動するわけではない 電磁気学では？ ＋ ＋ ＋ ＋ - - - - 𝐻 マクスウェル の方程式 𝜕𝐷 ∇×𝐻 =𝑖+ 𝜕𝑡 アンペールの法則 変位電流 𝐷 = 𝜀𝐸 D は電束密度、H は磁界の強度 電荷Qの変化→電界Eの変化→変位電流？→磁界Hの発生？ このあたりの物理（因果関係）が私にはよくわからない。ただ，アンペールの法則では，電流が流れ るところに磁界がある。コンデンサ電極間には電流が流れず，かつ磁界があるとすると，何らかの電 流の存在が必要である。それが変位電流なのか？ しかし，コンデンサ内部で磁界Hはあるのか？ 以 前からこの辺りがスッキリしない
220 8.3 光往復時間（TOF）方式 光の往復時間TOF(Time of Flight) から対象物までの距離を測る方式 Δｔ＝往復時間 ① L=10mmならば， → Δｔ＝67ｐｓ ② 計測Timerの周波数 f は SPAD(Single-Photon Avalanche Diode) C: 光速 利点： ➢ 対象物の反射率，表面粗さ， 色などの影響を受けにくい ➢ 集積化可能，小型，軽量 𝒇= 𝟏 ∆𝒕 𝒇 = 𝟏𝟓𝟎𝑮𝑯𝒛 欠点： ➢ 計測精度？ →数ミリの誤差がある ➢ 高速応答性？
8.3 光往復時間（TOF方式）（製品例） 221 STMicroelectronics VL6180X ✓ レンジ：0mm-100mm, ✓ 誤差：2mm(Noise) I2C接続 4.8 x 2.8 x 1.0 mm ✓ 応答：15ms（67Hz） STMicroelectronics Vl6180X 距離計測特性 往復時間Δｔは多数試行からの 統計処理 → 応答速度と精度はトレードオフ https://www.st.com/content/st_com/en/products/imaging-andphotonics-solutions/proximity-sensors/vl6180x.html
8.3 光往復時間（TOF方式）（製品例） 222 SONY:画像センサ「IMX456QL」 ✓ レンジ：300mm-10000mm, ✓ 誤差：誤差6mm（１ｍ測距時） ✓ 速度：120fps https://www.sony.co.jp/SonyInfo/News/Press/201712/17-114/ SONY:画像センサ「IMX456QL」 Simblee™ IoT 3D ToF Sensor Module RFD77402 ✓ Range: 100 mm to 2000 mm ✓ Accuracy: +/- 10% accuracy ✓ Maximum refresh rate: 10 Hz pmd flexx2 DevKit (pmdtechnologies社) Measurementrange： 0.1 m – 4 m Framerate: Up to 60fps (3D frames) Resolution: 224 x 171 (38k) px Viewing angle (HxV): 56°x 44° Interface: USB3 Type-C
223 8.3 超音波往復時間（TOF方式） 音の往復時間TOF(Time of Flight) から対象物までの距離を測る方式 Δｔ＝往復時間 1 𝐿 = 𝑣∆𝑡 2 𝑣: 音速 Ex)ＨＣ－ＳＲ０４ ＨＣ－ＳＲ０４ レンジ： 20-4000mm 応答性： 60ms(max) サイズ：45×20×15mm 利点： 欠点： ✓ 多少の埃，汚れでも検出可能 ✓ 近接距離の検出困難(振動子残響など の為）(20mm～） ✓ 透明体の検出が可能 ✓ 多くの種類がある ✓ 高速応答は困難(30ms以上） ✓ 多重反射などで誤動作
224 8.4 三角測量方式 三角測量にて距離を計測する。受光素子とし てPSDなどの位置検出素子を用いる。 sharp 型番 GP2Y0A710 範囲 100〜550cm GP2Y0A02 20〜150cm GP2Y0A710 100〜550cm https://jp.sharp/products/device/lineup/selection/opto/haca/diagram.html 利点： ➢ 反射率などの影響を影響を 受けにくい ➢ 信号処理回路を一体化 ➢ 種類豊富 欠点： ➢ 最小検出距離数センチ ➢ 応答性十数ms程度(I2C接続）
8.4 三角測量方式（製品例） 光源として赤外LEDを用い，計測対象物 からの反射光を画像素子CMOSに集光し て三角測量方式により距離を計測する。 型番：GP2Y0E02B 寸法：18.9×8.0×5.2mm CMOS素子 障害物や段差の検知用として，6~８個のセンサを使用 Ex)ロボット掃除機用 http://www.sharp.co.jp/corporate/rd/n36/pdf/201210topics3.pdf I2Cインターフェースにより接続 225
226 8.5 渦電流方式 電磁誘導での渦電流による磁気損失を検出 ⚫ センサコイルから高周波磁束を発生 ⚫ 導体に渦電流(eddy current)が流れる ⚫ 渦電流の強度は、導体との距離で変化 ⚫ センサコイルのインピーダンスの変化から検出 https://www.keyence.co.jp/ss/sensor/aboutsensor/eddy_current/ 利点： ➢ 耐環境性に優れる ✓水や油などの環境下 ✓広い温度範囲 欠点： ➢ 導体である金属に限られ ➢ 物体の材質等の違いで特性が変化
227 9. 近接覚センサの開発例 9.1 近接覚センサ（光反射光量型） 9.5 触・近接覚センサ ① 光反射型近接覚(フォトリフレクタ) ①触・近接覚（フォトリフレクタ＋柔軟体, K.Koyama) ② 光反射型近接覚(分布、フォトリフレクタ) ②触・近接覚（フォトリフレクタ＋柔軟体, D. Hughes） ③ 光反射型近接覚(分布、フォトリフレクタ) ③触・近接覚（フォトリフレクタ＋柔軟体, N. Yamaguchi ） 9.2 近接覚センサ（静電容量（電界）型） ① 静電容量（電界）型近接覚(T. Schlegl) ② 静電容量（電界）型近接覚(J. R. Smith) ③ 静電容量（電界）型近接覚(S.E. Navarro) ④ 静電容量（電界）型近接覚(S. Mühlbacher-Karrer) 9.3 光型近接覚センサ（光（TOF）型） ① 光ToF型近接覚（テレオペレーションへの利用） ② 三角測量型近接覚（協調動作空間での接触を予測検知 ③ 光遮断型近接覚（物体検知） 9.4近接覚センサ（複合型） ① 複合型近接覚（静電容量+ToF, Y. Ding,2018） ② 複合型近接覚（静電容量+ToF, Y. Ding,2019 ) ③ 複合型近接覚（静電容量+ToF, S. Tsuji ） ④ 複合型近接覚（フォトリフレクタ+ToF, K.Sasaki ） ④触・近接覚（静電（電界）型, H. -K. Lee Lee） ⑤光導波板と複眼カメラ型触近接覚（ K. Shimonomura ）
9.1 ①光反射型近接覚(フォトリフレクタ) 近接覚センサの構造及び動作の紹介 ⚫ 同一構造の触覚と近接覚 ⚫ ロボットアーム、全方向移動車 ⚫ ハンド実装と各種把持動作 ⚫ 高速応答（最大100ns） ⚫ スペクトル拡散方式の開発 ビデオ ビデオでの説明です ビデオ(4:40) https://www.youtube.com/watch?v=ub7leKLtjVo 228
9.1 ①光反射型近接覚(フォトリフレクタ)1/3 proximity sensor 229 高速な近接センシングに基づく，Reactive制御 を用いた、多自由度HandとArmの統合制御 ✓ 各指先の近接覚センサは、抵抗回路網型マト リクス状の構成である ✓ センサは，物体までの距離とその中心位置と に関係する値を高速(<1ms)に検出する ✓ センサ出力により、ハンド指面を物体形状に 倣わせ，同時に適切なアームの位置・姿勢に なるようReactive制御を行う ✓ 位置と姿勢は非接触で制御されるため、物体 やロボットを損傷する危険性はない Structure of a high-speed proximity sensor (An example m × n matrix of detectors where m = 3 and n = 3) K. Koyama, M. Shimojo, A. Ming, M. Ishikawa,"Integrated control of a multiple-degree-offreedom hand and arm using a reactive architecture based on high-speed proximity sensing,"The International Journal of Robotics Research, 38(14). 1717 - 1750, 201
9.1 ①光反射型近接覚(フォトリフレクタ)2/3 230 指先と物体面とが平 行となるように制御 近接センサ出力と関 節モータとの一対一 接続によるReactive 制御 指先腹部位で物体を 把持するように制御 近接センサ出力（中心位置の値） https://www.youtube.com/watch?time_conti nue=3&v=gaxcQPKM9C8&feature=emb_logo 近接覚出力に基づく，多自由度HandとArmの制御 https://www.youtube.com/watch?v= tHsrXsEreCY https://doi.org/10.1177/0278364919875811
231 9.1 ①光反射型近接覚(フォトリフレクタ)3/3 無音声 ビデオ Integrated control of a multiple-degree-of-freedom hand and arm using a reactive architecture based on high-speed proximity sensing https://www.youtube.com/watch?v=fn9T9toOn_c https://journals.sagepub.com/doi/abs/10.1177/0278364919875811
9.1 ②光反射型近接覚(分布、フォトリフレクタ)1/2 232 フォトリフレクタをアレイ状に配し，対象物面までの距離 （高速応答）と，距離パターン（低速応答）を計測する。 ⚫ フォトリフレクタ，抵抗ネットワークで接続して中心位 置を検出する方式に，各フォトリフレクタの出力（電 流）を計測して距離パターンを検出する方式を合わ せたセンサ ⚫ 中心位置の検出は１ｋｚ，距離パターンは100Hz，の サンプリング速度 ⚫ 左図は，球と円柱の距離パターン計測例を示す。 （パラメータとしてセンサと物体の距離を変化） Y. Hirai, Y. Suzuki, T. Tsuji and T. Watanabe: High-speed and Intelligent Pre-grasp Motion by a Robotic Hand Equipped with Hierarchical Proximity Sensors, IEEE/RSJ Int. Conf. on Intelligent Robots and Systems, pp.7424-7431, 2018.
9.1 ②光反射型近接覚(分布、フォトリフレクタ) 2/2 233 Proximity Sensors on the fingertips and palm of the robot hand. Point clouds of general objects generated by the proximity sensors Procedure of the non-contact perception motion. Y. Suzuki (2021) Proximity-based non-contact perception and omnidirectional point-cloud generation based on hierarchical information on fingertip proximity sensors, Advanced Robotics, Pages 1181-1197, DOI: 10.1080/01691864.2021.1969268
9.1 ③光反射型近接覚(分布、フォトリフレクタ) 234 短冊形状のフレキシブルプリン ト基板上に赤外線LEDセンサー をアレイ状に配置 ✓ 検出範囲：0～300mm ✓ 応答性：５００Hz ✓ インターフェース：CAN (日本精工株式会社) https://www.nsk.com/jp/company/news/2015/press1201b.html
9.2 静電容量（電界）型近接覚(T. Schlegl)1/2 235 T. Schlegl, T. Kröger, A. Gaschler, O. Khatib, H. Zangl,"Virtual Whiskers — Highly Responsive Robot Collision Avoidance," 2013 IEEE/RSJ Int. Conf. on Intelligent Robots and Systems differential mode例 Single-ended mode Differential mode セ ン サ 電 極 https://www.youtube.com/watch?v=v7C_SHweCxM
9.2 静電容量（電界）型近接覚(T. Schlegl)2/2 変位電流 送信：transmitter T. Schlegl, T. Kröger, A. Gaschler, O. Khatib, H. Zangl,"Virtual Whiskers — Highly Responsive Robot Collision Avoidance," 2013 IEEE/RSJ Int. Conf. on Intelligent Robots and Systems https://www.youtube.com/watch?v=v7C_SHweCxM 236 変位電流 受信 receiver
9.2 静電容量（電界）型近接覚(J. R. Smith)1/2 237 電界変化による近接物体の検知。バレットハ ンド指先に左図センサを取付け把持を行う ⚫ 図に示すような送信／受信のペア電極で構成する ⚫ 指の先端にある受信電極は左右に分かれているた め指の左右を別々に測定することができる ⚫ 送信機は各指に2つ配置し使用する送信電極の配 置によって測定の範囲が決まる。 ✓ 受信機に近い配置：高い解像度で計測が可能 であるが約2cm先のセンシングに制限される ✓ 受信機に遠い配置：約5センチメートルの範囲 の中距離測定が可能である ✓ 手のひらにある送信電極：約10～15cmの長 距離の測定が可能である Finger electrodes attached to bottom of sensor board. ⚫ 指ごとに長・中・短距離の送信機を選択できる特 徴がある。 ⚫ 把持などで複数の物体がある場合、選別が困難で ある B. Mayton, L. LeGrand and J. R. Smith, "An Electric Field Pretouch system for grasping and co-manipulation," 2010 IEEE International Conference on Robotics and Automation, Anchorage, AK, USA, 2010, pp. 831-838, doi: 10.1109/ROBOT.2010.5509658. https://www.youtube.com/watch?v=tMk0WKjqrk0
9.2 静電容量（電界）型近接覚(J. R. Smith)2/2 mid-range Object touched long-range Sensor value 人の影響： 把持物に人が触 れたときの反応 Object released The Barrett Hand 中距離電極と長距離電極が生成する等信号面 Time (s) Normarized sensor Response 238 センサ出力変化 （相対比） ロボットの指先に設置されたセンサボード
9.2 静電容量（電界）型近接覚(S.E. Navarro) 239 裏 ✓ 力モード ： Layer AとB間の静電容量で計測 ✓ 近接モード： Layer Bと対象物間の静電容量で計測 ✓ ハンド両面の近接センサから物体 の位置姿勢を計測 ✓ Proximity servoingを行う S.E. Navarro, M. Schonert, B. Hein, H. Wörn,"6D proximity servoing for preshaping and haptic exploration using capacitive tactile proximity sensors,"2014 IEEE/RSJ International Conference on Intelligent Robots and Systems https://www.youtube.com/watch?v=nwH9GfzTek8
9.2 静電容量（電界）型近接覚(S. Mühlbacher-Karrer) 240 自己容量 方式 IDS S1:測定切り替え 相互容量 方式 IDD Electrodes 静電容量センシング：電極の励 起モードを切り替え，操作中に 物体の内部特性を計測する 電極の配列に対して，シング ルエンド測定（IDS: 電極とグ ランド間容量）と差動測定 （IDD: 電極間容量）を実行、 空のボトルと空でないボトル を分類する 物体による電界の変化シミュレーション S. Mühlbacher-Karrer, A. Gaschler and H. Zangl, "Responsive fingers — capacitive sensing during object manipulation," 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Hamburg, 2015, pp. 4394-4401. https://www.youtube.com/watch?v=htc3lj8Los0&feature=youtu.be
9.3 ①光ToF型近接覚（テレオペレーションへの利用） ① ② 241 ① ガイダンス力 (引力) ② 禁止領域力 (斥力) ③ 近接倣い力 ③ 利点：スペースの制約、アクセシビリティ、またはオクルー ジョンのためにカメラや長距離センサーでは十分に観察で きない動的なオブジェクトや領域を探索できる VL6180X 計 6個配置 未知の幾何学的構造にロボットが接触することによる負の 結果を招くことなく、ターゲットとのインターラクションが可能 ✓ ターゲットの損傷または不要な変位を生じない ✓ 操作者は，より積極的に探索に集中可能 ✓ ハプティックフィードバックは、非ハプティックフィードバック と比較し衝突は半分以下。ユーザーは一貫して関心のあ るオブジェクトに近づくことができた K. Huang, P. Lancaster, J. R. Smith and H. J. Chizeck, "Visionless Tele-Exploration of 3D Moving Objects," 2018 IEEE International Conference on Robotics and Biomimetics (ROBIO), Kuala Lumpur, Malaysia, 2018, pp. 2238-2244.
9.3 ②三角測量型近接覚（協調動作空間での接触を予測検知） 242 人間とロボットの協調動作空間での接触 を近接覚センサで予測検知する時の，最 適な近接覚センサの配置の位置と個数 をシミュレーションによって評価 ⚫ 搭載センサ方式は，開発および キャリブレションの容易性，オク ルージョン排除の優位性の利点 20個配置 GP2Y0A02YK (Sharp ) ⚫ 産業用ロボット(ABB IRB140)で の最適化方法の結果として，セン サ配置数20個使用した場合に、人 間の検出確率のほぼ90％を保証 ⚫ ロボットの回避制御として、セン サ情報に基づく安全性を高める回 避アクションを行うリアクティブ 制御を提案 20-150cm G. Buizza Avanzini, N. M. Ceriani, A. M. Zanchettin, P. Rocco and L. Bascetta, "Safety Control of Industrial Robots Based on a Distributed Distance Sensor," in IEEE Transactions on Control Systems Technology, vol. 22, no. 6, pp. 2127-2140, Nov. 2014.
243 9.3 ③光遮断型近接覚（物体検知） Tissue grasping 1. 2. 3. 4. Kinect:Preliminary work point cloud Trace the edge Find the corner Grasp it エッジ追跡で角を検出 Four beams of IR light 赤外光の遮断による物体検知 Center detection 1. Gripper rotates around the x-axisfor 180 degrees 2. Records the sensing information ハンドを回転 して物体中心 位置を検出 Kinectでの前処理と光遮断法による検出 Di Guo, P. Lancaster, L. Jiang, Fuchun Sun and J. R. Smith, "Transmissive optical pretouch sensing for robotic grasping," 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 5891-5897.
9.4 ①複合型近接覚（静電容量+ToF, Y. Ding, ） 244 2018 VL53L0X 1. ToF型近接： ✓ 中距離計測 2. 静電容量型： ✓ 近接距離 ✓ 非接触材質判別 材質判別：静電型電極を用いた インピーダンス計測 Real part Imaginary part Cooling Pad, Coated Steel, ESD Foam(帯電防止剤）, Pork ,Humanを0.2 ｍｍの距離から計測したインピーダンス インピーダンス計測例 実線：実部，点線：虚部 ToFの役割は位置決めか？ Y. Ding, H. Zhang and U. Thomas, "Capacitive Proximity Sensor Skin for Contactless Material Detection," 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Madrid, 2018, pp. 7179-7184.
9.4 ②複合型近接覚（静電容量+ToF, Y. Ding, 2019 ) 245 人間とロボットの協調作業のため， ロボットにリング状配置した近接モ ジュールを備えたマニピュレーター ⚫ 近接モジュール：静電容量，ToFセンサの近 距離情報の組み合わせ ⚫ ロボットは変化する環境で，反射動作(reflex motions )のように衝突回避を実行 Proximity sensor cuff (PSC) 12 elements/PSC ⚫ 衝突回避経路として、直交運動で障害物の 周りを移動する近接サーボ方法を提案する ⚫ 回避運動は、衝突回避運動が許可する限り、 タスク運動を維持する capacitive electrodes ⚫ 3D深度カメラと比較して、関連するワークス ペース領域のほとんどを最小限のポイントで カバーできるとする TOF RGB LED front back ⚫ 一方、ToFセンシングの狭いレーザービーム の狭い視界を、広域静電容量センシングと の組み合わせによりカバーする Y. Ding, F. Wilhelm, L. Faulhammer, and U. Thomas, “With proximity servoing towards safe human-robot-interaction,” in 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2019, pp. 4907–4912.
9.4 複合型近接覚（静電容量+ToF, S.Tsuji ) 246 ToF: VL6180X 27x27mm/ cell 拡大 役割分担 ⚫ 遠距離：ToF 静電容量 ⚫ 近距離：静電型 拡大 ToFと静電容量型センサの計測結果 測定物体(100×100mm)：導体と Acrylic，白と黒の紙を貼る センサ構成 ✓ ToF(VL6180X)+静電 型のモジュール構成 ✓ 24モジュールがI2Cで 接続 ✓ 全計測速度は58ms（計 測+伝送） S. Tsuji and T. Kohama, "Proximity and Contact Sensor for Human Cooperative Robot by Combining Time-of-Flight and Self-Capacitance Sensors," in IEEE Sensors Journal, vol. 20, no. 10, pp. 5519-5526, 15 May15, 2020, doi: 10.1109/JSEN.2020.2969653.
9.4 ④複合型近接覚（フォトリフレクタ+ToF, K.Sasaki ) 247 近接センサを使用して、手と 対象物の間、および手と支持 面の間の相対的な姿勢と位 置に基づく把持を実現する 近接センサ PhotRef( SY1200) fingernail ToF(VL6180X) 指先 ⚫ フォトリフレクタを抵抗回 路網で構成したもの。中心 位置と距離を検出 爪先 ⚫ フォトリフレクタで物体と の位置姿勢を計測 ⚫ ToFで反射率に関係なく支 持面まで距離を計測 K. Sasaki, K. Koyama, A. Ming, M. Shimojo, R. Plateaux and J. Choley, "Robotic Grasping Using Proximity Sensors for Detecting both Target Object and Support Surface," 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Madrid, 2018, pp. 2925-2932.
248 9.4 ④複合型近接覚（フォトリフレクタ+ToF, K.Sasaki ) ビデオ 指先（フォトリフレクタ） 爪先（フォトリフレクタ+ToF） K. Sasaki, K. Koyama, A. Ming, M. Shimojo, et.al. "Robotic Grasping Using Proximity Sensors for Detecting both Target Object and Support Surface," ,IROS 2018, pp. 2925-2932
9.5 ①触・近接覚（フォトリフレクタ＋柔軟体, K.Koyama) 249 対象物面までの距離と傾きを，反射率の影 響を受けず，高速・高精度に計測する ⚫ フォトリフレクタの配置間隔，点滅位相を工 夫することで，対象物表面の反射率の影響を 受けない ⚫ 応答時間：1ms以下，計測精度：50mm以下 ⚫ 対象物までの距離ゼロを接触と見なすことで 高感度な接触検知可能 1)近接覚 ⚫ 高精度位置計測が可能たため，指先柔軟体に 接触後の変位計測より接触力を計測可能 elastomer LEDs Phot.Diode 2)触覚 elastomer K. Koyama, M. Shimojo, T. Senoo and M. Ishikawa, "High-Speed High-Precision Proximity Sensor for Detection of Tilt, Distance, and Contact," in IEEE Robotics and Automation Letters, 2018, doi: 10.1109/LRA.2018.2850975.
9.5 ①触・近接覚（フォトリフレクタ＋柔軟体, K.Koyama) Distance mode https://www.youtube.com/watch?v=v0jTcjZWz88 https://www.youtube.com/watch?v=UVMg2qdhdYs 250
9.5 ①触・近接覚（フォトリフレクタ＋柔軟体, K.Koyama) 251 ビデオ https://www.youtube.com/watch?v=v0jTcjZWz88 K. Koyama, K. Murakami, T. Senoo, M. Shimojo and M. Ishikawa, "High-Speed, SmallDeformation Catching of Soft Objects Based on Active Vision and Proximity Sensing," in IEEE Robotics and Automation Letters, vol. 4, no. 2, pp. 578-585, April 2019,
9.5 ①ワンチップ型の高速・高精度近接覚センサ 252 ビデオ https://www.youtube.com/watch?v=KMmkcUkTC5w
近接覚センサとRCCを用いた手探り把持 近接覚センサを基にRCC機構を試作 https://www.youtube.com/watch?v=J71rABGvAYs RCC(Remote-Center-of-Compliance) 253
9.5 ②触・近接覚（フォトリフレクタ＋柔軟体, D. Hughes） 254 VNCL40101 proximity sensors PDMS 透明度の高いPDMS層の下にフォトリ フレクタ(VNCL40101)を配置する。 ⚫ 対象物の接近は反射光強度より検出 VNCL40101: proximity sensor detecting objects a distance up to 20 cm. reliable detection: atdistance up to 6–7 cm ⚫ 接触後は反射光強度からPDMSの変 形量を検出，力を推定する。 Dana Hughes, John Lammie,and Nikolaus Correll，A Robotic Skin for Collision Avoidance and Affective Touch Recognition, IEEE ROBOTICS AND AUTOMATION LETTERS, VOL.3, NO.3, pp.1386-1393, 2018
255 9.5 ③触・近接覚（フォトリフレクタ＋柔軟体, N. Yamaguchi ） A B 内部 リフレクタ型 近接覚 • トップ：4個 • ４側面：８個 計36個 袋の中から取り出す動作 ✓ 指周囲の物体を検出 ✓ 物体を避けること， ✓ 物体表面と平行にすること， ✓ エッジを検出すること， などが実行可能 触近接センサ構成： ✓ 近接センサをシリコンゴムに埋め 込む ✓ 近接距離：物体からの反射光+ ゴム面反射（B) ✓ 接触距離：ゴム面反射増大（A) N. Yamaguchi, S. Hasegawa, K. Okada and M. Inaba, "A Gripper for Object Search and Grasp Through Proximity Sensing," 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Madrid, 2018, pp. 1-9.
9.5 ①静電（電界）型触・近接覚（H. -K. Lee Lee） 256 ⚫ PDMS(Polydimethylsiloxane) 上に 16×16 個の電極マトリクスを形成した静 電容量型触覚・近接覚複合センサ ⚫ 接触力の変形による静電容量の変化による 触覚センシング 近接覚 動作 触 覚 動作 ⚫ 電極-物体間に生じる静電結合により近接覚 センシング ⚫ 検出部は22mm 角 HK Lee, SI Chang, E Yoon, Dual-Mode Capacitive Proximity Sensor for Robot Application: Implementation of Tactile and Proximity Sensing Capability on a Single Polymer Platform Using Shared Electrodes, IEEE Sensors Journal, 9,12, 1748 - 1755, 2009
9.5 ①静電（電界）型触・近接覚（H. -K. Lee Lee） 257 Dual-Mode Capacitive Proximity Sensor 材質による静電容量変化 距離 VS 静電容量変化 HK Lee, SI Chang, E Yoon, Dual-Mode Capacitive Proximity Sensor for Robot Application: Implementation of Tactile and Proximity Sensing Capability on a Single Polymer Platform Using Shared Electrodes,IEEE Sensors Journal, 9,12, 1748 - 1755, 2009
9.5 258 ⑤光導波板と複眼カメラ型触近接覚（ K. Shimonomura ） hand ✓ 触覚：光導波板(Acrylic)を用いた 拡散光検出→赤外光検知用カメラ ✓ 近接覚：光導波板(Acrylic)からの 透過光→可視光用カメラ（2台）か らの視差から計測 複眼カメラ（9units） フィルタを挿入 近接出力 触覚出力 上段： 可視光カット 中下段： 赤外光カット K. Shimonomura, H. Nakashima and K. Nozu, "Robotic grasp control with high-resolution combined tactile and proximity sensing," 2016 IEEE International Conference on Robotics and Automation (ICRA), 2016, pp. 138-143.
触覚情報と視覚的外観を同時に提供する新しい種類のセンサ SeeThrough-your-Skin sensor (STS） Half silvered coating LED lights 259 Transparent gel Camera Camera ⚫ 内部照明の切替え：ゲル表面は 透明状態（右：カメラによる外 界識別）と不透明な状態（左： 反射型触覚センサ） ⚫ 触覚と視覚の情報を融合:視覚 と触覚の信号を融合させること で，性能を向上させる 15cm×15cm surface (a) STS components (b) STS prototype Francois R. Hogan, Michael Jenkin, Sahand Rezaei-Shoshtari, Yogesh Girdhar, David Meger, Gregory Dudek; Seeing Through Your Skin: Recognizing Objects With a Novel Visuotactile Sensor, Proc. of the IEEE/CVF Winter Conference on 異なるモダリティを持つResNet-50 での物体認識の学習曲線
第5部 10. 触覚センサの研究開発動向 新製法&新材料の利用 10.1 最近開発が進んでいる新たな研究分野 ①E-skin (Printed Electronics) ②Soft robotics (3D Printing) 11.機械学習での利用 まとめ 260
10.1 新製法&新材料の利用 261 最近開発が進んでいる新たな研究分野 分野 ⚫ E-skin(Wearable sensor) ⚫ Soft robotics 技術 ⚫ Printed Electronics ⚫ 3D Printing
新たな研究開発分野 E-skin, Wearable sensor 柔軟で伸縮自在な素材で構成する E-skin Hua, Q.,et.al. ,Skin-inspired highly stretchable and conformable matrix networks for multifunctional sensing. Nat. Commun. 2018, 9, 244 262 Soft robotics 軟質素材で構成するソフトロボットに 対応したセンサーが必要となっている Jin, T.; et al. Triboelectric nanogenerator sensors for soft robotics aiming at digital twin applications. Nat. Commun. 2020, 11, 5381.
① E-skin (Printed Electronics) 柔軟で伸縮自在な素材で構成するE-skin は、人間の体性感覚システムを模倣する ために開発されており、ロボット工学、 義肢装具、ヘルスモニタリングや， ヒューマン・インターフェースなどへの 応用が注目されている。柔らかく伸縮自 在にすることで、より快適な装着感が得 られるとともに、接触面積が増えること で検出信号の忠実度が大幅に向上する。 https://www.youtube.com/watch?v=XDyZTbjkjNE https://www.youtube.com/watch?v=cc4IWtaOx_s 263
有機薄膜トランジスタ作成（ビデオ） https://www.youtube.com/watch?v=peE8Sm5xEz8 264 ビデオ Organic Thin Film (OTFT)
265 E-skin(Electronic Skin) ビデオ Electronic Skin https://www.youtube.com/watch?v=4oqf--GMNrA Electronic Skin Could Track Your Vital Signs https://www.youtube.com/watch?v=zpGujcLRHNw
266 有機トランジスタによる触覚センサ http://www.ntech.t.u-tokyo.ac.jp/research_results/index.html 概要：薄さ(2 µm)の有機トランジスタ集積回路を、1.2 µm厚のポリ エチレンテレフタレート基板上に作製したフレキシブルな回路 特徴 ⚫ センサ１セルは4 mm角、4.8 × 4.8 cm2のアクティブエリ アに144 (12 × 12) セル搭載 ⚫ 人間の肌のような自由曲面に貼り付けることが可能 ⚫ デバイスは電気的・機械的特性の劣化がほぼなしで233%ま で伸長可能 ⚫ デバイスを生理食塩水に2週間以上浸漬、電気特性に劣化なし M. Kaltenbrunner, T. Sekitani, J. Reeder, T. Yokota, K. Kuribara, T. Tokuhara, M. Drack, R. Schwödiauer, I. Graz, S. B. Gogonea, S. Bauer & T. Someya, An ultra-lightweight design for imperceptible plastic electronics, Nature 499, 458–463, 2013
E-skin: 圧力と温度の計測 267 有機トランジスタを用いた 大面積の圧力と温度計測， E-skin （2005年） フレキシブルな、大面積型の熱・圧力セ ンサ（伸張は25%可能） ⚫ 圧力センサ：感圧ゴムシートと、ポリ イミドフィルムで挟まれた銅電極を形 成。この2つのフィルムをトランジス タフィルムの上にラミネートして、圧 力センサを制作 ⚫ 温度センサ：エレクトロルミネッセン ス素子や太陽電池と同様の構造を持つ 有機ダイオードを、ITO（インジウム 錫酸化物）コーティングされたポリ （エチレンナフタレート）フィルム上 に制作 触 検 出 選 択 圧力 温度 Takao Someya, Yusaku Kato, Tsuyoshi Sekitani, Shingo Iba, Yoshiaki Noguchi, Yousuke Murase,Hiroshi Kawaguchi, and Takayasu Sakurai, Conformable, flexible, large-area networks of pressure and thermal sensors with organic，transistor active matrixes,PNAS August 30, 2005 102 (35) 12321-12325; https://doi.org/10.1073/pnas.0502392102
A hierarchically patterned, bioinspired e-skin able to detect the direction of applied pressure 268 法線力とせん断力をリアルタイムで 測定するe-skin thin-film dielectric CNT electrodes Polyurethane 突起 ⚫ 突起ごとに25個（頂上に1個，斜面に 4個，角に4個，突起を囲むように16 個）のコンデンサのアレイを形成 ⚫ 傾斜力を加えたとき，コンデンサの場 所による静電容量変化の違いから法線 接線力を検出 e-skin概念図 e-skinを用いたアームの制御実験 e-skin（単一素子） センサ素子は一個 Clementine M. Boutry, Marc Negre, Mikael Jorda, Orestis Vardoulis, Alex Chortos,Oussama Khatib, Zhenan Bao, A hierarchically patterned, ioinspired e-skin able to detect the direction of applied pressure for robotics, SCIENCE ROBOTICS,Vol 3, Issue 24, 2018 DOI: 10.1126/scirobotics.aau6914
Energy-Autonomous, FlexibleTactile Skin 269 単層グラフェンをベースとした透明な触覚 層と、その下の光電池からなる新しい構造、 エネルギー自律型の柔軟な触覚e-skin PDMS Ti/Au pads Graphene capcitor ⚫ PDMS保護層と単層グラフェン・CoPlanar Capacitorの組み合わせ ⚫ 最大80kPa、最小0.11kPaの圧力感度 ⚫ 消費電力：20nW cm-2 PVC Solar cell Flexible graphene-on-PVC sample with an interdigitated pattern Intermediate Phalange sensor Ti/Au pads Proximal Phalange sensor PVC Ti/Au pads Graphene capacitive sensors attached on an i-Limb Active area of the Grapene capacitive sensor Carlos García, NúñezWilliam, Taube Navaraj, Emre O. Polat and Ravinder Dahiya, Energy-Autonomous, Flexible, and Transparent Tactile Skin,Adv. Funct. Mater. 2017, 27, 1606287 DOI: 10.1002/adfm.201606287
Energy-Autonomous, FlexibleTactile Skin https://www.youtube.com/watch?v=KujNra1zHtM 270
Electronic skin for pressure visualization 271 薄膜トランジスタ、 圧力センサ(PSR)、 有機ELを、大面積 に集積し，加圧部 分の有機発光ダイ オード(OLED)が点 灯して、光によっ て圧力の大きさを 表示する PSR: pressuresensitive rubber OLED: organic lightemitting diode Current (mA) 16×16 I–V characteristics of the OLED and PSR combination Voltage (V) ⚫ PSR上面には銀インクが 塗布，回路GNDに接続。 ⚫ 加圧すると • PSR抵抗値低下 • OLED電流増加 • OLED点灯 Wang, C., Hwang, D., Yu, Z. , Takei, K. et al. Userinteractive electronic skin for instantaneous pressure visualization. Nature Mater 12, 899–904 (2013). https://doi.org/10.1038/nmat371
272 単結晶シリコンナノリボンを配列 e-skin 電気抵抗ヒータ 超薄型の単結晶シリ コンナノリボン （SiNR）ひずみ・ 圧力・温度センサー アレイを備えた伸縮 自在の人工皮膚 ⚫ 義手の表面全体を覆う、 伸縮するセンサとヒー タを内蔵した人工皮膚 ⚫ SiNRを用いた歪み・温 度、圧力(Cavity利用) 検出 ⚫ センサーを千鳥状に配 置した積層構造 ⚫ ヒータは人工皮膚が自 然に感じられるよう， その温度を人体と同じ ように制御 silicon nanoribbon (SiNR) SiNR:single crystalline silicon nanoribbon Kim J, Lee M, Shim HJ, Ghaffari R, Cho HR, et al. 2014. Stretchable silicon nanoribbon electronics for skin prosthesis. Nat. Commun. 5:5747
多機能センシングのための皮膚インスパイア型SCMN 273 伸縮可能な構造を用いて 多機能なセンシング性能 を実現する100個の感覚 ノードを蛇行するワイヤ で接続したSCMN ⚫ 温度、面内歪み、湿度、紫 外線、磁場、圧力、近接 5 mm Schematic layout of an SCMN—an integrated sensor array with eight function SCMN (stretchable and conformable matrix network ) Optical image of the fabricated polyimide network (10x10array) In-plane strain sensing Hua, Q., Sun, J., Liu, H. et al. Skin-inspired highly stretchable and conformable matrix networks for multifunctional sensing. Nat Commun 9, 244 (2018). https://doi.org/10.1038/s41467-017-02685-9 Pressure and proximity sensing
多機能センシングのための皮膚インスパイア型SCMN https://www.youtube.com/watch?v=v37xIJW4_sA 274
Stretchable, and transparent triboelectric tactile sensor 275 銀ナノ繊維電極 (Ag-nanofibe)を 用いた，自己発電型 で伸縮自在，かつ透 明な摩擦電気式触覚 センサ 帯電層 ⚫ 伸縮性100%以上 ⚫ 透過率70％ ⚫ 高速応答性(約70ms) 絶縁層 triboelectric tactile sensor 左センサの写真 列電極と行電極、帯電層、絶縁体層、基 板からなるクロスバー型の電極構成 アクティブエリア：3.4×3.4cm2 配列： 8×8マトリクス構造 デバイス上の画素を選択した ときの電圧値 Xiandi Wang, Yufei Zhang, Xiaojia Zhang, Zhihao Huo, Xiaoyi Li, Miaoling Que, Zhengchun Peng, Hui Wang, Caofeng Pan, Advanced Materials, Volume30, Issue12, March 22, 2018 https://doi.org/10.1002/adma.201706738
摩擦帯電型ナノ発電機 （triboelectric nanogenerator、TENG） 276 摩擦帯電効果 摩擦帯電効果と静電誘導の組合わ せによって，外界の力学的エネル ギーを電気エネルギーに変換する 発電デバイスである Kapton：ポリイミド PMMA：アクリル 1. 電気的に中性な有機層が2層(ポリイミドとアクリル）がある（右図 I）。 2. デバイスが曲げや圧迫を受けると、有機層どうしが接触して電荷の移動が起こり、片側の表面が 正電荷を、もう片側が負電荷を帯びる（図 II）。これは単純な摩擦帯電効果である。 3. 変形が解放されると、二つの表面は自然に離れていき、上下の電極間に電位差が生じる。このた め、一方の電極からもう一方へ電子が外部負荷を通って流れていく（図 III）。この電流は電極 間の電位が等しくなるまで継続する（図 IV）。 4. その後、有機層が再び互いに圧迫されて間隔が狭まると、正負の電荷対によって誘起される電位 差が減少するため、電子が外部負荷を逆向きに流れて逆方向の電流パルスが発生する（図 V）。 https://ja.wikipedia.org/wiki/%E3%83%8A%E3%83%8E%E7%99%BA%E9%9B%BB%E6%A9%9F
帯電列 ⚫ 帯電列とは、プラスの静電気を帯びやすい物体を上位(左側)に、マイ ナスの静電気を帯びやすい物体を下位(右側)に並べた配列のこと ⚫ 接触や摩擦があったとき、帯電列上で、近い位置にあるものは帯電 量が小さく、遠い位置にあるものは帯電量が大きくなる ✓ 身近な例だと、パジャマの素材が「木綿・麻・絹」のいずれかの場合、帯電列上で「木綿・麻・絹」は「人などの皮膚」 と近い位置にあるため、帯電量が小さくなります(静電気が発生しにくくなります)。 ✓ 一方、パジャマの素材が「ポリエステル」の場合、帯電列上で「ポリエステル」は「人などの皮膚」と遠い位置にあるた め、帯電量が大きくなります(静電気が発生しやすくなります)。 https://detail-infomation.com/triboelectric-series/ 277
② Soft robotics (3D Printing) 278 No-Audio ソフトロボティクスでは，シリコーンゴム などの柔軟な素材を用いて，生物と似たよ うな器用な動作を実現するロボットを目標 としている。しかし、非線形変形が大きく、 関節のない構造のため、従来のポテンショ メータやエンコーダなどのセンサーでは対 応できず、ソフトロボットに対応したセン サーが必要となっている。 https://www.youtube.com/watch?v=RUfuhW0cnRU https://www.youtube.com/watch?v=p1qyg4TbDgQ&t=22s
3-D Printed Tissue(Fugitive Ink ) Fugitive Ink Flees the Scene to Help Sustain 3-D Printed Tissue https://www.youtube.com/watch?v=p1qyg4TbDgQ&t=22s 279 ビデオ
280 柔軟なマイクロ流体路センサの作り方 1/2 1. インクジェットプリンターで、マイクロ チャネルのベースとなる基板（PDMSな ど）上に、目的のチャネル形状の犠牲層 (Fugitive Ink )を印刷する 2. 犠牲層(ex:PEG)は相変化温度以上に加熱 し、溶媒に溶かすことで除去できる （この例では，PEG構造体を60℃で加熱，溶融させた 後、溶液IPAを注入しPEGを洗い流す） 3. その後、必要な液体を注入することで チャネルを使用することができる。 分離層を挟んだ チャネルの断面 a)PDMS基板上に印刷さ れたPEG犠牲層 b) 犠牲層を封入・溶解した後、着色した色 素で満たされたマイクロ流体チャネル Alfadhel A, Ouyang J, Mahajan CG, Forouzandeh F, Cormier D, Borkholder DA. Inkjet Printed Polyethylene Glycol as a Fugitive Ink for the Fabrication of Flexible Microfluidic Systems. Mater Des. 2018;150:182-187. c) 2つの犠牲層を印刷し、その間に 構造層を実現することで作製し た多層マイクロ流体チャネル
柔軟なマイクロ流体路センサの作り方 2/2 281 R/R0 [%] 曲げ半径を変えたときの抵抗値の変化 a) 伸縮可能なマイクロ 流体抵抗器 Ex；液体金属： EGaIn ガリウム (Ga)とインジウム(In)の共晶合金 b)液体金属を注入 した抵抗器 抵抗値は36Ω Bending Radius [mm] 1. 曲げると抵抗器の長さが長くなる 2. マイクロ流体抵抗器の断面積が小さくなる 3. 抵抗値上昇 R/R0 [%] マイクロ流体圧力センサの圧力応答 1. 圧力を感知する領域に負荷がかかる 顕微鏡写真 2. メンブレンが曲がって流体が側面領域に移動 3. 断面積が変化→抵抗が変化 円形領域：直径8 mm，高さ32 µm 流路：側面に長さ5 mm，幅200 µm Pressure[kPa] Alfadhel A, Ouyang J, Mahajan CG, Forouzandeh F, Cormier D, Borkholder DA. Inkjet Printed Polyethylene Glycol as a Fugitive Ink for the Fabrication of Flexible Microfluidic Systems. Mater Des. 2018;150:182-187.
Soft Robotic Fingers with Embedded Ionogel Sensors 282 先端部，基端部，指全体の動作を可能 にする2つの離散的な流体ネットワーク を持つソフトフィンガー アクチュエータ ⚫ 指は2自由度を実現し、4つのイオ ノゲルセンサによって各自由度に 対応した個別の曲げと接触センサ を備える ⚫ 指の動作モードに対応する閉ルー プ制御を目指す ✓ 曲率センサ：指の先端，根元 ✓ 接触センサ：指の先端，腹 曲率センサ 接触センサ R. L. Truby, R. K. Katzschmann, J. A. Lewis and D. Rus, "Soft Robotic Fingers with Embedded Ionogel Sensors and Discrete Actuation Modes for Somatosensitive Manipulation," 2019 2nd IEEE International Conference on Soft Robotics (RoboSoft), 2019, pp. 322-329
283 Soft Robotic Fingers with Embedded Ionogel Sensors ビデオ ビデオ https://www.youtube.com/watch?v=RUfuhW0cnRU No-Audio
3D Printed Stretchable Tactile Sensors Top electrode Supporting layer 284 3D印刷技術を用いて，自由形 状の表面に触覚センサを製造 Sensor layer ⚫ 高い柔軟性、電気伝導性、お よび感度を備えた一連の新規 インクを開発(ピエゾ抵抗型） Bottom electrode 指先に印刷された3D触覚センサ センサー層 のSEM画像 ⚫ シリコーンゴムは，皮膚の弾 性率に近い150kPaの低弾性 率と，人の皮膚の硬度（ショ アA20）よりも低い硬度 （ショアA10）を有している scaleBar :200 mm 人間の指で押したときの 電流変化信号 周波数(0.125Hz )で 200 kPa の動的 圧力をかけたときの周波数応答 ⚫ 新しいインク：サブマイクロ メートルサイズの銀粒子を高 伸縮性シリコーンエラスト マー（Dragon Skin 10）に 混合 ⚫ 柔軟で伸縮可能なセンサで、 脈拍や指の押し曲げなどの検 出例 Shuang-Zhuang Guo,Kaiyan Qiu,Fanben Meng,Sung Hyun Park,Michael C. McAlpine, 3D Printed Stretchable Tactile Sensors, Advanced Materials,Volume29, Issue27,July 19, 2017 DOI: 10.1002/adma.201701218
3D Printed Stretchable Tactile Sensors https://www.youtube.com/watch?v=GCT0KwFw-pM 285 ビデオ
286 ３D印刷による静電容量型センサ 電気二重層 (EDL)キャパシタ を用いた静電容量型触覚センサ Ionic capacitive sensor based on 3D printed mesh イオン液体は電圧印加で電極-イオン液体 界面に電気二重層を形成しキャパシタと して振る舞う。 電極 OHMS 手首に装着したセンサの 静電容量応答 Cation ⚫ この静電容量は界面の面積に比例 する ⚫ 無負荷の状態では、静電容量は、 数個のマイクロドームと上部電極 AgNWs の接触によって形成された界面の 静電容量で構成される ⚫ 圧力を上げると、以前の接触面積 が拡大するだけでなく、低いマイ クロドームも接触面積に寄与し始 める ⚫ 高圧下では、基底部のマイクロ ドームが徐々に電極に接触し、界 面の静電容量がさらに増加する メッシュ構造を持つ誘電体層 正イオン Anion 負イオン Q. Zou, Z. Ma, S. Li, Z. Lei, Q. Su, Tunable ionic pressure sensor based on 3D printed ordered hierarchical mesh structure. Sensors Actuators A Phys. 308, 112012 (2020)
3D-printed stretchable piezoelectric nanogenerator 287 自己発電型圧電 触覚センサ 靴下に貼り付けたセンサ ⚫ ３D印刷により，両電極と 圧電体であるBTO／P （VDF-TrFE）複合体を作 成した ⚫ 切り紙パターンは、柔軟性 のあるPVDF系材料の伸縮 性を実現，圧電特性やセン シング動作も変化可能 3D printed P(VDF-TrFE) 異なる踏み込み姿勢で足踏みを したときの電圧出力 ３D印刷方式 ⚫ 靴下などのウェアラブル繊 維に装着することで、足踏 みエネルギーを回収するエ ネルギーハーベスタとして、 また自力で歩行センサーと して使用することができる X. Zhou, K. Parida, O. Halevi, Y. Liu, J. Xiong, S. Magdassi, P.S. Lee, All 3D-printed stretchable piezoelectric nanogenerator with non-protruding kirigami structure. Nano Energy 72, 104676 (2020)
3D printed, soft, resistive sensors 288 3D印刷で，空気圧式のグリッパーに直接センシング 機能を組み込んだソフトグリッパ ⚫ 柔軟な半透明のフォトポリマと柔軟な黒色のフォトポ リマ（TangoBlackPlus FLX980）などから構成 ⚫ 黒い樹脂にはカーボン粒子（Stratasys, 2014b）が含ま れており，わずかではあるが測定可能な導電性が得ら れセンサーとして利用 ⚫ 破断伸度は約20％（実験値） B. Shih, C. Christianson, K. Gillespie, S. Lee, J. Mayeda, Z. Huo, M.T. Tolley, Design considerations for 3D printed, soft, multimaterial resistive sensors for soft robotics. Front. Robot. AI 6, 30 (2019) Normalized change in resistance vs. strain for the uniaxial strain sensor. The mean is 108 MW. Number of samples n = 3.
液体金属を用いた触覚センサ 289 ⚫ 流路に封入された液体金属の変 位によるインダクタンスの変化 に基づいて，加えられた法線方 向の力を推定 ⚫ 誘導センサー技術と液体金属-流 路を用いることで，圧縮性，伸 縮性，耐久性に優れた触覚セン サーを実現した https://www.youtube.com/watch?v=TU6RE7HCqSY S. Hamaguchi et al., "Soft Inductive Tactile Sensor Using Flow-Channel Enclosing Liquid Metal," in IEEE Robotics and Automation Letters, vol. 5, no. 3, pp. 4028-4034, July 2020, doi: 10.1109/LRA.2020.2985573.
11. 機械学習での利用 290 近年，ロボティクス分野では触覚センサを用いた機械学習の研究が多くなってきた。 ただし，これまでもpeg-in-hole作業で，触覚(力覚)データを基に機械学習を行い，制 御方法を獲得する研究は多くあった[25]。そのほか振動·圧力を出力する触覚センサで 滑り検出を視覚を利用して学習させた研究[26]，把持の安定性を触覚データから学習 し判別する研究[27] [28] など様々な研究がある。最近では，触覚データを用いた物 体の形状，固さ，テクスチャー，材質などの機械学習による識別の研究が増えている [29] [30] [31] [32]。 [26] Y. Tada, K. Hosoda: Acquisition of multi-modal expression of slip through pick-up experiences, Advanced Robotics, 21(5-6),pp.601-617, 2007. [31] S. Funabashi, S. Morikuni, A. Geier, A. Schmitz, S. Ogasa,T.P. Tomo, S. Somlor, S.Sugano: Object Recognition Through Active Sensing Using a Multi-Fingered Robot Hand with 3D Tactile Sensors, IEEE Robotics and Automation Letters, 3(3),pp.1482-1489, 2018
１１． 機械学習での利用 291 多指ハンドでの操りの研究も増えてきた[33]。例えば文献[34] では，ShadowHand(24DoF) を使い立方体の掌内での操りを行っている。文献[35] ではShadowHand による円 筒物体の操り制御の研究がある。モデルベースを用いて，少ない試行で学習可能とのこと である。文献[36] では，廉価型3指ハンド(9-DoF， Dynamixel使用) を使い，バルブの 開閉，ドア開け作業などを人間による教示を用いて短時間で学習できることを示している。 これらは視覚を用いた機械学習のようだ。視覚と触覚を利用した研究では，多指ハンドで の把持で視覚に加え触覚からの接触情報を機械学習に導入すると，ロバスト性が格段に向 上したのと報告がある[37]。同様に，高解像度触覚GelSight を実装した2指ハンドでの把 持では，把持速度の向上，適切な把持力など性能が向上したとの報告がある[38]。 [34] OpenAI: Learning dexterous in-hand manipulation, CoRR, vol. abs/1808.00177, 2018. [38] R. Calandra, A. Owens, D. Jayaraman, J. Lin, W, Yuan, J. Malik,E.H. Adelson, S. Levineg: More Than a Feeling: Learning to Grasp and Regrasp Using Vision and Touch,IEEE Robotics and Automation Letters, 3(4), pp.3300-3307, 2018.
１１． 機械学習での利用 292 ここで触覚が確実に必要になる作業としては，巧緻な動作が必要な組立などの作業があると思う。ロボット ハンドを用いた部品の巧みな操りや組立は，ロボティクス分野で最も挑戦的な試みである。最近，視覚と触 覚の協調動作で操りのスキルを学習する興味深い例がある[39]。Jenga という積み木抜きゲームをロボット が実行している。興味深い点は，視覚では認識できないブロック間の相互関係を，触覚付き指で押し，移動 量と反力から摩擦力などを推定し，ブロックを選び抜き取っている。この場合，特に触覚の重要性が際立っ ている。この例のように巧緻な操りでは触覚が重要な役割を果たすと考える。 上記のような多指ハンドでの巧みな動作制御アルゴリズムを人間が設計することは困難であろう。機械学習 は，視覚と触覚など異なる感覚モダリティーを統合する上で有効であり，数多くのパラメータが関係する制 御設計が難しい動作に対して，新たなフレームワークとツールを提供すると考える。ただし，機械学習は大 量のデータを判断の手がかりとする。触覚でのデータ取得は対象物に触れ，動作を行う触運動により取得す るため時間が掛かる問題がある。このため転移学習など各種学習方法の研究も行われている[40]。 [39] N. Fazeli, M. Oller, J. Wu, Z. Wu, J.B. Tenenbaum, A. Rodriguez: See, feel, act: Hierarchical learning for complex manipulation skills with multisensory fusion, Science Robotics, 4(26), eaav3123, 2019. [40] M Kaboli, D Feng, G Chengr: Active tactile transfer learning for object discrimination in an unstructured environment using multimodal robotic skin, Int. J. of Humanoid Robotics, 1(1),1850001, pp.1-28, 2018.
①機械学習での利用 293 振動、圧力、視覚を利用することで滑り （マクロとミクロ）を獲得できるニューラ ルネットワークを提案 ⚫ 機械学習では，視覚での対象物の滑り検 出を基に，圧電フィルム(PVDF)で振動、 ひずみゲージで圧力をデータとして利用 ⚫ Outer layerとinner Layerの二層構造， 各層にPVDF6枚，歪ゲージ6枚，計24個 の検出器を配置 A robot system consists of fingers equipped with tactile receptors and a vision sensor. Y. Tada, K. Hosoda: Acquisition of multimodal expression of slip through pick-up experiences, Advanced Robotics, 21(5-6), pp.601-617, 2007. The fingertip has two layers and a metal rod imitating the structure of the human fingertip. A sensor network that learns multi-modal expression of the slip. The weights between the tactile nodes and the visual nodes are updated by a Hebbian rule.
②Object Recognition Through Active Sensing 3軸力センサ 16個 294 Using a Multi-Fingered Robot Hand 高密度に分布した力ベクトル計測に よる触覚物体認識 ⚫ uSkin触覚センサをAllegro Handに組込， 合計240の3軸力ベクトル測定 ⚫ 対象物体は，Yale-CMU-Berkeley (YCB) のオブジェクトモデルセットか ら20個選んだ ⚫ 物体の認識実験では，単純なフィード フォワード型，リカレント型，および畳 み込み型のニューラルネットワークを使 用している ⚫ 20個の物体に対して、最大95％の物体 認識率を達成した 磁石とホール素子 の組合わせにより 3軸力を検出 uSkin触覚センサ S. Funabashi, S. Morikuni, A. Geier, A. Schmitz, S. Ogasa, T.P. Tomo, S. Somlor, S.Sugano: Object Recognition Through Active Sensing Using a Multi-Fingered Robot Hand with 3D Tactile Sensors, IEEE Robotics and Automation Letters, 3(3), pp.14821489, 2018
③Learning Dexterous In-Hand Manipulation https://www.youtube.com/watch?v=jwSbzNHGflM 295 ビデオ OpenAI: Learning dexterous in-hand manipulation, CoRR, vol. abs/1808.00177, 2018.
④Dexterous Manipulation with Deep Reinforcement Learning 296 モデルフリーの深層強化学習アルゴリズ ムを用いての器用な多指ハンドの操作 強化学習（RL）と最適制御の技術は、手で指 定するのが困難な複雑なコントローラを最適 化するための汎用的なパラダイムを提供する 課題：弁の回転，箱の反転，ドアの開閉 弁の回転 ドアの開閉 ⚫ 実験の結果、複雑な多指の操作スキ ルは、ほとんどのタスクにおいて、 実世界で4～7時間程度で習得できる こと、また、デモンストレーション を行うことで、23時間程度に短縮で きることを示した ⚫ モデルフリーの深層強化学習は、数 時間の時間スケールで首尾一貫した 操作スキルを習得できることがわ かった（バルブを回すのに7時間、箱 をひっくり返すのに4時間、ドアを開 けるのに16時間） H. Zhu, A. Gupta, A. Rajeswaran, S. Levine and V. Kumar, "Dexterous Manipulation with Deep Reinforcement Learning: Efficient, General, and LowCost," 2019 International Conference on Robotics and Automation (ICRA), 2019, pp. 3651-3657, doi: 10.1109/ICRA.2019.8794102.
④Dexterous Manipulation with Deep Reinforcement Learning 297 ビデオ 無音声 https://www.youtube.com/watch?v=mpGK4zbdi6g&t=9s H. Zhu, A. Gupta, A. Rajeswaran, S. Levine and V. Kumar, "Dexterous Manipulation with Deep Reinforcement Learning: Efficient, General, and LowCost," 2019 International Conference on Robotics and Automation (ICRA), 2019, pp. 3651-3657, doi: 10.1109/ICRA.2019.8794102.
⑤ Learning to Grasp and Regrasp Using Vision and Touch 298 7-DoF Sawyer arm Tactile: GelSight Vision:Kinect2 Weiss WSG-5 gripper Action-conditioned visuo-tactile model network architecture. 視覚と触覚を把持システム に統合する研究 視覚-触覚データから再把持戦略を学習するエンドツーエンドの行動条件モデルを提案。 マルチモーダルな深層畳み込みネットワークで、把持調整の候補の結果を予測し、最も有望 な行動を繰り返し選択して把持を実行する 65以上のトレーニング対象物から6450回（？）の把持実験で収集，その間GelSightのゲルを消耗のために 何度も交換した。さらに、ゲルの表面が徐々に摩耗することで、画像は時間とともに大きく変化する R. Calandra et al., "More Than a Feeling: Learning to Grasp and Regrasp Using Vision and Touch," in IEEE Robotics and Automation Letters, vol. 3, no. 4, pp. 3300-3307, Oct. 2018, doi: 10.1109/LRA.2018.2852779.
⑤ Learning to Grasp and Regrasp Using Vision and Touch 299 視覚&触覚モデルは、視覚のみ のモデルと円柱フィッティン グモデルの両方を大幅に上回 り、94％の精度を達成 R. Calandra et al., "More Than a Feeling: Learning to Grasp and Regrasp Using Vision and Touch," in IEEE Robotics and Automation Letters, vol. 3, no. 4, pp. 3300-3307, Oct. 2018, doi: 10.1109/LRA.2018.2852779. https://www.youtube.com/watch?v=0eQCSrKdt5w
⑥ Hierarchical learning for complex manipulation skills Learned Physics Model Sensor Measurements Robots ロボットシステム Controller 人工知能アーキテクチャ Game Play Module 300 with multisensory fusion トップダウン・ボトム アップのアプローチでの 操作スキルの学習 ⚫ トップダウン学習：タワーモ デルの学習 Interface and Estimation ⚫ ボトムアップ学習：状態遷移 モデルを学習。関節力と視覚 データを用いて，行動が与え られたとき，将来の状態の条 件付き分布をモデル化 ロボット手首にIntel RealSense D415カメラとATI Gamma 6軸 センサを装着 ⚫ 近年のマニピュレーションのためのRLの傾向は、主に視覚領域での学習に焦点を当てて おり、ディープRLやコンピュータビジョンアルゴリズムの進歩を利用している ⚫ 但し、多くの接触型操作スキルを自動化することが難しい。これは触覚情報は断続的で あることが多い。つまり、短い時間で接触したり離れたりする。そのため、触覚情報と 視覚情報を効果的に統合することは困難なため ⚫ これら問題に対して，階層的な推論と多感覚の融合をエミュレートする方法論を提案 N. Fazeli, M. Oller, J. Wu, Z. Wu, J.B. Tenenbaum, A. Rodriguez: See, feel, act: Hierarchical learning for complex manipulation skills with multisensory fusion, Science Robotics, 4(26), eaav3123, 2019.
⑥ Hierarchical learning for complex manipulation skills 301 with multisensory fusion ビデオ 無音声 https://www.science.org/doi/10.1126/scirobotics.aav3123 N. Fazeli, M. Oller, J. Wu, Z. Wu, J.B. Tenenbaum, A. Rodriguez: See, feel, act: Hierarchical learning for complex manipulation skills with multisensory fusion, Science Robotics, 4(26), eaav3123, 2019.
9. まとめ 302
まとめ 1/2 303 人間の優れたところは,創造する脳と，それを実体化する“手”にある。この“手”の機能を実現する試み がロボット技術のフロンティアとしていま注目されている。この触覚の問題点として，ロボット応用 での把持操作の観点から，主に以下のことがあると考える 1. 触覚の欠点は接触しないと情報が取れないことである。このためアプロー チ動作では対象物に衝突させないため低速度での動作となる。 2. 同様に，接触から離れると検出できない。たとえば把持操作中に接触が僅 かでもなくなると制御が格段に難しくなる。これは把持操作では大きな欠 点である。また機械学習では，接触が断続する触覚は使いづらいようであ る。この点，接触が離れても連続して計測できる触・近接覚センサを利用 する方が合理的である。 3. 把持操作はアームの働きが重要である。このためアームとハンドの協調動 作のための統合制御が必須である。その一つの方式として，適応性に必要 な高速動作が可能であるReactive方式のさらなる発展に期待したい。 4. 触覚センサは高感度に接触を検出できればよいと思う。また時間・空間的 に高分解能で計測できれば素晴らしい。時間分解能として1[ms]程度，空 間分解能としてカメラを利用するGelSightのような高空間分解能触覚が興 味深い。なお圧力強度の分解能は，せいぜい3bit，あるいはそれ以下でも よいのではないかと思う。
まとめ 2/2 304 5. 柔軟性，大面積，伸縮性を備えた印刷技術などで製造した安価で使い捨てな センサの利用が進むであろう。また3D印刷技術によるセンサと構造体と一 体になった作成も興味深い 6. 特にPrinted Electronics，３D printなどの技術の進歩は，従来にないセ ンサ性能を安価に提供する可能性がある。但し，耐久性など各種特性につい ては現状ではまだ未知な点がある 7. カメラモジュールを用いた高空間分解能型の触覚センサは視覚情報処理技術 との相性もよく，各種制御などへの利用が進むであろう 8. 近接覚を基礎とした触・近接覚センサは，一つの発展の方向性を示すと思う 9. 機械学習のロボット技術への応用が急速に進歩している。組立などハンドを 用いた巧緻作業の実現は，社会に大きな革新をもたらす。特に多指ハンドで 各種感覚を統合したマルチモーダルな多パラメータ系での制御アルゴリズム の構築では，機械学習が新たなフレームワークとツール提供するであろう 10.多指ハンドの制御では，視覚ベースの機械学習で操りが可能となってきた。 但し，視覚と触覚の協調により，ロバストな，より高性能な操りが可能とな る。操りが可能から，より巧みに出来るためには視覚，触覚などマルチモー ダルな情報による制御が必要になるだろう
お わ り 305