【DL輪読会】Diagnosing Vision-and-Language Navigation: What Really Matters

DEEP LEARNING JP [DL Papers] %JBHOPTJOH
7JTJPOBOE-BOHVBHF
/BWJHBUJPO

8IBU
3FBMMZ
.BUUFST
ൃදऀ
Ѩ‫ٱ‬ᖒ‫
ܓ‬দඌ‫ݚ‬% http://deeplearning.jp/

• http://deeplearning.jp/

ॻࢽ৘ใ w λΠτϧ
%JBHOPTJOH
7JTJPOBOE-BOHVBHF
/BWJHBUJPO
8IBU
3FBMMZ
.BUUFST
w ஶऀ
8BOSPOH
;IV
:VBOLBJ
2J
1SBEZVNOB
/BSBZBOB
,B[PP
4POF
4VHBUP
#BTV
9JO
&SJD
8BOH
2J
8V
.JHVFM
&DLTUFJO
8JMMJBN
:BOH
8BOH
w 6$
4BOUB
#BSCBSB
6OJWFSTJUZ
PG
"EFMBJEF
(PPHMF
6$
4BOUB
$SV[
w ౤ߘઌ
BSYJW

w ֓ཁ
7JTJPOBOEMBOHVBHF
OBWJHBUJPOʹ͓͚ΔΤʔδΣϯτͷ‫ڍ‬ಈ෼ੳ

എ‫
ܠ‬7JTJPOBOEMBOHVBHF
OBWJHBUJPO
7-/ w 7-/

w ‫ࣔࢦޠݴ‬ΛΤʔδΣϯτʹ༩͑ͯφϏήʔγϣϯΛߦΘͤΔ λεΫ
w ‫ڧ‬Խֶशɾ໛฿ֶशͳͲͰΤʔδΣϯτΛ‫܇‬࿅͢Δ
w ΤʔδΣϯτͷ‫؍‬ଌɿ
w ‫ࣔࢦޠݴ‬ɿΤϐιʔυ͝ͱ
w ը૾ɿλΠϜεςοϓ͝ͱ
w ΞΫγϣϯɿ
w UVSO
MFGU
UVSO
SJHIU
HP
GPSXBSE
ͳͲʢ͋Δఔ౓ந৅Խ͞ Εͨ΋ͷΛ࢖͏͜ͱ͕‫ݱ‬ঢ়Ұൠతʣ "OEFSTPO
FU
BM


എ‫
ܠ‬7-/ͷఀ଺ w ӈਤ
7-/ͷੑೳͷભҠ ʢ3PPNUP3PPN‫ڥ؀‬ʣ
w ۙ೥ੑೳͷ޲্͕ಷԽʁ
w ਓؒͷੑೳʹ͸ԕ͍ʁ

࿦จͷ໨త w ‫ط‬ଘͷφϏήʔγϣϯΤʔδΣϯτ͕ϚϧνϞʔμϧʢ‫ޠݴ‬ɾը૾ʣͷೖ ྗΛͲͷΑ͏ʹཧղ͍ͯ͠Δͷ͔෼ੳΛߦ͏
w ͦΕʹΑΓɼ‫ط‬ଘͷ7-/ख๏͕ग़དྷ͍ͯΔ͜ͱɾग़དྷ͍ͯͳ͍͜ͱΛ໌Β ͔ʹ͠ɼ৽͍͠‫ڀݚ‬ͷํ޲ੑΛ༩͑Δ

σʔληοτʢ‫ڥ؀‬ʣ *OEPPS
&OWJSPONFOU
3PPNUPSPPN
33 
"OEFSTPO
FU
BM
 0VUEPPS
&OWJSPONFOU
5PVDIEPXO
5% 
$IFO
FU
BM


Ϟσϧ w w *OEPPS
33
w 33&OWEPQ
5BO
FU
BM
 
3//ϕʔε

BUUFOUJPO

ಛघͳESPQPVU
w 13&7"-&/5
)BP
FU
BM
 
5SBOTGPSNFSCBTFE
BHFOU
w 7-/ˠ#&35
)POH
FU
BM
 
5SBOTGPSNFSCBTFE
BHFOU

3FDVSSFOU
.FDIBOJTN
0VUEPPS
5%
w 3$0/$"5
$IFO
FU
BM
 
3//ϕʔεɼ506$)%08/ͷ‫ݪ‬ஶ࿦จͷϕʔεϥΠϯ
w "3$
9JBOH
FU
BM
 
3//ϕʔε

BUUFOUJPO
w 7-/5SBOTGPSNFS
;IV
FU
BM
 
5SBOTGPSNFSCBTFE
BHFOU

3FTFBSDI
2VFTUJPOT w 
ΤʔδΣϯτ͸‫ࣔࢦޠݴ‬ͷʮΦϒδΣΫτʯ΍ʮํ޲ʯʹؔ͢ΔτʔΫ ϯΛར༻Ͱ͖͍ͯΔ͔
w 
ΤʔδΣϯτ͸ը૾ೖྗΛͲ͏஌͍֮ͯ͠Δ͔
w w ‫཭ڑ‬తʹ͍ۙԕ͍΋ͷʹ஫ҙΛ޲͚Δ͔
w ‫ݸ‬ʑͷ෺ମγʔϯશମʹ஫ҙΛ޲͚Δ͔

ΤʔδΣϯτ͸‫ͱޠݴ‬ը૾ͷFOUJUZΛ݁ͼ͚ͭΔ͜ͱ͸Ͱ͖Δ͔

࣮‫ݧ‬ w ໨తɿΤʔδΣϯτ͕ɼ‫಺ࣔࢦޠݴ‬ͷʮΦϒδΣΫτʯͱʮํ޲ʯʹؔ͢Δ৘ใΛར༻Ͱ͖͍ͯΔ͔֬ೝ
w ํ๏ɿʮΦϒδΣΫτʯͱʮํ޲ʯʹؔ͢Δ୯‫ʹޠ‬ϚεΫΛ͔͚ΔհೖΛߦͳͬͨ࣌ͷɼΤʔδΣϯτͷ ੑೳΛௐࠪʢϥϯμϜʹϚεΫΛ͔͚Δ৔߹ͱൺֱʣ
w ϚεΫΛ͔͚Δͷ͸ςετ࣌ͷΈ

࣮‫
ݧ‬ΦϒδΣΫττʔΫϯ΁ͷհೖ݁Ռ w 33Ͱ͸ɼΦϒδΣΫτʹհೖͨ͠ํ͕ɼϥϯμϜʹհೖ͢ΔΑΓੑೳ௿Լ
w 5%Ͱ͸ΦϒδΣΫτʹհೖͯ͠΋ੑೳ͕ൺֱత௿Լ͠ͳ͍

࣮‫޲ํ
ݧ‬τʔΫϯ΁ͷհೖ݁Ռ w 33Ͱ΋5%Ͱ΋ɼํ޲ͷհೖʹΑͬͯϥϯμϜհೖΑΓ΋ੑೳ௿Լ

࣮‫݁
ݧ‬࿦ w ໨తɿΤʔδΣϯτ͕ɼ‫಺ࣔࢦޠݴ‬ͷʮΦϒδΣΫτʯͱʮํ޲ʯʹؔ͢Δ৘ใΛ ར༻Ͱ͖͍ͯΔ͔֬ೝ
w ݁࿦ɿ
w 33‫Ͱڥ؀‬͸ɼΦϒδΣΫτɾํ޲ͷτʔΫϯΛΤʔδΣϯτ͕ར༻Ͱ͖͍ͯΔ
w 5%‫Ͱڥ؀‬͸ɼΦϒδΣΫτʹؔ͢Δ৘ใΛΤʔδΣϯτ͕ར༻Ͱ͖͍ͯͳ͍

࣮‫ݧ‬ w ໨తɿΤʔδΣϯτ͕ը૾಺ͷʮΦϒδΣΫτʯʹؔ͢Δ৘ใΛར༻Ͱ͖͍ͯΔ͔֬ೝ
w ํ๏ɿΦϒδΣΫτΛ#PVOEJOH
#PYͰ‫ݕ‬஌͠ɼNBTLΛ͔͚ͨͱ͖ͷΤʔδΣϯτͷ ੑೳΛௐࠪ
w 33‫ڥ؀‬ͷΈͰ࣮ࢪ

࣮‫݁
ݧ‬Ռ w NBTL͢ΔΦϒδΣΫτ͕૿͑Δ͝ͱʹΤʔδΣϯτͷੑೳ͕௿Լ
w NBTL͢ΔΦϒδΣΫτͱΤʔδΣϯτͷ‫཭ڑ‬͸ɼ 5SBOTGPSNFSCBTFEΤʔδΣϯτͷ৔߹ ͋·Γੑೳʹؔ܎ͳ͍ʢ‫͕཭ڑ‬ԕ͍ ΄Ͳ#PVOEJOH#PY͕খ͍͞ʹ1JYFMྖҬ͕খ͍͞ʹ΋͔͔ΘΒͣɼੑೳʹؔ܎ͳ͍ʣ
w ΤʔδΣϯτ͸લ‫ܠ‬ɾഎ‫ܠ‬ͷΦϒδΣΫτΛҙࢥܾఆʹར༻͍ͯ͠Δ

࣮‫݁
ݧ‬࿦ w ໨తɿΤʔδΣϯτ͕ɼը૾಺ͷʮΦϒδΣΫτʯʹؔ͢Δ৘ใΛͲΕͩ ͚ར༻Ͱ͖͍ͯΔ͔Λ֬ೝ
w ݁࿦ɿ
w ΤʔδΣϯτ͸ը૾಺ͷΦϒδΣΫτʹؔ͢Δ৘ใΛར༻͍ͯ͠Δ
w ΤʔδΣϯτͱΦϒδΣΫτͷ‫཭ڑ‬͸ 5SBOTGPSNFSCBTFEΤʔδΣϯ τͷ৔߹ ͋·Γؔ܎ͳ͍

࣮‫ݧ‬ w ໨తɿΤʔδΣϯτ͕ɼ‫಺ࣔࢦޠݴ‬ͷʮΦϒδΣΫτʯͱը૾಺ͷʮΦϒδΣΫτʯΛ݁ͼ͚ͭΔ͜ͱ͕Ͱ͖͍ͯΔ͔֬ೝ
w ํ๏ɿ
w 
‫΁ࣔࢦޠݴ‬ͷհೖ
w 
ը૾΁ͷհೖ

࣮‫ݧ‬ w ํ๏ɿʮΦϒδΣΫτʯʹؔ͢Δ୯‫ޠ‬Λଞͷ୯ ‫Ͱޠ‬ஔ͖‫͑׵‬Δͱ͍ͬͨૢ࡞Λߦͳͬͨ࣌ͷɼ ΤʔδΣϯτͷੑೳΛௐࠪ
w ݁Ռɿ
w 5SBOTGPSNFS‫ܥ‬ͷख๏͸SFQMBDFʹΑͬͯੑೳ ͕େ͖͘௿Լ͢Δ
w 
5SBOTGPSNFS‫ܥ‬ͷख๏͸ɼΦϒδΣΫτʹ ؔ͢Δ‫ޠݴ‬ɾࢹ֮৘ใΛ݁ͼ͚ͭΔ͜ͱ͕Մೳ

࣮‫ݧ‬ w ํ๏ɿը૾಺͔ΒʮΦϒδΣΫτʯΛ#PVOEJOH
#PYͰ‫ݕ‬஌͠ɼ‫ͦͰ಺ࣔࢦޠݴ‬ͷΦϒδΣΫτ͕‫͞ٴݴ‬Ε͍ͯΔ৔߹ͷΈNBTL Λ͔͚Δ
w JF
λεΫʹͱͬͯඞཁͳΦϒδΣΫτʹϚεΫΛ͔͚Δ
w ݁ՌɿϥϯμϜʹϚεΫΛ͔͚ͨ৔߹ͱɼ͋·Γੑೳ͕มΘΒͳ͍
w ߟ࡯ɿ࣮‫ݧ‬ΑΓɼ‫΁ޠݴ‬ͷհೖ͸ੑೳʹେ͖ͳӨ‫ڹ‬ɽ࣮‫ݧ‬ΑΓɼը૾΁ͷհೖ͸ੑೳʹখ͞ͳӨ‫
ڹ‬ w 
ը૾ͱ‫ޠݴ‬ͷΦϒδΣΫτΛରͰରԠ͍ͤͯ͞ΔΘ͚Ͱ͸ͳ͘ɼը૾ͷ(MPCBMͳಛ௃Λ‫ͱޠݴ‬ରԠ͚͍ͮͯΔͷͰ͸ʁ

࣮‫݁
ݧ‬࿦ w ໨తɿΤʔδΣϯτ͕ɼ‫಺ࣔࢦޠݴ‬ͷʮΦϒδΣΫτͱը૾಺ͷʮΦϒδΣ ΫτʯΛ݁ͼ͚ͭΔ͜ͱ͕Ͱ͖͍ͯΔ͔֬ೝ
w ݁࿦ɿ
w 5SBOTGPSNFS‫ܥ‬ͷख๏͸ɼΦϒδΣΫτʹؔ͢Δ‫ޠݴ‬ɾࢹ֮৘ใΛ݁ͼ ͚ͭΔ͜ͱ͕Մೳ
w ͨͩ͠ɼࢹ֮৘ใͷதͷΦϒδΣΫτͷ#PVOEJOH#PYͱ‫ޠݴ‬Λਖ਼֬ʹ݁ ͼ͚͍ͭͯΔͷͰ͸ͳ͘ɼγʔϯશମͱ‫ޠݴ‬Λ݁ͼ͚ͭͯཧղ͍ͯ͠ΔՄ ೳੑ͕͋Δ

3FTFBSDI
2VFTUJPOT
ͱ
,FZ
pOEJOHT
·ͱΊ w 
‫ࣔࢦޠݴ‬ͷʮΦϒδΣΫτʯ΍ʮํ޲ʯʹؔ͢ΔτʔΫϯΛར༻Ͱ͖͍ͯΔ͔

w 
5PVDIEPXO‫Ͱڥ؀‬͸ɼΤʔδΣϯτ͕ΦϒδΣΫτʹؔ͢Δ৘ใΛ͋·Γར༻Ͱ͖͍ͯͳ ͍ɽΑΓ‫*ͳྗڧ‬NBHF'FBUVSF&YUSBDUPS
0CKFDU%FUFDUPST͕ඞཁʁ
w 
ΤʔδΣϯτ͸ը૾ೖྗΛͲ͏஌͍֮ͯ͠Δ͔
w ‫཭ڑ‬తʹ͍ۙԕ͍ΦϒδΣΫτʹ஫ҙΛ޲͚Δ͔

5SBOTGPSNFSCBTFEͩͱ ؔ܎ͳͦ͞͏
w ‫ݸ‬ʑͷ෺ମγʔϯશମʹ஫ҙΛ޲͚Δ͔

γʔϯશମ΋ར༻͍ͯ͠Δ
w 
ΤʔδΣϯτ͸ςΩετͱը૾ͷFOUJUZΛ݁ͼ͚ͭΔ͜ͱ͸Ͱ͖Δ͔
w 
ඞͣ͠΋݁ͼ͍͍ͭͯͳ͍ɽ͋ΔΦϒδΣΫτʹؔ͢Δ୯‫ͱޠ‬ɼͦΕʹରԠ͢ΔγʔϯશମΛ ݁ͼ͚͍ͭͯΔՄೳੑ͕͋Δ

·ͱΊ w φϏήʔγϣϯΤʔδΣϯτ͕‫ͱޠݴ‬ը૾ͷϚϧνϞʔμϧσʔλΛͲͷ Α͏ʹղऍ͍ͯ͠Δ͔ௐࠪΛߦͬͨ
w ͜ͷ࿦จͷ஌‫ݟ‬ΛλεΫͷઃఆ΍φϏήʔγϣϯΤʔδΣϯτͷઃ‫ʹܭ‬໾ ཱͯͯཉ͍͠
w 5PVDIEPXO‫Ͱڥ؀‬͸ɼΑΓ‫*ͳྗڧ‬NBHF'FBUVSF&YUSBDUPS
0CKFDU%FUFDUPST͕ඞཁ
w (MPCBMͳը૾ಛ௃ʢγʔϯશମʣͷ໾ׂʹ͍ͭͯ͞ΒͳΔ‫͕ڀݚ‬ඞཁ

ൃදऀͷ‫ײ‬૝ w ΤʔδΣϯτͷ‫ڍ‬ಈͷௐࠪΛߦ͏ํ๏ͱͯ͠ࢀߟʹͳΓ·ͨ͠ɽ
w ࣮‫ݧ‬ͷɼ‫಺ޠݴ‬ͷΦϒδΣΫττʔΫϯʹհೖ͢Δ৔߹ͱɼը૾಺ͷΦ ϒδΣΫτ#PVOEJOH
#PYʹհೖ͢Δ৔߹Ͱɼੑೳ͕ҟͳΔͱ͍͏ͷ͸໘ ന͍Ͱ͢ɽ
w 'JHVSF

ͷɼʮਓؒͷੑೳʹ‫ٴ‬͹ͳ͍ʯͱ͍͏ٞ࿦ʹ͍ͭͯ͸ɼαϯϓ ϧαΠζΛແ‫૿ʹݶ‬΍͢͜ͱ͕Ͱ͖ͳ͍ͷͰɼσʔλͷ‫ݶ‬ք͔ΞϧΰϦζ Ϝͷ‫ݶ‬ք͔‫ۃݟ‬ΊΔ͜ͱ͕Ͱ͖ͳ͍ͷ͕໰୊ͩͱࢥ͍·ͨ͠ɽ7-/ʹ͓͍ ͯ΋αϯϓϧαΠζΛແ‫૿ʹݶ‬΍ͤΔγϛϡϨʔλ͕ཉ͍͠Ͱ͢ɽ

ࢀߟจ‫ݙ‬ w "OEFSTPO
FU
BM
$713

7JTJPOBOE-BOHVBHF
/BWJHBUJPO
*OUFSQSFUJOH
WJTVBMMZ HSPVOEFE
OBWJHBUJPO
JOTUSVDUJPOT
JO
SFBM
FOWJSPONFOUT
w $IFO
FU
BM
$713

5PVDIEPXO
/BUVSBM
-BOHVBHF
/BWJHBUJPO
BOE
4QBUJBM
3FBTPOJOH
JO
7JTVBM
4USFFU
&OWJSPONFOUT
w 5BO
FU
BM

-FBSOJOH
UP
OBWJHBUF
VOTFFO
FOWJSPONFOUT
#BDL
USBOTMBUJPO
XJUI
FOWJSPO
NFOUBM
ESPQPVU
w )POH
FU
BM

"
SFDVSSFOU
WJTJPOBOEMBOHVBHF
#&35
GPS
OBWJHBUJPO
w )BP
FU
BM
$713

5PXBSET
MFBSOJOH
B
HFOFSJD
BHFOU
GPS
WJTJPO
BOEMBOHVBHF
OBWJHBUJPO
WJB
QSFUSBJOJOH
w 9JBOH
FU
BM
&./-1

-FBSO
JOH
UP
TUPQ
"
TJNQMF
ZFU
F⒎FDUJWF
BQQSPBDI
UP
VSCBO
WJTJPOMBOHVBHF
OBWJHBUJPO
w ;IV
FU
BM

.VMUJNPEBM
UFYU
TUZMF
USBOTGFS
GPS
PVUEPPS
WJTJPOBOE
MBOHVBHF
OBWJHBUJPO

"QQFOEJY

13&7"-&/5 w JNBHFUFYUBDUJPOͷUSJQMFUΛ༻͍ͨࣄલֶशʢ࠶‫ߏؼ‬଄͸ೖΕͳ͍ʣ
w 7-/ʹ࢖͏৔߹͸ɼԼ‫ه‬ͷUSBOTGPSNFS͔Βൈ͖ग़ͨ͠XPSEFNCFEEJOHΛɼैདྷͷ -45.ϕʔεTFRTFRϞσϧ΁ͷೖྗͱͯ͠࢖͏

7-/ˠ#&35 w stΛ࠶‫ؼ‬తʹѻ ͏͜ͱͰɼ෦ ෼‫؍‬ଌʹରԠ ͤ͞Δ

7-/5SBOTGPSNFS w $SPTT.PEBM
&ODPEFSʹ 5SBOTGPSNFSΛ ࠾༻
w *OTUSVDUJPO
&ODPEFSͰ͸ɼ #&35ʹΑΔ୯‫ޠ‬ ຒΊࠐΈͷฏ‫ۉ‬Λ औΔ͜ͱͰจষຒ ΊࠐΈΛ࡞Δ