[DL輪読会] Revealing the Dark Secrets of BERT (EMNLP-IJCNLP, 2019)

DEEP LEARNING JP [DL Papers] Revealing the Dark Secrets of BERT (EMNLP-IJCNLP, 2019) Kazuki Fujikawa http://deeplearning.jp/ 1

• http://deeplearning.jp/

• O – DHB MC - KE 9 • ,IHA K H • NMCIKL .45 B 2IO CMMJL • K ML IA . : 01,5 O PPP R I P IKB HIO HH IB KL HH N LCDLER HMCI IBR - • – . :fL A MM HMDIHe • 9 A MM HMDIHf/ • / – x • a Tt KNHDHBi e a k ao m rTw k lk hU l dsynTpv d u S g Tt kbS dce m l k k ex b f a k m

• https://www.aclweb.org/anthology/D19-1445/

• • • •

• • • •

/ • 17 50 – -0 1 / 0 – / 7 – – g 17 50 SN • fm i s RS E TL t Se T fln r o S g i LP R a T -7 sS S L s A Devlin+, NAACL-HLT 2019 “ 7 72 B yT LP

• • • •

• BC m C – – e inI u LA LA BC r b 9 0 P R] [ ] [ d R P RC in 0+ Tenney+, ICLR2019 u , 9 + N + [ 1 ] [ 1 72 T m EPA go d R v y Liu+, NAACL2019 C

09 61 • – 8 +, P 09 8 i M m Pef • • lc 02P 02Pr r / 02 r N TS [SPuc 0 n P] r yxTS I d s TS a N o h

• • • •

- • – – 6: 2 3 0 2 6: • – 23 0 2 i i • i • i 6 2 2 6: R • i • i o o d 5201 2 6: FA ne g ahd : 2 6 4 R SFA 2 3 0 2 6: • TE 0 2 6: k 6 2 6 4 2 6: gl 0 2 6: f B

:1 2 • 1 5 A – S :1 - • – -1 2 • T • T • T – 5 1 • T • T 1 5 h h kA 41 1 5 g F 61 B F a R 1 5 5 3E df 5 1 5 3 1 5 ae E 1 5 i

l • 21 – – 21 – :2 k t H t SB ]DrE L ]Dug uf 1 : 1 : : ]D / [ c : 1 [ 1 : 1 – – s +- 21 o C V Rn 1 [ ] 1 1 : 1 D e i [ T : H : H ] ] ] ] aH SB 1 H : H ] ]

• – ( 8 : 8 : – – ( P )cre a )cre H P Q rpsa m H u 11a a ec 8 : N M • – 042 .8 8 nrotH 8 : C 58 : v • • M H gil V – H 042 V332 RN ) / R N N ec ec 332 ( Nw / NK M Q P M M

4: • – 1:

-E • 4 4 – 5 65 5 65Fa -- • - – 5 • • TEe E f : 2 : 5 65 • • A 5 65 • – : ES -63 5RE 5 51BE 5 5 65 F 5 51 5 65 BE 5 65 E f

• i m – * 4 RT • * 4 n Nr 1 26 4 7 – d / tnN 1 / F n 3 : 1 / d d F Ntnn N* 4 * 4 ae ET F • N1 – – p yB * 4 / * 4 N 26 F N oF d hlNtn 1 / n F

-E • – 51 51 6 76 6 76 • Sa – 51 • Sa • Sa • Sa B 6 76 e e h T2 E B 6 76 -74 6 E E 6 76 : - 6 76 E Ed • 3 • Sa REf 6 76 - – A: T E

do • 1 - C – • 2 8 2 GRaL 2 2 1 P1 - C LriPw • t 2 8 2 aL EriGRP C RP • n – yEM • hu Pn Ll 2 C M MP EriF Me RPQ a F U g

:1 2 • – -1 2 • 1 59 F 1 59 a B 1 59 i 4 – • a g - i 1 A • • – h a 5 1 961 T 5 3E • a • a 5 1 1 59 f : 1 59 e 5 3SRE d 1 59 i A

n • ,2 L, S o – • h r r d Lh c • t0 , h r e r ]C [ a , r , V S i • l ,2 – • E , L : : P

-F • 1 – • 6 4 6E 64 6 e d -- – 1 - d l • d 64 6 TF F l : • 46 B 64 6 5 3 Fi FS -- • – A - :6462 Ffh • d • d 46 :6462R 64 6 g F 6 4 6a F l

i • n – T Q eP – • ] [ C 2 ] R D 3E FQP : Q ] QMR P u D • n – • – Pg No L • QN Q ] [M P , QR : E 2 3E QR S M 2 QR 2 -3 N I -3 l C t a M L C

6 - • 1 :: 1 :: – • g 1 :: – :4 :4 :: :4 • g :: • g - 5 l :4 4 3 F :: • l A g g B :4 – k h • • R : B i f ae F :4 : 4 2TSE :: :4 d l

• o t – P o F P 1 • i – e B - n B B u 1 • 4 P R - PT: 24 - P o • P – E P E • d – • a T: w E h P P r g h E r E

- • – – d 4 54 i R2 -/ • bh n – – t R oE Te i g B Rbh R 4 u 4 41 G R F 2 -/ L U F s a G R U T R i

• • • •

- • /2 l P – H • gB t H • – io • 7 u s tH / R a e dn f i i E H H B 7 – • io /2 i T 7 r : H

• -B HFJ K? BO H" PJABMNO JAFJD" 2J HB 8HD BMO 9MB OM FJFJD KC ABBL ?FAFMB OFKJ H OM JNCKMIBMN CKM H JDP DB , " • K BO H" :B B HFJD OEB A MG NB MBON KC ?BMO" 2J . • BJJBT 2 J BO H" E O AK TKP HB MJ CMKI KJOBSO LMK?FJD CKM NBJOBJ B NOMP OPMB FJ KJOBSOP HF BA RKMA MBLMBNBJO OFKJN" 2J 2, : " • FP • F EBH 9 PH 8IBM B T BPM29 " BHNKJ " BO H" , " 9 2 , 9 " FJDPFNOF GJKRHBADB JA OM JNCBM ?FHFOT KC KJOBSOP H MBLMBNBJO OFKJN" 2J JA 0M E I BP?FD" MB FSOBBJ 1B AN :B HHT BOOBM OE J 8JB " 2J