Introduction
1. Seq2Seq
2. Encoder
3. Decoder
4.Reference
Seq2Seq
Encoder-Decoder загвар нь дараалалаас дарааллыг урьдчилан таамаглах асуудалд давтагдах мэдрэлийн сүлжээг ашиглах арга юм.
Хэргэлээ:
•Чатботууд
•Машины орчуулга
•Текстийн хураангуй
•Зургийн тайлбар
Энэ нь encoder, завсрын вектор, decoder гэсэн 3 хэсгээс бүрдэнэ.
•Encoder
•Завсрын вектор
•Декодер
Encoder
Загварын encoder хэсгийг ойлгох нь.
•Encoder нь LSTM/GRU элемэнттэй.
•Encoder нь оролтын дарааллын мэдээллийг hidden state вектор болгоно.
•Encoder зөвхөн hidden state ашиглана.
Internal state
h0, c0 – нь LSTM/GRU – тэй давхаргын тоотой ижил .
Эцсийн hi,ci нь оролтын бүх дарааллын гол зангилаа агуулж байна.
Жишээ нь:
X0 = ‘India ’
X1 = ‘India is’
X2 = ‘India is beautiful’
Decoder
Декодер – ын оролтын эхэнд START, төгсгөлд END нэмнэ.
(h0, c0) нь START – тай хамт Decoder дахвхаргад орсноор үгээ тааж эхэлнэ. Ямар үг вэ гэдгийг (ht, ct) зааж өгнө:
•Эхлээд бид START_-г оруулснаар декодер дараагийн үгийг үүсгэж END-г урьдчилан таамаглаж сургадаг.
•Энд бид Teacher Forcing арга техникийг ашигладаг.
•Decoder(ht, ct) – үүд хэрэггүй.
