Hei acolo! În calitate de furnizor de transformatori, am primit o mulțime de întrebări despre modul în care codificările poziționale sunt utilizate într -un transformator. Așadar, m -am gândit că voi lua un moment pentru a -l descompune într -un mod ușor de înțeles.
În primul rând, să vorbim despre ce este un transformator. Dacă sunteți în lumea electrică ca mine, un transformator este un dispozitiv care transferă energia electrică între două sau mai multe circuite prin inducție electromagnetică. Dar în contextul învățării automate, un transformator este un tip de arhitectură de rețea neuronală, care este foarte bună în gestionarea datelor secvențiale, cum ar fi textul. A fost introdus în lucrarea „Atenția este tot ce ai nevoie” și de atunci a devenit o bază în sarcinile de procesare a limbajului natural.
Acum, codificări poziționale. Într -un transformator, datele de intrare sunt de obicei o secvență de jetoane, cum ar fi cuvintele dintr -o propoziție. Dar iată lucrul: arhitectura transformatoarei în sine nu are niciun fel de construit - în mod în mod în care să înțeleagă ordinea acestor jetoane. Spre deosebire de alte arhitecturi de rețea neuronală, cum ar fi rețele neuronale recurente (RNN) care procesează datele secvențial, transformatorul procesează toate jetoanele într -o secvență simultan. Acolo intră codificările poziționale.
Codificările de poziție sunt o modalitate de a injecta informațiile de poziție ale fiecărui simbol în secvență în model. Sunt adăugate la încorporarea de intrare a jetoanelor. Ideea este de a oferi modelului un sentiment de locul în care se află fiecare simbol în secvență.
Un mod obișnuit de a genera codificări poziționale este utilizarea funcțiilor sinusoidale și cosinus. Codificarea pozițională pentru un simbol la poziția (POS) în secvență și dimensiune (I) este calculată după cum urmează:
Pentru chiar dimensiuni ((i = 2k)):
(Pe _ {(pos, 2k)} = \ sin \ left (\ frac {pos} {10000^{\ frac {2k} {d_ {model}}}} \ dreapta))
Pentru dimensiuni ciudate ((i = 2k + 1)):
(Pe _ {(pos, 2k+1)} = \ cos \ left (\ frac {pos} {10000^{\ frac {2k} {d_ {model}}}} \ dreapta))
Aici, (d_ {model}) este dimensiunea încorporării modelului. Această abordare are mai multe avantaje. În primul rând, permite modelului să învețe poziții relative între jetoane. De exemplu, diferența dintre codificările poziționale a două jetoane depinde doar de pozițiile lor relative, nu de pozițiile lor absolute din secvență. În al doilea rând, este eficient din punct de vedere calculat și poate gestiona secvențe de lungime arbitrară.
Deci, cum folosește transformatorul aceste codificări poziționale? Ei bine, după generarea codificărilor poziționale, ele sunt pur și simplu adăugate element - înțelept la încorporarea simbolurilor. Deci, dacă (e_ {pos}) este codificarea pozițională pentru jetonul la poziție (POS) și (t_ {pos}) este încorporarea simbolului, intrarea în codificatorul sau stratul de decodificare al transformatorului pentru că jetonul este (i_ {pos} = t_ {pos}+e_ {pos}).
Odată ce intrarea cu informații poziționale este introdusă în transformator, mecanismul de atenție de sine poate începe să funcționeze. Mecanismul de atenție de sine permite modelului să cântărească importanța diferitelor jetoane în secvență la procesarea fiecărui simbol. Cu codificările poziționale, modelul poate lua în considerare nu numai sensul semantic al jetoanelor, ci și pozițiile lor în secvență.
Să spunem că lucrați la o sarcină de traducere a textului. Fără codificări poziționale, modelul s -ar putea lupta să înțeleagă ordinea corectă a cuvintelor într -o propoziție. De exemplu, în engleză, propoziția „câinele urmărește pisica” are un sens diferit de „pisica alungă câinele”. Codificările poziționale ajută modelul să distingă între aceste două secvențe diferite și să genereze traduceri mai precise.
În activitatea de transformare electrică, avem de -a face și cu diferite tipuri de transformatoare pentru a răspunde diferitelor nevoi. De exemplu, avem167 KVA Transformator de pol telefonic. Acest tip de transformator este proiectat pentru a fi instalat pe stâlpi telefonici și este potrivit pentru anumite aplicații de distribuție de tensiune joasă.
Oferim și noi20kV petrolier trifazic - transformatoare de distribuție imersate. Aceste transformatoare sunt utilizate în sisteme de putere cu trei faze și sunt cufundate în ulei pentru o mai bună izolare și răcire. Și dacă căutați ceva cu un rating de tensiune mai mic, al nostruUlei de 10kV - Transformatoare de distribuție imersatesunt o opțiune excelentă. Sunt utilizate pe scară largă în rețelele locale de distribuție.
Acum, dacă sunteți pe piață pentru Transformers, fie că este vorba pentru cercetarea dvs. de învățare automată sau pentru infrastructura dvs. electrică, suntem aici pentru a vă ajuta. Avem o gamă largă de transformatoare de înaltă calitate din care să alegem. Echipa noastră de experți vă poate ajuta să selectați transformatorul potrivit pentru cerințele dvs. specifice. Nu ezitați să vă adresați o consultație și să începem o conversație despre nevoile dvs. Suntem gata să lucrăm cu dvs. pentru a găsi cele mai bune soluții.
Referințe:
- Vaswani, A., Shazer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, An, ... & Polosukhin, I. (2017). Atenția este tot ce ai nevoie. Progrese în sistemele de procesare a informațiilor neuronale,