Institute of Information Science - University of Miskolc

User Tools

Site Tools

Trace: • vba_tesztkerdesek • jatek_prototipusok • http_protokol • strukturak_c-ben • alapveto_diagrammok
muszaki_informatika:neuralis_halok_alapjai

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision		Previous revision
muszaki_informatika:neuralis_halok_alapjai [2025/03/12 07:05] – [Neurális háló, mint osztályozó - Generatív hálók] knehezmuszaki_informatika:neuralis_halok_alapjai [2025/03/13 22:57] (current) – knehez
Line 191: Line 191:
 === Loss Deriváltja a Kimeneti Réteg Súlyaira === === Loss Deriváltja a Kimeneti Réteg Súlyaira ===
  
-A //back-propagation// során a Loss függvény deriváltját (gradiensét) használjuk a súlyok frissítéséhez.+A //back-propagation// során a Loss függvény deriváltját (gradiensét) használjuk a súlyok frissítéséhez. Mivel a Loss függvény közvetlenül nem függ a súlytól, ezért a láncszabályt kell alkalmazni a deriváláskor. 
  
 $$ \frac{\partial \text{Loss}}{\partial w_{31}} = \frac{\partial \text{Loss}}{\partial y_{\text{pred}}} \cdot \frac{\partial y_{\text{pred}}}{\partial w_{31}} $$ $$ \frac{\partial \text{Loss}}{\partial w_{31}} = \frac{\partial \text{Loss}}{\partial y_{\text{pred}}} \cdot \frac{\partial y_{\text{pred}}}{\partial w_{31}} $$
 +$$ \frac{\partial \text{Loss}}{\partial w_{32}} = \frac{\partial \text{Loss}}{\partial y_{\text{pred}}} \cdot \frac{\partial y_{\text{pred}}}{\partial w_{32}} $$
 +
 +A fenti két derivált kifejezi, hogy a két súly mennyire van hatással a hibára.
  
 ---- ----
Line 423: Line 426:
 } }
 </sxh> </sxh>
 +
 +===== Generatív nyelvi modellek =====
 +
 +A generatív nyelvi modellek az emberi nyelv megértésére és szöveg generálására irányuló kutatások központi elemei. Ezek a modellek arra képesek, hogy a bemenetként adott szöveg alapján értelmes és összefüggő szöveget állítsanak elő. Az alábbiakban bemutatjuk a generatív nyelvi modellek fejlődését, amely a GPT (Generative Pre-trained Transformer) családhoz vezetett.
 +
 +=== 1.) Hagyományos megközelítések (1950-2000-es évek) ===
 +    * **Statikus modellek**: A nyelv feldolgozásához egyszerű szabályalapú rendszereket (pl. grammatikai szabályok) használtak.
 +    * **Markov-láncok**: Egy szó valószínűségét csak az előző szavak határozták meg, így a kontextus figyelembevétele korlátozott volt.  
 +Hiányosságok: A modellek nem tudták kezelni a hosszabb távú összefüggéseket. Az adatok mennyisége és feldolgozási kapacitás limitált volt.
 +
 +=== 2.) Neurális hálózatok alkalamazása (2010 körül) ===
 +
 +**Word Embeddingek**: **Word2Vec** (2013): Az egyes szavak vektortérbeli reprezentációját hozta létre, amely tükrözi a szemantikai kapcsolataikat (king - man + woman ≈ queen).
 +
 +**Recurrent Neural Networks (RNNs)** Az RNN-ek a szekvenciális adatok feldolgozására készültek. Például egy szó vektora a korábbi szavak kontextusán alapult. 
 +
 +Hiányosságok: Lassúak és nehezen tanulhatók nagy mennyiségű adat esetén. Nem tudtak hatékonyan kezelni nagyon hosszú szövegeket.
 +
 +=== 3.) Attention Mechanizmus és Transformer (2017) ===
 +
 +**Attention Mechanizmus**: A figyelem-alapú modellek a bemenetek bizonyos részeire nagyobb súlyt helyeztek, ezáltal hatékonyabbá tették az összefüggések felismerését. 
 +
 +**Transformer Architektúra (2017)**: Az „Attention is All You Need” című cikkben a Google kutatói bevezették a Transformer modellt. Kulcseleme az önfigyelem (self-attention), amely lehetővé tette, hogy a modell párhuzamosan dolgozza fel az adatokat, szemben az RNN-ek szekvenciális feldolgozásával.
 +
 +Előnyök: Jobb skálázódás nagyobb adathalmazokon. Hatékony hosszú szövegek feldolgozása.
 +
 +=== 4. Generatív Pre-Trained Modellek (GPT család) ===
 +
 +**GPT-1 (2018)**: Az első modell, amely a Transformer architektúrát alkalmazta nagyméretű nyelvi korpuszokon.
 +
 +**GPT-2 (2019)**: Nagyobb és erősebb modell, amely képes volt teljes cikkeket generálni emberi beavatkozás nélkül.
 +
 +**GPT-3 (2022)**: Egy óriási ugrás: 175 milliárd paraméter. 
 +
 +**GPT-4 (2023)**: Még fejlettebb modell, több multimodális képességgel (pl. szöveg és kép feldolgozása).
 +
 +Számlafeldolgozó minta bemutatása.
 +
 +=== Neurális hálózatok, felmerülő kérdések ====
 +
 +  - Magyarázható-e a működése? (a súlyok alapján érthető-e a döntés?)
 +  - Van-e itt intelligencia egyáltalán?
 +
 +===== Ellenőrző kérdések =====
 +
 +** Mi a neurális hálózatok alapvető építőeleme? **
 +
 +  A) Node
 +  B) Neuron
 +  C) Hurok
 +  D) Adatbázis
 +  
 +Megoldás: B
 +
 +----
 +**Milyen műveleteket végez egy neuron alapvetően?**
 +
 +  A) Csak adatot tárol
 +  B) Memóriát kezel
 +  C) Súlyozott összegzést és aktivációt végez
 +  D) Csak véletlenszerű értékeket generál
 +  
 +Megoldás: C
 +
 +----
 +** Mi a tipikus célja a neurális hálózatok tanításának? **
 +
 +  A) A bemenet másolása a kimenetre változtatás nélkül
 +  B) Az adatokban található mintázatok megtanulása és általánosítása
 +  C) Minél több neuron használata
 +  D) A memóriahasználat csökkentése
 +  
 +Megoldás: B
 +
 +----
 +** Miért alkalmazunk aktivációs függvényeket a neurális hálózatokban? **
 +
 +  A) Csak esztétikai okokból
 +  B) Azért, hogy lineáris problémákat oldjunk meg
 +  C) A hálózat nemlinearitásának biztosítására
 +  D) A bemenet normalizálására
 +  
 +Megoldás: C
 +
 +----
 +**Mi az alábbiak közül egy közismert aktivációs függvény?**
 +
 +  A) XOR
 +  B) NAND
 +  C) Sigmoid
 +  D) AND
 +
 +Megoldás: C
 +
 +----
 +**Hogyan nevezzük azt a folyamatot, amikor a hibát visszafelé terjesztjük a hálózaton a tanítás során?**
 +
 +  A) Feedforward
 +  B) Backpropagation
 +  C) Regularizáció
 +  D) Dropout
 +  
 +Megoldás: B
 +
 +----
 +** Mi az "epoch" fogalma neurális háló tanítása során? **
 +
 +  A) Egyetlen neuron frissítése
 +  B) Egy súlyfrissítés lépése
 +  C) A teljes tanító adathalmaz egyszeri áthaladása
 +  D) A tanítás sebessége
 +
 +Megoldás: C
 +
 +----
 +** Mi a célja a tanulási rátának (learning rate)? **
 +
 +  A) Meghatározza, hogy a háló hány rétegből álljon
 +  B) Meghatározza, hogy mennyire gyorsan tanuljon a hálózat (a súlyok frissítésének mértéke)
 +  C) Megadja, hány neuron legyen egy rétegben
 +  D) Meghatározza a tanítás során használt neuronok számát
 +
 +Megoldás: B
 +
 +----
 +** Mi a "túlillesztés" (overfitting) jelensége neurális hálók esetén? **
 +
 +  A) A hálózat nem tanul eleget az adatokból
 +  B) A hálózat túl általános megoldást ad
 +  C) A hálózat túl jól illeszkedik a tanuló adathalmazra, de nem jól általánosít
 +  D) A hálózat nem tudja kezelni a bemeneteket
 +
 +Megoldás: C
 +
 +----
 +**Mi lehet egy jó módszer a túlillesztés csökkentésére?**
 +
 +  A) Több réteg hozzáadása
 +  B) Nagyobb neuronok számának használata
 +  C) Dropout vagy regularizáció alkalmazása
 +  D) Tanítási adatok csökkentése
 +
 +Megoldás: C
 +
 +----
 +** Mi a felügyelt tanulás (supervised learning) jelentése? **
 +
 +  A) A neurális háló saját maga fedezi fel a mintázatokat
 +  B) Az adatok mellé címkéket (helyes válaszokat) is adunk a tanításhoz
 +  C) A hálózat nem kap visszajelzést a tanulás során
 +  D) Véletlenszerű tanítási módszer használata
 +
 +Megoldás: B
 +
 +----
 +** Mi igaz a „feedforward” folyamatra egy neurális hálóban? **
 +
 +  A) A bemenetet visszafelé dolgozza fel
 +  B) A bemenetet a kimenet felé haladva dolgozza fel a háló
 +  C) Csak hibaszámításra alkalmas
 +  D) A súlyok módosítására használjuk
 +
 +Megoldás: B
 +
 +----
 +**Mi történik egy neurális háló tanításakor, ha túl nagy a learning rate?**
 +
 +  A) A tanulás gyorsabb és stabilabb lesz
 +  B) A hálózat túl lassan tanul
 +  C) A tanítás instabillá válhat, és nem konvergál optimálisan
 +  D) A neurális háló egyáltalán nem tanul
 +
 +Megoldás: C
 +
 +
 +
 +  
 +
 +
 +
 +
muszaki_informatika/neuralis_halok_alapjai.1741763159.txt.gz · Last modified: 2025/03/12 07:05 by knehez