Differences

This shows you the differences between two versions of the page.

--- muszaki_informatika:neuralis_halok_alapjai [2025/03/12 07:11] – knehez
+++ muszaki_informatika:neuralis_halok_alapjai [2025/03/13 22:57] (current) – knehez
@@ Line 426: / Line 426: @@
 }
 </sxh>
+===== Generatív nyelvi modellek =====
+A generatív nyelvi modellek az emberi nyelv megértésére és szöveg generálására irányuló kutatások központi elemei. Ezek a modellek arra képesek, hogy a bemenetként adott szöveg alapján értelmes és összefüggő szöveget állítsanak elő. Az alábbiakban bemutatjuk a generatív nyelvi modellek fejlődését, amely a GPT (Generative Pre-trained Transformer) családhoz vezetett.
+=== 1.) Hagyományos megközelítések (1950-2000-es évek) ===
+    * **Statikus modellek**: A nyelv feldolgozásához egyszerű szabályalapú rendszereket (pl. grammatikai szabályok) használtak.
+    * **Markov-láncok**: Egy szó valószínűségét csak az előző szavak határozták meg, így a kontextus figyelembevétele korlátozott volt.
+Hiányosságok: A modellek nem tudták kezelni a hosszabb távú összefüggéseket. Az adatok mennyisége és feldolgozási kapacitás limitált volt.
+=== 2.) Neurális hálózatok alkalamazása (2010 körül) ===
+**Word Embeddingek**: **Word2Vec** (2013): Az egyes szavak vektortérbeli reprezentációját hozta létre, amely tükrözi a szemantikai kapcsolataikat (king - man + woman ≈ queen).
+**Recurrent Neural Networks (RNNs)** Az RNN-ek a szekvenciális adatok feldolgozására készültek. Például egy szó vektora a korábbi szavak kontextusán alapult.
+Hiányosságok: Lassúak és nehezen tanulhatók nagy mennyiségű adat esetén. Nem tudtak hatékonyan kezelni nagyon hosszú szövegeket.
+=== 3.) Attention Mechanizmus és Transformer (2017) ===
+**Attention Mechanizmus**: A figyelem-alapú modellek a bemenetek bizonyos részeire nagyobb súlyt helyeztek, ezáltal hatékonyabbá tették az összefüggések felismerését.
+**Transformer Architektúra (2017)**: Az „Attention is All You Need” című cikkben a Google kutatói bevezették a Transformer modellt. Kulcseleme az önfigyelem (self-attention), amely lehetővé tette, hogy a modell párhuzamosan dolgozza fel az adatokat, szemben az RNN-ek szekvenciális feldolgozásával.
+Előnyök: Jobb skálázódás nagyobb adathalmazokon. Hatékony hosszú szövegek feldolgozása.
+=== 4. Generatív Pre-Trained Modellek (GPT család) ===
+**GPT-1 (2018)**: Az első modell, amely a Transformer architektúrát alkalmazta nagyméretű nyelvi korpuszokon.
+**GPT-2 (2019)**: Nagyobb és erősebb modell, amely képes volt teljes cikkeket generálni emberi beavatkozás nélkül.
+**GPT-3 (2022)**: Egy óriási ugrás: 175 milliárd paraméter.
+**GPT-4 (2023)**: Még fejlettebb modell, több multimodális képességgel (pl. szöveg és kép feldolgozása).
+Számlafeldolgozó minta bemutatása.
+=== Neurális hálózatok, felmerülő kérdések ====
+  - Magyarázható-e a működése? (a súlyok alapján érthető-e a döntés?)
+  - Van-e itt intelligencia egyáltalán?
+===== Ellenőrző kérdések =====
+** Mi a neurális hálózatok alapvető építőeleme? **
+  A) Node
+  B) Neuron
+  C) Hurok
+  D) Adatbázis
+Megoldás: B
+----
+**Milyen műveleteket végez egy neuron alapvetően?**
+  A) Csak adatot tárol
+  B) Memóriát kezel
+  C) Súlyozott összegzést és aktivációt végez
+  D) Csak véletlenszerű értékeket generál
+Megoldás: C
+----
+** Mi a tipikus célja a neurális hálózatok tanításának? **
+  A) A bemenet másolása a kimenetre változtatás nélkül
+  B) Az adatokban található mintázatok megtanulása és általánosítása
+  C) Minél több neuron használata
+  D) A memóriahasználat csökkentése
+Megoldás: B
+----
+** Miért alkalmazunk aktivációs függvényeket a neurális hálózatokban? **
+  A) Csak esztétikai okokból
+  B) Azért, hogy lineáris problémákat oldjunk meg
+  C) A hálózat nemlinearitásának biztosítására
+  D) A bemenet normalizálására
+Megoldás: C
+----
+**Mi az alábbiak közül egy közismert aktivációs függvény?**
+  A) XOR
+  B) NAND
+  C) Sigmoid
+  D) AND
+Megoldás: C
+----
+**Hogyan nevezzük azt a folyamatot, amikor a hibát visszafelé terjesztjük a hálózaton a tanítás során?**
+  A) Feedforward
+  B) Backpropagation
+  C) Regularizáció
+  D) Dropout
+Megoldás: B
+----
+** Mi az "epoch" fogalma neurális háló tanítása során? **
+  A) Egyetlen neuron frissítése
+  B) Egy súlyfrissítés lépése
+  C) A teljes tanító adathalmaz egyszeri áthaladása
+  D) A tanítás sebessége
+Megoldás: C
+----
+** Mi a célja a tanulási rátának (learning rate)? **
+  A) Meghatározza, hogy a háló hány rétegből álljon
+  B) Meghatározza, hogy mennyire gyorsan tanuljon a hálózat (a súlyok frissítésének mértéke)
+  C) Megadja, hány neuron legyen egy rétegben
+  D) Meghatározza a tanítás során használt neuronok számát
+Megoldás: B
+----
+** Mi a "túlillesztés" (overfitting) jelensége neurális hálók esetén? **
+  A) A hálózat nem tanul eleget az adatokból
+  B) A hálózat túl általános megoldást ad
+  C) A hálózat túl jól illeszkedik a tanuló adathalmazra, de nem jól általánosít
+  D) A hálózat nem tudja kezelni a bemeneteket
+Megoldás: C
+----
+**Mi lehet egy jó módszer a túlillesztés csökkentésére?**
+  A) Több réteg hozzáadása
+  B) Nagyobb neuronok számának használata
+  C) Dropout vagy regularizáció alkalmazása
+  D) Tanítási adatok csökkentése
+Megoldás: C
+----
+** Mi a felügyelt tanulás (supervised learning) jelentése? **
+  A) A neurális háló saját maga fedezi fel a mintázatokat
+  B) Az adatok mellé címkéket (helyes válaszokat) is adunk a tanításhoz
+  C) A hálózat nem kap visszajelzést a tanulás során
+  D) Véletlenszerű tanítási módszer használata
+Megoldás: B
+----
+** Mi igaz a „feedforward” folyamatra egy neurális hálóban? **
+  A) A bemenetet visszafelé dolgozza fel
+  B) A bemenetet a kimenet felé haladva dolgozza fel a háló
+  C) Csak hibaszámításra alkalmas
+  D) A súlyok módosítására használjuk
+Megoldás: B
+----
+**Mi történik egy neurális háló tanításakor, ha túl nagy a learning rate?**
+  A) A tanulás gyorsabb és stabilabb lesz
+  B) A hálózat túl lassan tanul
+  C) A tanítás instabillá válhat, és nem konvergál optimálisan
+  D) A neurális háló egyáltalán nem tanul
+Megoldás: C