Differences

This shows you the differences between two versions of the page.

--- digitalis_technologiak_ikt_technologiak:mesterseges_intelligencia [2024/11/18 19:21] – knehez
+++ digitalis_technologiak_ikt_technologiak:mesterseges_intelligencia [2025/03/04 22:12] (current) – [Generatív nyelvi modellek] knehez
@@ Line 1: / Line 1: @@
 ===== Mesterséges Intelligencia =====
+===== Neurális hálók =====
 ==== Biológiai és mesterséges neuron ====
@@ Line 26: / Line 27: @@
 ==== Neurális háló, mint osztályozó - Generatív hálók ====
+Az alábbi link a számok felismerését teszi láthatóvá: https://adamharley.com/nn_vis/
 Az alábbi linken bemutatjuk, hogyan működik az osztályozás? Autoencoder és generatív modellek.
 http://showroom.iit.uni-miskolc.hu/gans
+==== Generatív nyelvi modellek ====
+A generatív nyelvi modellek az emberi nyelv megértésére és szöveg generálására irányuló kutatások központi elemei. Ezek a modellek arra képesek, hogy a bemenetként adott szöveg alapján értelmes és összefüggő szöveget állítsanak elő. Az alábbiakban bemutatjuk a generatív nyelvi modellek fejlődését, amely a GPT (Generative Pre-trained Transformer) családhoz vezetett.
+=== 1.) Hagyományos megközelítések (1950-2000-es évek) ===
+    * **Statikus modellek**: A nyelv feldolgozásához egyszerű szabályalapú rendszereket (pl. grammatikai szabályok) használtak.
+    * **Markov-láncok**: Egy szó valószínűségét csak az előző szavak határozták meg, így a kontextus figyelembevétele korlátozott volt.
+Hiányosságok: A modellek nem tudták kezelni a hosszabb távú összefüggéseket. Az adatok mennyisége és feldolgozási kapacitás limitált volt.
+=== 2.) Neurális hálózatok alkalamazása (2010 körül) ===
+**Word Embeddingek**: **Word2Vec** (2013): Az egyes szavak vektortérbeli reprezentációját hozta létre, amely tükrözi a szemantikai kapcsolataikat (king - man + woman ≈ queen).
+**Recurrent Neural Networks (RNNs)** Az RNN-ek a szekvenciális adatok feldolgozására készültek. Például egy szó vektora a korábbi szavak kontextusán alapult.
+Hiányosságok: Lassúak és nehezen tanulhatók nagy mennyiségű adat esetén. Nem tudtak hatékonyan kezelni nagyon hosszú szövegeket.
+=== 3.) Attention Mechanizmus és Transformer (2017) ===
+**Attention Mechanizmus**: A figyelem-alapú modellek a bemenetek bizonyos részeire nagyobb súlyt helyeztek, ezáltal hatékonyabbá tették az összefüggések felismerését.
+**Transformer Architektúra (2017)**: Az „Attention is All You Need” című cikkben a Google kutatói bevezették a Transformer modellt. Kulcseleme az önfigyelem (self-attention), amely lehetővé tette, hogy a modell párhuzamosan dolgozza fel az adatokat, szemben az RNN-ek szekvenciális feldolgozásával.
+Előnyök: Jobb skálázódás nagyobb adathalmazokon. Hatékony hosszú szövegek feldolgozása.
+=== 4. Generatív Pre-Trained Modellek (GPT család) ===
+**GPT-1 (2018)**: Az első modell, amely a Transformer architektúrát alkalmazta nagyméretű nyelvi korpuszokon.
+**GPT-2 (2019)**: Nagyobb és erősebb modell, amely képes volt teljes cikkeket generálni emberi beavatkozás nélkül.
+**GPT-3 (2022)**: Egy óriási ugrás: 175 milliárd paraméter.
+**GPT-4 (2023)**: Még fejlettebb modell, több multimodális képességgel (pl. szöveg és kép feldolgozása).
+Számlafeldolgozó minta bemutatása.
+=== RAG technika ===
+...
+=== Neurális hálózatok, felmerülő kérdések ====
+  - Magyarázható-e a működése? (a súlyok alapján érthető-e a döntés?)
+  - Van-e itt intelligencia egyáltalán?