Institute of Information Science - University of Miskolc

User Tools

Site Tools

Trace:
digitalis_technologiak_ikt_technologiak:mesterseges_intelligencia

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision		Previous revision
digitalis_technologiak_ikt_technologiak:mesterseges_intelligencia [2024/11/18 19:00] – [Neurális háló] knehezdigitalis_technologiak_ikt_technologiak:mesterseges_intelligencia [2025/03/04 22:12] (current) – [Generatív nyelvi modellek] knehez
Line 1: Line 1:
 ===== Mesterséges Intelligencia ===== ===== Mesterséges Intelligencia =====
  
 +===== Neurális hálók =====
 ==== Biológiai és mesterséges neuron ==== ==== Biológiai és mesterséges neuron ====
  
Line 13: Line 14:
 Az alábbi kép egy mesterséges neurális hálózat egyszerű modelljét ábrázolja. Az alábbi kép egy mesterséges neurális hálózat egyszerű modelljét ábrázolja.
  
-{{:digitalis_technologiak_ikt_technologiak:pasted:20241118-145542.png?400}}+{{:digitalis_technologiak_ikt_technologiak:pasted:20241118-145542.png?400 }} 
  
 A hálózat bemeneti réteggel indul, amely a zöld színű **x₁** és **x₂** elemeket tartalmazza. Ezek a bemeneti változók képviselik azokat az adatokat, amelyeket a modell feldolgoz. A bemeneteket súlyokkal és eltolásokkal kombinálják, majd átadják a rejtett rétegek neuronjaiba, amelyeket a kék színű **z₁**, **z₂** és **z₃** jelöl. A hálózat bemeneti réteggel indul, amely a zöld színű **x₁** és **x₂** elemeket tartalmazza. Ezek a bemeneti változók képviselik azokat az adatokat, amelyeket a modell feldolgoz. A bemeneteket súlyokkal és eltolásokkal kombinálják, majd átadják a rejtett rétegek neuronjaiba, amelyeket a kék színű **z₁**, **z₂** és **z₃** jelöl.
Line 22: Line 23:
  
 Ez az ábra segíthet megérteni a neurális hálózatok alapvető működési elvét: a bemenetek fokozatos átalakulását a különböző rétegeken keresztül, amelyek végül egy adott kimeneti értékhez vezetnek. Ezt a folyamatot a gépi tanulás során finoman hangolják (optimalizálják), például //visszaterjesztés// (backpropagation) és //gradienscsökkentés// (gradient descent) segítségével, hogy a modell pontos előrejelzéseket tudjon adni. Ez az ábra segíthet megérteni a neurális hálózatok alapvető működési elvét: a bemenetek fokozatos átalakulását a különböző rétegeken keresztül, amelyek végül egy adott kimeneti értékhez vezetnek. Ezt a folyamatot a gépi tanulás során finoman hangolják (optimalizálják), például //visszaterjesztés// (backpropagation) és //gradienscsökkentés// (gradient descent) segítségével, hogy a modell pontos előrejelzéseket tudjon adni.
 +
 +{{:digitalis_technologiak_ikt_technologiak:pasted:20241118-190513.png?600 }} {{ :digitalis_technologiak_ikt_technologiak:pasted:20241118-190801.png?600}}
 +
 +==== Neurális háló, mint osztályozó - Generatív hálók ====
 +
 +Az alábbi link a számok felismerését teszi láthatóvá: https://adamharley.com/nn_vis/
 +
 +Az alábbi linken bemutatjuk, hogyan működik az osztályozás? Autoencoder és generatív modellek.
 +
 +http://showroom.iit.uni-miskolc.hu/gans
 +
 +==== Generatív nyelvi modellek ====
 +
 +A generatív nyelvi modellek az emberi nyelv megértésére és szöveg generálására irányuló kutatások központi elemei. Ezek a modellek arra képesek, hogy a bemenetként adott szöveg alapján értelmes és összefüggő szöveget állítsanak elő. Az alábbiakban bemutatjuk a generatív nyelvi modellek fejlődését, amely a GPT (Generative Pre-trained Transformer) családhoz vezetett.
 +
 +=== 1.) Hagyományos megközelítések (1950-2000-es évek) ===
 +    * **Statikus modellek**: A nyelv feldolgozásához egyszerű szabályalapú rendszereket (pl. grammatikai szabályok) használtak.
 +    * **Markov-láncok**: Egy szó valószínűségét csak az előző szavak határozták meg, így a kontextus figyelembevétele korlátozott volt.  
 +Hiányosságok: A modellek nem tudták kezelni a hosszabb távú összefüggéseket. Az adatok mennyisége és feldolgozási kapacitás limitált volt.
 +
 +=== 2.) Neurális hálózatok alkalamazása (2010 körül) ===
 +
 +**Word Embeddingek**: **Word2Vec** (2013): Az egyes szavak vektortérbeli reprezentációját hozta létre, amely tükrözi a szemantikai kapcsolataikat (king - man + woman ≈ queen).
 +
 +**Recurrent Neural Networks (RNNs)** Az RNN-ek a szekvenciális adatok feldolgozására készültek. Például egy szó vektora a korábbi szavak kontextusán alapult. 
 +
 +Hiányosságok: Lassúak és nehezen tanulhatók nagy mennyiségű adat esetén. Nem tudtak hatékonyan kezelni nagyon hosszú szövegeket.
 +
 +=== 3.) Attention Mechanizmus és Transformer (2017) ===
 +
 +**Attention Mechanizmus**: A figyelem-alapú modellek a bemenetek bizonyos részeire nagyobb súlyt helyeztek, ezáltal hatékonyabbá tették az összefüggések felismerését. 
 +
 +**Transformer Architektúra (2017)**: Az „Attention is All You Need” című cikkben a Google kutatói bevezették a Transformer modellt. Kulcseleme az önfigyelem (self-attention), amely lehetővé tette, hogy a modell párhuzamosan dolgozza fel az adatokat, szemben az RNN-ek szekvenciális feldolgozásával.
 +
 +Előnyök: Jobb skálázódás nagyobb adathalmazokon. Hatékony hosszú szövegek feldolgozása.
 +
 +=== 4. Generatív Pre-Trained Modellek (GPT család) ===
 +
 +**GPT-1 (2018)**: Az első modell, amely a Transformer architektúrát alkalmazta nagyméretű nyelvi korpuszokon.
 +
 +**GPT-2 (2019)**: Nagyobb és erősebb modell, amely képes volt teljes cikkeket generálni emberi beavatkozás nélkül.
 +
 +**GPT-3 (2022)**: Egy óriási ugrás: 175 milliárd paraméter. 
 +
 +**GPT-4 (2023)**: Még fejlettebb modell, több multimodális képességgel (pl. szöveg és kép feldolgozása).
 +
 +Számlafeldolgozó minta bemutatása.
 +
 +=== RAG technika ===
 +
 +...
 +
 +=== Neurális hálózatok, felmerülő kérdések ====
 +
 +  - Magyarázható-e a működése? (a súlyok alapján érthető-e a döntés?)
 +  - Van-e itt intelligencia egyáltalán?
digitalis_technologiak_ikt_technologiak/mesterseges_intelligencia.1731956427.txt.gz · Last modified: 2024/11/18 19:00 by knehez