A Redditen egy különleges AMA, azaz kérdések és válaszok topik futott a napokban, amit Kovács Dávid, a Wise Engineering Managere tartott és a munkájával kapcsolatban válaszolt az érdeklődők kérdéseire.
Dávid elsősorban az ügyfélszolgálat automatizálásán, AI-alapú működésének tökéletesítésén dolgozik és ezzel kapcsolatban osztott meg olyan hasznos és érdekes információkat, amely betekintést nyújt a fintech cégek működésének világába akár a kevésbé hozzáértőknek, akár azoknak, akik esetleg a Wise-nál, vagy hasonló cégnél dolgoznának.
Az AMA-ból szemezgettem néhány kérdés és válasz kapcsán, amely szerintem kifejezetten érdekes, vagy hasznos volt. Az idézetek nagyja teljes egészében került át a Reddit topicból, egyes kommentek
TekintetesUr: Miért van az, hogy az összes ilyen AI support agent egy rakás sz@r? Borzasztóan bonyolult mérnöki problémákat oldunk meg AI agentekkel, mégis a customer support az egyetlen olyan terület, ami látszólag mintha még valami GPT-2-n futna.
Extension_Work_2148 (Kovács Dávid): én azt látom hogy az LLM-ek nagyon jók abban hogy „átadjanak” egy üzenetet, de ha nekik kell „kitalálni” az üzenetet homályos, tág útmutatás alapján, abban elég rosszul teljesítenek. Ezt a problémát mi úgy hidaljuk át, hogy nagyon sok belsős „forráshoz” is hozzáfér az LLM, ami amúgy Google-ben vagy FAQ-ban nem elérhető. Ezeknek a forrásoknak a minősége (mennyire érthető, összeszedett) erősen meghatározza az automatizálás minőségét.
Egy ehhez kapcsolódó kérdésre még Dávid megosztotta, hogy ezek a belsős források alapvetően a Wise belső működésére, tennivalóira utaló információk, amelyek segítenek az LLM-ek számára az ügyintézés irányítását, például azt, hogy az esetet melyik belső csapat felé kell továbbítani.
Lazlowi: Miért olyasmiket tudnak csak megválaszolni ezek a csodabotok, ami elérhető az FAQ-ban vagy egy egyszerű Google kereséssel? Miért kell 28 embedded menün keresztülrágnom magam, hogy eljussak egy ügyintézőhöz?
Extension_Work_2148: Jogos, és mi is azon dolgozunk hogy minél kevesebb efforttal megoldódjanak a problémák (vagy még inkább fel se merüljenek problémák). Ezek a kérdések a 28 embeded menün abban segítenek, hogy megértsük az ügyfelek problémáját és elirányítsuk őket a megfelelő (humán) agenthez. De ez például egy olyan dolog amiben egy chat-szerű felület valószínűleg sokkal jobban tud működni.
csikicsoki: Nem szegyenloskodom:
- Mennyit keresel?
- Ki a kedvenc kollegad?
- Ki a legkevesbe kedvenc kollegad?
- Van-e gyumolcsnap?
Extension_Work_2148: > Mennyit keresel?
Engineering Lead 1 poziban vagyok, itt megtalálod a bérsávot, ezen belül vagyok valahol 🙊 https://wise.jobs/engineering-career-map
> Van-e gyumolcsnap?
Minden nap gyümölcsnap 🍍 van még némi snack is az irodában, amivel kapcsolatban igazán lelkes vagyok az a mate tea (sajnos nem club mate, csak valami hasonló, de lehet vakteszten nem szúrnám ki a különbséget). Ja és ezen az oldalon csak a base salary van kint, ezen kívül van szintén fix sávos stock option is. (ami azért szintén egy szemmel látható összeg)
A Dávid által említett bérsáv elérhető a Wise karrier oldalán. Magyarországon az említett Engineering Lead 1 szinten 2 000 000 – 2 550 000 forintos havi bért tüntet fel a Wise. Ezen kívül UK, Észtország, USA, Szingapúr, Brazília és India vonatkozására vannak feltüntetve fizetési sávok, igaz ezek már nem havi, hanem éves viszonylatban.
Azért van forintos fizetés feltüntetve, mert bár kevesen tudják, több mint 10 éve van a Wise-nak irodája Budapesten, ahol a fejlesztésen is dolgoznak szakemberek. Tavaly én is itt találkozhattam Kristo Käärmann-nal, a Wise vezérigazgatójával.
Jelenleg is van felvétel a Wise budapesti irodájába, Senior Software Engineer – Contact Automation – AI pozícióban 2 250 000 – 2 700 000 forint közötti havi bér és egyéb juttatások járnak .
ICouldBeAnyone8: Mennyire használjátok cégen belül az AI-t fejlesztésre? Nemrég interjúztam hozzátok, és ott azt kaptam visszajelzésként, hogy lassan gépelek 😀 . Kicsit el vagyok szokva valóban a gépeléstől, mert már többnyire AI-val íratom a kódot. Ha tényleg megy nálatok az AI, nem gondolkoztatok az interjúfolyamat megváltoztatásán?
Extension_Work_2148: Abszolút használjuk (bátorítva vagyunk, de nem kötelezve), viszont az interjúban továbbra is fel akarjuk mérni hogy valaki hands on is tud-e problémákat megoldani (mondjuk itt nem a gyors gépelésre gondolok 😅).
Ebben a kommentben mélyebben is írt a kiválasztási folyamatban a jelöltekkel kapcsolatos észrevételeiről.
Rhacine: Sokan az automatizalast nem annyira kedvelik, pl customer servicenel – cel, hogy minel inkabb ’emberi’ legyen az elmeny amikor egy ilyen megoldassal kapcsolatba kerul valaki?
Extension_Work_2148: Igyekszünk arra hogy a chatbot stílusa ne legyen túl robotikus, ugyanakkor azt is mindig transzparensen kiírjuk, hogy ez nem egy ember hanem egy robot. És a customernek elég csak annyit írnia hogy „give me a human” és rögtön átirányítjuk egy human CS agenthez.
TheStrangeSailor: Huhh na erre saját sztori: elakadt egy utalásom, nem is értettem miért azt írják felülvizsgálják a fiókom, de mondok OK akkor kivárom ameddig befejezik (de persze semmi doksit nem kért el). Majd az nap amikor lejárt volna a határidő újból meghosszabították a vizsgálatot. Na itt már nekem gyanús lett, hogy van valami (közben semmi értesítést nem kaptam).
Na akkor support center én balga a chatest kértem. Leírtam hogy „dik” (nyílván ennél jobban kifejtve), az agent csak annyit tudott, hogy kapcsolt „emberhez”. Hallod 5 perces reaction time minden egyes cseszett üzenetre. 55 perc chatelés után kiderült hogy egy olyan hoki dolog miatt lett felfüggesztve az accountom (amiről az appon belül semmit nem tudtam meg és nem is jelezte), amit egy chatbot hozzáférve a fiók adataimhoz egyből kidobott volna. Hát volt anyázás 😅
De viszont tök büszke vagyok, hogy honfitársam ilyen bigman a Wise-nál és ettől függetlenül kedvenc pénzügyi szolgáltatásom.
Tényleg, amúgy van West side – East side beef a Revoval?
Extension_Work_2148: aaaww ezért dolgozunk!!! 🥹 🤩
Rap battle még nem volt sajnos, de volt egy ilyen pl.: 😅
https://revb.hu/hirdetesben-fricskazza-a-revolutot-a-wise-a-magyar-nyitas-utan/
Hirdetésben fricskázza a Revolutot a Wise a magyar nyitás után
Extension-Hamster418: Van kimutatás arról, hogy pénzügyileg milyen mértékű megtakarítást jelent amit a csapatod csinál a cégnek? Általánosságban az a megérzésem, hogy a felhasználók vannak szivatva az ilyen “dugjuk el a customer supportot és minimalizáljuk a létszámukat” jellegű sztorikkal. Én kívülről azt látom, hogy látható itt a kezdő bérsávod, tudunk a részvényopciódról, valószínűleg a csapatod is hasonló kategória, illetve az llmnek is van költsége. Mit gondolsz, pénzügyileg valaha megérős lesz ennyit ráfordítani erre a cégnek vagy jobban megérné hagyományos ügyfélszolgálatba fektetni?
Extension_Work_2148: Amit nyerünk az automationnel, azt inkább a minőség fejlesztésébe forgatjuk vissza (a humán agentek gyorsabban tudnak válaszolni, több időt tudnak egy problémára szánni), és nem a költségek csökkentésébe. Ez azért éri meg, mert ha jobb a customer support, csökken a lemorzsolódás, többen ajánlják egymásnak a termékünket, szóval ez végső soron a növekedésünket szolgálja
Ok_Acanthisitta1700: Milyen engineering leadkent ezen a teruleten dolgozni? Mik a kihivasok? Hogyan optimalizaljatok a costot?
Extension_Work_2148: Egyszerre nagyon izgalmas, de elég kaotikus is. Nincsenek még évtizedek óta bejáratott best practice-ek, kész toolok, és mivel nem-determinisztikus a technológia (bár múltkor volt erről valami thread itt hogy igazából determinisztikus csak picit más inputra nagyon más outputot tud adni), nagyon nehéz egy definit választ adni hogy egy módosítás javított vagy rontott-e.
Leadként is tök nehéz ez, hogy nehezen tervezhető a hatása egy módosításnak / projektnek, nem igazán vannak ezen a területen olyan intuícióim mint amikre más területen tudok hagyatkozni.
Közben viszont gyakran egészen magicnek tűnik hogy az LLM mennyire jól navigál nehéz beszélgetéseket is, és ez meg jó érzés – meg tök menő egy épp kibontakozó technológiával dolgozni.
HungaroPannon: Hányféle modelt használtok? Apin keresztül vagy saját infrán futtatva? Milyen monitoring toolokat használtok? Mik azok a buktatók, amikbe már beleestél a fejlesztés során?
Extension_Work_2148: AWS Bedrockon keresztül használjuk a modelleket, illetve van egy belsős Wise-os gateway is ami security, observability szempontból jó, a költségek csapatokhoz rendeléséhez stb.
Monitoring tooling: Arize, Grafana, meg most elkezdtünk egy belső fejlesztésű toolt is beszélgetések manuális reviewzására.
Buktatók: nem tudom hogy ez buktató-e, de nekem nagy meglepetés volt hogy mennyire könnyű egy kb. okésan működő első verziót csinálni, de aztán ennek a minőségét mennyire nehéz tovább fejleszteni. Szóval teljesen más a dinamika mint egy determinisztikusan működő szoftver esetében, ahol az iterálás általában már gyorsabb mint eljutni egy első MVP-hez.
Mersaul4: Hogyan van megoldva, hogy a felhasználó ne jailbreak-elje az agentet. Hogyan monitorozzátok az erre irányuló próbálkozásokat?
Extension_Work_2148: Vannak input és output guardrailek, az input guardrailek a customer üzeneteit vizsgálja, és érzékeli ha az ügyfél jailbreakelni próbál, szeretne inkább emberrel beszélni, vagy ha frusztrált lesz. Ilyen esetben rögtön továbbítjuk a felhasználót egy ember felé. Az output guardrailek hasonlóan működnek, ott az LLM hibás működését szűrjük.
L4rav3l: Tudnék vele random kódokat íratni? Alzánál egy ideig müködött
Extension_Work_2148: Próbáld meg, és ha sikerül írd meg hogy hogyan sikerült 😅 (de nem kéne hogy működjön)
S0m30n3_93: Engem az érdekelne, hogy jelenleg van-e home office lehetőség és te mennyire látod fontosnak az irodába való bejárást, mennyit nehezít a feladataidon, munkavégzéseden, ha épp remote van valaki, akivel amúgy egy irodában dolgozol?
Láttam a belinkelt career mapet: te milyen tempóban lépkedtél feljebb a pozíciókban? Vagy ha nem akarsz ennyire személyes kérdésre válaszolni: mi az átlagos idő, amit valaki eltölt adott pozíciókban?
Extension_Work_2148: Én hat éve IC1 – ként csatlakoztam, igaz, ekkor már volt 5 év tapasztalatom a fejlesztésben (csak nagyon más cégnél, ezért IC1-ként indultam itt), és kb. 4 év után lettem EL1.
Volt olyan kollégám aki 4 év alatt lett gyakornokból IC3. Egyébként átlagosan egy pályakezdő 4-5 év után lesz nálunk IC3, de ez csak egy nagy átlag, szerintem nagy szórás van ebben.
Abszolút van home office lehetőség, heti 2-3 nap (ez csapat-függő is). Van sok eset szerintem amikor a személyes együtt dolgozás hatékonyabb, de nálunk sok olyan csapat van amiben több országból is vannak tagok (Tallinn, London, Budapest a legnagyobb irodáink), ezért muszáj megtanulnunk ezt online helyettesíteni (bár igyekszünk pár havonta találkozni a más irodában lévő kollégákkal is). Az fontos szerintem hogy ha valamit át kell beszélni (akár valami technikai döntéshozáshoz is), akkor gyorsan indítani tudjunk egy videohívást, de ezzel kapcsolatban nem volt még semmilyen rossz tapasztalatom eddig.
Bár a kérdezz-felelek egy részét szerintem fejlesztők tudják érdemben értékelni, vagy egyáltalán megérteni, ennek ellenére is jó, hogy lehetőség nyíl betekintést nyerni kicsit a hazai fintech fejlesztők világába.
Emellett abba is, hogyan próbálják meg különböző AI modellekkel kezelni az ügyfeleket a Wise-nál is, ami egyszerre segíthet költséghatékonyabban és gyorsan útbaigazítani a felhasználót, illetve nagyobb kapacitást hagy a személyes ügyfélszolgálatnak a tényleges személyes ügyfélkezelésre.
