DiDi dezvolta evaluare inteligenta a contact centerului cu Amazon Bedrock

Provocarile evaluarii calitatii in contact centerele moderne

In industria serviciilor de transport si mobilitate urbana, calitatea interactiunilor dintre agentii de suport si clienti reprezinta un factor critic care influenteaza direct satisfactia utilizatorilor si reputatia brandului. DiDi, una dintre cele mai mari platforme de ride-hailing din lume, se confrunta zilnic cu un volum masiv de conversatii in contact centerele sale, fiecare interactiune trebuind sa fie monitorizata, evaluata si imbunatatita continuu. Procesul traditional de Quality Assurance (QA) in contact centere implica echipe dedicate de evaluatori umani care asculta inregistrari audio, citesc transcrieri si aplica scoruri conform unor grile prestabilite. Aceasta abordare, desi eficienta la scara mica, devine extrem de costisitoare si ineficienta atunci cand volumul de interactiuni creste exponential, asa cum se intampla in cazul unei companii de dimensiunea DiDi.

Evaluarea manuala prezinta limitari semnificative: acoperire partiala a interactiunilor (de obicei doar un procent mic din totalul conversatiilor este verificat), subiectivitate in aplicarea criteriilor de evaluare, timp de procesare ridicat si imposibilitatea de a detecta in timp real problemele de conformitate sau de calitate. In acest context, DiDi a decis sa exploreze potentialul inteligentei artificiale generative pentru a transforma radical procesul de QA, apeland la Amazon Bedrock, platforma de AI generativ a AWS, pentru a construi un sistem inteligent, scalabil si precis de evaluare automata a interactiunilor din contact center.

Ce este Amazon Bedrock si de ce l-a ales DiDi

Arhitectura si capabilitatile Amazon Bedrock

Amazon Bedrock este un serviciu fully managed oferit de AWS care pune la dispozitia dezvoltatorilor acces la modele fundationale (Foundation Models – FM) de inalta performanta, provenind de la companii de top precum Anthropic, AI21 Labs, Cohere, Meta, Mistral AI si Amazon insusi, prin modelele Amazon Titan. Platforma permite integrarea acestor modele direct in aplicatiile enterprise fara necesitatea de a gestiona infrastructura de antrenament sau de inferenta, oferind in acelasi timp securitate la nivel enterprise, conformitate cu reglementarile de date si scalabilitate automata. Printre capabilitatile cheie ale Amazon Bedrock se numara: inferenta in timp real, procesare batch pentru volume mari de date, fine-tuning al modelelor pe date proprietare, Retrieval-Augmented Generation (RAG) prin Amazon Bedrock Knowledge Bases si agenti AI autonomi prin Amazon Bedrock Agents.

DiDi a ales Amazon Bedrock din mai multe motive strategice si tehnice. In primul rand, platforma ofera flexibilitate in alegerea modelului cel mai potrivit pentru sarcina specifica, permitand experimentarea si compararea mai multor modele fundationale fara schimbari majore de cod. In al doilea rand, integrarea nativa cu ecosistemul AWS (Amazon S3, Amazon Lambda, Amazon SageMaker, Amazon CloudWatch) simplifica substantial constructia unui pipeline end-to-end de procesare a datelor. In al treilea rand, mecanismele de securitate si guvernanta integrate in Bedrock, inclusiv criptarea datelor, controlul accesului bazat pe roluri (RBAC) si auditarea prin AWS CloudTrail, raspund cerintelor stricte de conformitate ale DiDi in jurisdictiile in care opereaza.

Arhitectura sistemului inteligent de QA dezvoltat de DiDi

Fluxul de procesare a datelor si pipeline-ul de evaluare

Sistemul de QA inteligent construit de DiDi pe Amazon Bedrock urmeaza un pipeline multi-etapa care transforma inregistrarile brute ale conversatiilor in evaluari structurate, actionabile si comparabile. Prima etapa implica colectarea si preprocesarea datelor: inregistrarile audio ale conversatiilor telefonice sunt transcrise automat folosind servicii de Speech-to-Text, iar conversatiile text (chat, email) sunt agregate si normalizate intr-un format unitar. Aceste date sunt stocate securizat in Amazon S3, unde sunt organizate pe categorii, agenti, perioade de timp si tipuri de interactiuni.

Etapa urmatoare consta in analiza semantica si contextuala a conversatiilor prin intermediul modelelor fundationale accesate via Amazon Bedrock. Modelele sunt utilizate pentru a intelege nu doar continutul literal al conversatiei, ci si tonul, intentia clientului, calitatea solutiei oferite de agent, respectarea scripturilor si politicilor interne, precum si nivelul de empatie demonstrat. Un aspect tehnic crucial al implementarii DiDi este utilizarea prompt engineering avansat: echipa de ingineri a dezvoltat template-uri de prompt specializate care ghideaza modelul sa evalueze conversatia conform criteriilor specifice de QA ale companiei, generand scoruri numerice si justificari textuale detaliate pentru fiecare criteriu evaluat.

Implementarea Retrieval-Augmented Generation pentru contextualizare

Un element diferentiator al solutiei DiDi este integrarea tehnicii Retrieval-Augmented Generation (RAG) pentru a imbogati contextul pe baza caruia modelul evalueaza conversatiile. Prin Amazon Bedrock Knowledge Bases, echipa a indexat documentatia interna a companiei: manuale de proceduri pentru agenti, ghiduri de raspuns pentru situatii specifice, politici de rambursare si compensare, regulamente interne de conformitate si exemple de bune practici validate de echipa de QA. In momentul evaluarii unei conversatii, sistemul realizeaza o cautare semantica in aceasta baza de cunostinte, extrage documentele relevante pentru tipul de interactiune analizata si le include in contextul transmis modelului, permitandu-i astfel sa evalueze raspunsurile agentului nu in abstract, ci in raport cu standardele exacte ale DiDi.

Aceasta abordare RAG aduce beneficii multiple: evaluarile devin mai precise si mai aliniate cu standardele interne, modelul poate detecta deviatii de la procedurile oficiale chiar si in situatii nuantate, iar sistemul poate fi actualizat rapid atunci cand politicile companiei se schimba, fara necesitatea re-antrenarii modelului de baza. Indexarea documentelor este realizata folosind embeddings vectoriale generate de modelele Amazon Titan Embeddings, stocate intr-o baza de date vectoriala gestionata de serviciul Bedrock, care permite cautari de similaritate semantica cu latenta redusa.

Evaluarea multi-dimensionala si generarea scorurilor de calitate

Sistemul de QA al DiDi evalueaza fiecare conversatie pe multiple dimensiuni de calitate, fiecare avand greutate proprie in scorul final. Dimensiunile evaluate includ:

• Acuratete si corectitudine: masura in care informatiile furnizate de agent sunt corecte si complete conform politicilor DiDi
• Respectarea procedurilor: verificarea ca agentul a urmat pasii obligatorii din scriptul de interactiune (salut, verificare identitate, confirmare problema, oferire solutie, follow-up)
• Calitatea comunicarii: claritate, profesionalism, ton empatic, evitarea jargonului tehnic excesiv
• Eficienta rezolutiei: masura in care problema clientului a fost rezolvata in cel mai scurt timp posibil
• Conformitate si risc: detectarea declaratiilor care ar putea crea riscuri legale sau de reputatie pentru companie
• Satisfactia clientului predictiva: estimarea probabilitatii ca clientul sa fi ramas multumit dupa interactiune, bazata pe semnale lingvistice si contextuale

Pentru fiecare dimensiune, modelul genereaza un scor numeric intre 0 si 100 si o justificare textuala care explica rationamentul din spatele scorului, citand pasaje specifice din conversatie. Aceasta transparenta a evaluarii este esentiala pentru acceptabilitatea sistemului in randul agentilor si managerilor, care pot astfel intelege si contesta evaluarile automatizate.

Provocarile tehnice si solutiile implementate

Gestionarea volumelor mari de date si optimizarea costurilor

Una dintre cele mai mari provocari tehnice cu care s-a confruntat echipa DiDi a fost gestionarea eficienta a volumelor masive de conversatii la costuri operationale acceptabile. Inferenta prin modele fundationale de mari dimensiuni poate fi costisitoare la scara, mai ales cand fiecare conversatie este procesata individual. DiDi a implementat mai multe strategii de optimizare: utilizarea inferentei batch prin Amazon Bedrock pentru procesarea asincron a conversatiilor istorice la costuri reduse, prioritizarea inteligenta a conversatiilor care necesita evaluare imediata (de exemplu, cele care contin cuvinte cheie asociate reclamatiilor grave sau riscurilor de conformitate) si implementarea unui sistem de caching pentru tipuri de evaluari repetitive care implica scenarii similare.

De asemenea, echipa a experimentat cu modele de dimensiuni diferite pentru sarcini diferite: modele mai mici si mai rapide sunt utilizate pentru clasificarea initiala a conversatiilor si filtrarea celor care necesita atentie speciala, in timp ce modelele mai puternice sunt rezervate pentru evaluarea detaliata si generarea de feedback comprehensiv. Aceasta abordare cascadata a redus semnificativ costurile totale de inferenta mentinand in acelasi timp calitatea evaluarilor finale.

Asigurarea consistentei si calibrarii evaluarilor

Un aspect critic in orice sistem de QA este consistenta evaluarilor: acelasi comportament al unui agent trebuie sa primeasca scoruri similare indiferent de momentul evaluarii sau de variatiile minore in formularea conversatiei. Modelele de limbaj mari pot prezenta variabilitate in output, ceea ce poate afecta credibilitatea sistemului. DiDi a abordat aceasta provocare prin mai multe mecanisme tehnice: setarea temperaturii de generare la valori scazute (aproape de 0) pentru a reduce variabilitatea raspunsurilor modelului in contextul evaluarii, implementarea unor scheme structurate de output care forteaza modelul sa genereze raspunsuri intr-un format JSON predefinit cu campuri specifice, si rularea periodica de teste de calibrare in care un set de conversatii de referinta (evaluate anterior de experti umani) este procesat de sistem pentru a detecta driftul in scoruri.

Multilingvism si adaptare culturala

DiDi opereaza in multiple tari si regiuni, ceea ce inseamna ca sistemul de QA trebuie sa proceseze conversatii in limbi si dialecte diverse. Amazon Bedrock ofera acces la modele cu capabilitati multilingve avansate, iar DiDi a valorificat aceasta capacitate pentru a extinde sistemul dincolo de limba chineza, acoperind spaniola, portugheza, engleza si alte limbi relevante pentru operatiunile sale internationale. Provocarea suplimentara in acest context este asigurarea ca standardele de evaluare sunt adaptate cultural: ce constituie un ton empatic adecvat sau o comunicare profesionala poate varia semnificativ intre culturi, iar sistemul trebuie sa tina cont de aceste nuante pentru a evita evaluari incorecte sau nedrepte.

Rezultate si impactul business al implementarii

Cresterea acoperirii evaluarilor si reducerea costurilor operationale

Implementarea sistemului inteligent de QA pe Amazon Bedrock a adus transformari semnificative si masurabile in operatiunile contact centerului DiDi. Cel mai dramatic impact a fost cresterea acoperirii evaluarilor: de la aproximativ 2-5% din totalul conversatiilor evaluate manual in regimul anterior, sistemul automatizat acopera acum practic 100% din interactiunile inregistrate, oferind o vizibilitate fara precedent asupra calitatii serviciilor. Aceasta acoperire totala permite identificarea sistematica a pattern-urilor de erori, a agentilor care necesita training suplimentar si a scenariilor de interactiune care produc in mod constant insatisfactie clientilor.

Din perspectiva costurilor, automatizarea QA a redus substantial necesarul de evaluatori umani dedicati acestei sarcini, eliberand resursa umana pentru activitati cu valoare adaugata mai mare: calibrarea si imbunatatirea sistemului automatizat, gestionarea cazurilor complexe de escaladare, dezvoltarea materialelor de training si analiza strategica a tendintelor de calitate. Costul per evaluare a scazut dramatic, iar ROI-ul investitiei in sistemul AI a fost recuperat in mai putin de un an de la implementare.

Imbunatatirea calitatii si a experientei clientilor

Feedback-ul rapid si granular oferit de sistemul automatizat a accelerat semnificativ ciclul de imbunatatire a performantei agentilor. In regimul manual, un agent putea astepta saptamani pentru a primi feedback despre o interactiune specifica; acum, evaluarile sunt disponibile in ore sau chiar in timp real pentru conversatiile prioritizate. Aceasta viteza a feedback-ului a accelerat curba de invatare a agentilor noi si a permis corectarea rapida a comportamentelor problematice inainte ca acestea sa devina obiceiuri ingradite. Metricile de satisfactie a clientilor (CSAT si NPS) au inregistrat imbunatatiri notabile in urmatoarele luni dupa implementarea sistemului, reflectand imbunatatirea calitatii interactiunilor la nivel de contact center.

Lectii invatate si directii viitoare de dezvoltare

Importanta colaborarii om-masina in QA

O lectie cheie din implementarea DiDi este ca cel mai eficient sistem de QA nu elimina judecata umana, ci o amplifica si o directioneaza strategic. Evaluatorii umani raman esentiali pentru calibrarea sistemului, pentru gestionarea cazurilor limita care necesita rationament contextual complex si pentru validarea continua a calitatii evaluarilor automatizate. Abordarea hibrida, in care AI-ul gestioneaza volumul si consecventa evaluarilor iar expertii umani se concentreaza pe cazurile cu adevarat complexe si pe imbunatatirea sistemului, reprezinta modelul optim pentru contact centerele moderne care opereaza la scara.

Evolutia spre QA predictiv si proactiv

DiDi exploreaza in prezent extinderea sistemului catre QA predictiv si proactiv: in loc sa evalueze conversatiile doar post-factum, sistemul ar putea analiza in timp real semnalele din conversatiile in desfasurare si ar putea alerta supravizoarele atunci cand o interactiune prezinta riscuri crescute de escaladare sau de insatisfactie a clientului. Aceasta capacitate ar permite interventii proactive care sa salveze interactiunile problematice inainte ca acestea sa se incheie negativ. De asemenea, DiDi investigheaza utilizarea Amazon Bedrock Agents pentru a construi un asistent AI care sa ofere sugestii in timp real agentilor aflati in conversatie, bazate pe analiza contextului curent si pe baza de cunostinte interna.

Un model de referinta pentru industrie

Implementarea sistemului inteligent de QA de catre DiDi pe platforma Amazon Bedrock reprezinta un exemplu concret si replicabil de transformare digitala a operatiunilor de contact center prin inteligenta artificiala generativa. Aceasta initiativa demonstreaza ca modelele fundationale de ultima generatie, combinate cu o arhitectura bine gandita si cu tehnici avansate precum RAG si prompt engineering specializat, pot depasi limitarile evaluarii manuale traditionale in termeni de acoperire, consistenta, viteza si cost. Mai mult decat atat, experienta DiDi arata ca adoptarea responsabila a AI in procesele critice de business necesita o abordare iterativa, atenta la calibrare si transparenta, care mentine judecata umana in pozitia de arbitru final si ghid strategic al sistemului automatizat. Pentru companiile care gestioneaza volume mari de interactiuni cu clientii, aceasta solutie ofera un blueprint valoros pentru modernizarea functiei de quality assurance in era AI generativ.