Procesoarele Intel Xeon accelereaza sarcinile de lucru GenAI cu Aible
3/36985
calendar_month 27 Iun 2024, 14:00


Intel si  Aible , o solutie de IA generativa end-to-end fara server (GenAI) si solutie de analiza augmentata pentru intreprinderi, ofera acum solutii clientilor partajati pentru a rula cazuri de utilizare avansate GenAI si generatie de recuperare augmentata (RAG) pe mai multe generatii de Intel ® Procesoare Xeon®. Colaborarea, care include optimizari de inginerie si un  program de evaluare comparativa , imbunatateste capacitatea Aible de a furniza rezultate GenAI la un cost scazut pentru clientii intreprinderilor si ajuta dezvoltatorii sa integreze inteligenta AI in aplicatii. Impreuna, companiile ofera solutii AI scalabile si eficiente care se bazeaza pe hardware de inalta performanta pentru a ajuta clientii sa rezolve provocarile cu AI si Intel.

„Clientii cauta solutii eficiente, la nivel de intreprindere, pentru a valorifica puterea AI. Colaborarea noastra cu Aible arata modul in care lucram indeaproape cu industria pentru a oferi inovatie in AI si pentru a reduce bariera de intrare pentru multi clienti pentru a rula cele mai recente sarcini de lucru GenAI folosind procesoare Intel Xeon.”
–Mishali Naik, inginer principal principal Intel, Data Center si AI Group

Despre performanta GenAI Xeon:  solutiile Aible demonstreaza modul in care procesoarele pot imbunatati semnificativ performanta intr-o gama de cele mai recente sarcini de lucru AI, de la modele de limbaj de rulare la RAG. Optimizata pentru procesoarele Intel, tehnologia lui Aible utilizeaza o abordare end-to-end fara server pentru AI, consumand resurse doar atunci cand exista solicitari active ale utilizatorilor. De exemplu, baza de date vectoriala se activeaza pentru doar cateva secunde pentru a prelua informatii relevante pentru o interogare a utilizatorului, iar modelul de limba porneste in mod similar pentru a procesa si a raspunde cererii. Aceasta operatiune la cerere ajuta la reducerea costului total de proprietate (TCO).

In timp ce RAG este adesea implementat folosind GPU-uri (unitati de procesare grafica) si acceleratoare pentru a-si valorifica capacitatile de procesare paralela, tehnica Aible fara server, combinata cu procesoarele Intel® Xeon® Scalable, permite ca cazurile de utilizare RAG sa fie alimentate in intregime de procesoare. Datele de performanta arata ca mai multe generatii de procesoare Intel Xeon pot rula in mod eficient sarcinile de lucru RAG.

De ce conteaza:  Aible le permite clientilor sa reduca costurile operationale ale proiectelor GenAI prin utilizarea exclusiva a procesoarelor in forma fara server pentru a partaja aceleasi resurse de calcul subiacente mai sigur intre mai multi clienti. Ca o comparatie, costurile operationale reduse pot fi comparate cu cumpararea de energie electrica atunci cand este utilizata, mai degraba decat cu inchirierea unui generator de electricitate. Mai mult, pe masura ce cererea de IA generativa creste, nevoia de a optimiza atat performanta, cat si consumul de energie devine mai cruciala. Serviciile bazate pe CPU ale Aible ofera clientilor o solutie rentabila si eficienta din punct de vedere energetic.

Cum Aible Solutions ajuta clientii sa scada costurile:  Conform analizei de referinta Aible, clientii pot realiza o economie de pana la 55 de ori atunci cand ruleaza modele RAG pe solutiile lor fara server bazate pe CPU 1 . Aceasta reducere a costurilor este o dovada a eficacitatii abordarii exclusiv CPU a lui Aible, care elimina nevoia de infrastructuri mai scumpe bazate pe GPU, cu servicii partajate sau servere dedicate.



Cum colaboreaza Intel cu Aible:  Intel – inclusiv Intel Labs – a lucrat cu Aible pentru a optimiza sarcinile de lucru AI pe procesoarele Xeon. In special, prin optimizarea codului Aible pentru AVX-512, Aible a inregistrat castiguri semnificative de performanta si si-a imbunatatit randamentul pe procesoarele Xeon, evidentiind impactul optimizarilor software strategice asupra eficientei generale.

Combinatia de modele RAG cu procesoare Intel Xeon, facilitata de platforme precum Aible, poate activa aplicatii precum:

Procesarea limbajului natural (NLP)
Sisteme de recomandare
Sisteme de sprijinire a deciziei
Generarea de continut
 
Colaborarea Intel cu Aible a inceput odata cu lansarea procesoarelor Xeon de a patra generatie. Cele doua companii au optimizat incarcaturile de lucru AI, codul si bibliotecile pentru procesoarele Xeon pentru a creste performanta ofertelor de produse Aible.