Intelegjenca artificale në kodim: Një ndihmë apo një pengesë për zhvilluesit me përvojë?

Këto mjete, të mundësuara nga modelet e avancuara të AI nga OpenAI, Google DeepMind, Anthropic dhe xAI, kanë shënuar përmirësime të shpejta në performancën e tyre në testet e inxhinierisë softuerike.

Megjithatë, një studim i ri i publikuar nga grupi kërkimor jofitimprurës i AI, METR, vë në pikëpyetje shkallën në të cilën mjetet aktuale të kodimit me AI rrisin produktivitetin për zhvilluesit me përvojë.

Për këtë studim, METR kreu një provë të kontrolluar të rastësishme duke rekrutuar 16 zhvillues me përvojë të burimit të hapur. Këta zhvillues u vunë të kryenin 246 detyra reale në depozitori të mëdha kodesh ku ata kontribuojnë rregullisht. Rreth gjysma e këtyre detyrave u caktuan rastësisht si “AI-allowed”, duke u dhënë zhvilluesve leje të përdorin mjete të avancuara të kodimit me AI si Cursor Pro, ndërsa gjysma tjetër e detyrave ndalonte përdorimin e mjeteve të AI.

Para se të përfundonin detyrat e tyre, zhvilluesit parashikuan se përdorimi i mjeteve të kodimit me AI do të zvogëlonte kohën e tyre të përfundimit me 24%. Por realiteti ishte ndryshe. “Në mënyrë të habitshme, ne zbulojmë se lejimi i AI-së në fakt rrit kohën e përfundimit me 19% — zhvilluesit janë më të ngadaltë kur përdorin mjetet e AI-së,” thanë studiuesit.

Është e rëndësishme të theksohet se vetëm 56% e zhvilluesve në studim kishin përvojë me Cursor, mjeti kryesor i AI-së i ofruar në studim. Ndërsa pothuajse të gjithë zhvilluesit (94%) kishin përvojë duke përdorur disa LLM-ë (modele të mëdha gjuhësore) të bazuara në ueb në punën e tyre të kodimit, ky ishte hera e parë që disa përdorën specifikisht Cursor. Studiuesit theksojnë se zhvilluesit u trajnuan për përdorimin e Cursor në përgatitje për studimin.

Megjithatë, gjetjet e METR ngrenë pyetje rreth përfitimeve të supozuara universale të produktivitetit të premtuara nga mjetet e kodimit me AI në vitin 2025. Bazuar në studim, zhvilluesit nuk duhet të supozojnë se mjetet e kodimit me AI – veçanërisht ato që njihen si “vibe coders” – do të shpejtojnë menjëherë punën e tyre.

Studiuesit e METR theksojnë disa arsye të mundshme pse AI ngadalësoi zhvilluesit në vend që t’i shpejtonte: Zhvilluesit shpenzojnë shumë më tepër kohë duke i dhënë udhëzime AI-së dhe duke pritur që ajo të përgjigjet kur përdorin “vibe coders”, sesa duke koduar në të vërtetë. AI gjithashtu tenton të hasë vështirësi në baza kodesh të mëdha dhe komplekse, të cilat u përdorën në këtë test.

Autorët e studimit janë të kujdesshëm të mos nxjerrin përfundime të forta nga këto gjetje, duke theksuar në mënyrë eksplicite se ata nuk besojnë që sistemet aktuale të AI-së nuk arrijnë të shpejtojnë shumë ose shumicën e zhvilluesve të softuerit. Studime të tjera në shkallë të gjerë kanë treguar se mjetet e kodimit me AI në të vërtetë i shpejtojnë proceset e punës së inxhinierëve të softuerit.

Autorët gjithashtu vërejnë se progresi i AI-së ka qenë thelbësor në vitet e fundit dhe se ata nuk do të prisnin të njëjtat rezultate as pas tre muajsh. METR ka zbuluar gjithashtu se mjetet e kodimit me AI kanë përmirësuar ndjeshëm aftësinë e tyre për të përfunduar detyra komplekse dhe me horizont të gjatë në vitet e fundit.

Sidoqoftë, ky kërkim ofron një arsye tjetër për të qenë skeptik ndaj fitimeve të premtuara nga mjetet e kodimit me AI. Studime të tjera kanë treguar se mjetet aktuale të kodimit me AI mund të introduktojnë gabime dhe, në disa raste, dobësi sigurie.