Testasin Claude Sonnet 4.5 vs ChatGPT-5 vs Opus 4.1: Tulemused üllatavad sind

Kui Claude (Anthropic) avaldas Sonnet 4.5 väitega, et see on "maailma parim koodimudel", teadsin, et pean seda testima.

Lõppude lõpuks oli ChatGPT-5 äsja ilmunud ja teinud laineid AI kogukonnas. Ja Opus 4.1 oli kuude kaupa olnud armastatud AI koodimise kuningas. Kas see uus Sonnet mudel võiks tõesti mõlemat ületada?

Otsustasin panna kõik kolm mudelit läbi samade koodimise väljakutsete, et näha, kumb töötab paremini reaalmaailma stsenaariumides. See, mida avastasin, muutis minu perspektiivi sellest, kuidas peaksime mõtlema "parimast" AI koodiabist.

Testimise metoodika

Et hoida asjad ausad, andsin igale mudelile täpselt samad juhised ja väljakutsed. Ei mingit abi, ei mingeid kohandusi katsete vahel (vähemalt alguses). Ainult puhast sooritust.

Siin on, mida testisin:

Väljakutse 1: Mängu arendus

Palusin igal mudelil luua täielikult töötav Angry Birds mäng, mis töötab brauseris. Nõuded olid lihtsad: tee see lõbus, lisa animatsioonid, veendu, et see tõesti töötab ja tee see visuaalselt atraktiivne.

Väljakutse 2: Sihtlehe disain

Palusin igal mudelil luua professionaalne sihtleht e-posti turunduse agentuurile. Eesmärk oli konversioonile orienteeritud disain sobiva tekstiga, visuaalse atraktiivsuse ja olemasolevate brändi suunistega.

Mudelitel oli juurdepääs võrdlusmaterjalidele ja nad võisid esitada järelküsimusi. Tahtsin näha, kuidas nad toimetavad keeruliste reaalmaailma ülesannetega, millega arendajad ja disainerid iga päev kokku puutuvad.

Tulemused: Üllatav teekond

Enne kui süveneda detailidesse, tahan jagada midagi, mis mind tõeliselt üllatas: Ükski mudel ei võitnud kõikides kategooriates. Igaüks säras erinevatel viisidel, paljastades, et "parim" sõltub väga palju sellest, mida püüate saavutada.

ChatGPT-5: Visuaalse loovuse kuningas

ChatGPT-5 säras absoluutselt Angry Birds väljakutsel. Kui ma ütlen säras, siis mõtlen, et see lõi midagi, mida sa tõesti tahad mängida. Lindude ja plokkide füüsika tundus rahuldav, animatsioonid olid sujuvad ja üldine välimus oli selle "veel üks voor" faktoriga.

Mis mind kõige rohkem muljet avaldas, oli visuaalne disain. ChatGPT-5 sai aru, et mäng peab olema rohkem kui funktsionaalne - see peab olema köitev. See lisas peened gradiendid, osakeste efektid kokkupõrgeteks ja isegi taseme lõpetamise ekraani, mis oli viimistletud.

Kuid kui jõudis sihtleheni, muutusid asjad vähem muljetavaldavaks. Disain oli esteetiliselt meeldiv, kuid ei järginud oma ülesannet. See ignoreeris brändi suunised, mida ma esitasin, ja tekst tundus üldine. See oli selline leht, mis võiks võita disaini auhinna, kuid ei pruugi tingimata külastajaid konverteerida.

Opus 4.1: Järjepidev tegija

Opus 4.1 oli usaldusväärne tegija grupis. Mõlemas väljakutses toimetas see täpselt seda, mida ootaksid kogenud senior arendajalt - ei midagi vilkuvat, kuid tahke igas detailis.

Angry Birds mäng töötas täiuslikult esimesest katsest. Füüsika oli täpne, juhtnupud olid reageerivad ja kood oli puhas ja hästi organiseeritud. Kui ma oleksin selle kliendile andnud, oleks ta rahul olnud. Kuid kui olla aus, puudus sellel ChatGPT-5 versiooni maagia.

Kus Opus 4.1 tõeliselt säras, oli sihtleht. See luges hoolikalt brändi suuniseid, kasutas õiget värvipalett ja struktureeris sisu täpselt nii, nagu ma määrasin. Tekst tundus tahtlik - igal sektsioonil oli selge eesmärk kasutaja teekonnas.

Kui tahad arendajat, kellele saad loota ennustatavate kvaliteetsete tulemuste pakkumisel, on Opus 4.1 sinu valik. See ei üllata sind metsiku loovusega, kuid see ei põruta ka.

Claude Sonnet 4.5: Koostöö üllatus

Sonnet 4.5 üllatas mind täielikult, kuid mitte põhjustel, mida ma oleksin oodanud. Selle asemel, et proovida kohe täiuslikku lahendust pakkuda, esitas ta küsimusi. Palju küsimusi.

Mängu väljakutse jaoks:

• "Millist raskusastet sihid esimese taseme jaoks?"
• "Kas eelistad rohkem arcade'i või realistlikumat füüsikat?"
• "Kas on mingit konkreetset kunstilist stiili, mida silmas pead?"
• "Kas see peaks olema optimeeritud lauaarvuti, mobiili või mõlema jaoks?"

Alguses olin kergelt frustreeritud. Teised mudelid lihtsalt hakkasid ehitama. Kuid siis sain midagi aru: Sonnet 4.5 tegi seda, mida tõeliselt hea arendaja teeks - veendus, et ta mõistab probleemi, enne kui hakkab koodima.

Kui ma olin küsimustele vastanud, olid tulemused märkimisväärsed. Mäng ei olnud ainult funktsionaalne ja visuaalselt atraktiivne - see tundus nagu oleks ehitatud spetsiaalselt minu kasutusjuhu jaoks. Füüsika vastas minu eelistustele, kasutajaliides oli optimeeritud platvormide jaoks, mida ma mainisin, ja isegi koodi kommentaarid tundusid kohandatud minu tööstiili.

Sihtleht oli sama lugu. Pärast küsimuste ja vastuste sessiooni sihtgrupi ja konversiooni eesmärkide kohta lõi ta midagi, mis tundus hoolikalt disainitud. See ei olnud lihtsalt üldine sihtleht - see oli sihtleht, mis oli ehitatud minu konkreetsete äriv ajaduste jaoks.

Tõeline avaldus: Parandamine läbi koostöö

Siin muutusid asjad tõeliselt huvitavaks. Pärast algvoorusid proovisin töötada iga mudeliga nende väljundite täiustamisel. Siin muutusid erinevused veel selgemaks.

Parandamine ChatGPT-5-ga

ChatGPT-5 oli suurepärane visuaalsetes iteratsioonides. Kui palusin muudatusi animatsioonides või disainis, rakendas ta need kiiresti ja lisas sageli täiustusi, millele ma ei olnud mõelnud. Kuid kui püüdsin teda sundida brändi suuniseid täpsemalt järgima, võitles ta. Oli nagu tema loovus oleks nii tugev, et seda oli raske taltsutada.

Parandamine Opus 4.1-ga

Opus 4.1 käsitles tagasisidet täpselt nii, nagu sa ootaksid: professionaalselt ja tõhusalt. Ta tegi muudatused, mida palusin, ilma probleemideta. Kuid harva pakkus ta täiustusi väljaspool seda, mida ma spetsiaalselt palusin. Ta oli suurepärane täitja, kuid mitte proaktiivne koostööpartner.

Parandamine Sonnet 4.5-ga

See oli koostöö kogemus, mis muutis minu perspektiivi. Kui palusid muudatusi, tuleb Sonnet 4.5 sageli tagasi selgitustega:

"Tahan muuta seda hero sektsiooni köitvamaks. Kas ma püüan seda muuta visuaalselt atraktiivsemaks või sõnumi osas selgemaks? Või mõlemat?"

Või:

"Märkasin, et tahad muuta mängu füüsikat. Kas ma peaksin ka raskusastet kohandama, et seda kompenseerida, või tahad sa seda tahtlikult lihtsamaks/raskemaks teha?"

Oli nagu töötaksin senior arendajaga, kes aktiivselt mõtleb suuremale probleemile, mitte lihtsalt täidab ülesandeid.

Otsus: Pole universaalset võitjat

Pärast nädalaaid nende mudelite testimist on minu järeldus vastuoluline: Sa ei tohiks valida ühte "võitjat".

Siin on, kuidas ma nende kohta nüüd mõtlen:

Kasuta ChatGPT-5, kui:

• Vajad loomingulisi visuaalseid kontseptsioone ja disaini uurimist
• Töötad millegi kallal, kus esteetika on sama oluline kui funktsionaalsus
• Tahad näha loomingulisi võimalusi, millele sa ei mõelnud
• Oled valmis andma konkreetset tagasisidet, et teda suunata oma eesmärkide poole

Kasuta Opus 4.1, kui:

• Sul on selged ja hästi määratletud nõuded
• Vajad usaldusväärset ja etteaimatavat täitmist
• Töötad rangete brändi suuniste või tehniliste piirangutega
• Tahad puhast ja hästi organiseeritud koodi ilma üllatusteta

Kasuta Sonnet 4.5, kui:

• Sinu probleem on keeruline ja sellest oleks kasu arutelust
• Tahad koostööpartnerit, mitte ainult täitjat
• Oled avatud oma nõuete täpsustamiseks vestluse kaudu
• Hindad läbimõeldud lahendusi, mis võtavad arvesse laiemaid tagajärgi

Suurem õppetund

Nende kolme mudeli testimine õpetas mulle midagi olulist AI kohta üldiselt: See ei ole "parima" tööriista leidmisest - see on iga tööriista tugevuste mõistmisest ja sellest, millal neid kasutada.

Oma arendustavades kasutan nüüd kõiki kolme, sageli sama projekti erinevate osade jaoks. Võib-olla alustan Sonnet 4.5-ga, et täpsustada arhitektuuri ja nõudeid, kasutan Opus 4.1 põhilise rakendamise jaoks ja kutsun ChatGPT-5, kui vajan seda loomingulist sädet liidese jaoks.

Anthropic'i väide, et Sonnet 4.5 on "maailma parim koodimudel", on tehniliselt tõene - kuid mitte viisil, mida ma ootasin. See ei ole parim, sest see võidab kõik teised mudelid igas ülesandes. See on parim, sest see muudab suhet, mis sul on AI koodimisega "tööriistast" "koostööpartneriks".

Minu soovitus

Kui ma pean valima ainult ühe kellelegi, kes alustab AI koodimisega:

Algajatele: Alusta ChatGPT-5-ga. Tema loovus ja visuaalne mitmekülgsus teevad õppimise meeldivamaks ja tema võime genereerida koodi, mis "lihtsalt töötab", on suurepärane, kui sa veel õpid.

Kesktaseme arendajatele: Opus 4.1 saab olema sinu parim sõber. Tema järjepidevus ja usaldusväärsus muutuvad hindamatuks, kui sa ehitad keerulisemaid projekte.

Edasijõudnud arendajatele: Sonnet 4.5. Kui sa juba tead, milliseid küsimusi küsida ja kuidas probleeme struktureerida, teeb tema koostööline lähenemine sind produktiivsemaks, kui sa oleksid üksi.

Kuid ausalt? Kui sa saad, kasuta kõiki kolme. Minu igakuine AI tellimuste eelarve on kasvanud, kuid ka minu produktiivsus. Veel olulisem, mida ma ehitan, on paranenud kvaliteet, sest ma kasutan õiget tööriista iga töö jaoks.

Lõppmõtted

AI koodimise sõda ei ole selle kohta, kes võidab oma konkurente - see on selle kohta, kui hästi need tööriistad saavad meid aidata paremaid asju kiiremini ehitada. Selles mõttes on kõik kolm võitjad.

Claude Sonnet 4.5 võib olla "parim" võrdlustestides, kuid reaalses maailmas on parim tööriist see, mis sobib sinu vajadustega sel hetkel. Mõnikord on see ChatGPT-5 loovus. Mõnikord on see Opus 4.1 usaldusväärsus. Ja mõnikord on see Sonnet 4.5 koostööline lähenemine.

Tõeline jõud tuleb teadmisest, millal kasutada millist ja paindlikkusest nende vahel vahetada, kui sinu vajadused arenevad.

Watch the full testing process here: https://youtu.be/TAGUl0Xj7xg