Claude Opus 5.5 Għadu Kif Ikklassifikat #1 fuq Code Arena - Issa Fost l-Aqwa Kontendenti tal-Kodifikazzjoni tal-AI

Tweġiba qasira: Il-livell Max ta' Claude Opus 5.5 huwa rrappurtat #1 fuq Arena.ai Code Arena WebDev b'1,818 punt u fil-quċċata tal-Indiċi tal-Aġent tal-Kodifikazzjoni ta' Artificial Analysis b'66 fl-isforz massimu. Dawk huma termometri pubbliċi, mhux ix-xogħol li għandek wara. Jekk tibgħat kodiċi għall-għajxien, agħmel evalwazzjoni qasira tal-kompiti tiegħek stess qabel ma taqleb id-default.

Punti ewlenin:

Mexxej tal-Code Arena: Ittratta l-WebDev Elo ta' 1,818 bħala saħħa ta' preferenza, mhux prova tal-produzzjoni.

Il-quċċata tal-indiċi tal-aġent: Irriżerva Opus bl-isforz massimu għal biljetti sticky fejn il-falliment jiswa ħafna flus.

Kompromess fl-ispiża: Tokens tal-log u arloġġ tal-ħajt; punteġġ massimu u punteġġ irħis ivarjaw.

Bake-off l-ewwel: Ittestja build wieħed tal-UI, refactor wieħed, u sessjoni twila tal-aġent int stess.

Il-kuruna ddur: Żomm default irħas għal xogħol ta' volum matul iċ-ċikli ta' rilaxx.

It-Teħid tal-Kontroll tal-Klassiera, Spjegat Sempliċement

Arena.ai poġġiet lil Claude Opus 5.5 (Max) fl-ewwel post fil-klassifika WebDev ta' Code Arena b'1,818- il punt. Dan jinsab madwar sitta u għoxrin punt 'il quddiem mill-mudell li jmiss, il-GPT-6 Astra Max, u jimmarka qabża kbira meta mqabbel mal-Opus 5 Max preċedenti, li kien qrib l-1,692. Dawk huma numri rrappurtati tal-bord, mhux xi ħaġa li erġajt għamilt b'mod indipendenti f'laboratorju ermetiku. Xorta waħda, żieda ta' madwar 126 punt 'il fuq fil-livell Max tal-istess familja hija t-tip ta' delta li ġġiegħel lin-nies jirrifreskaw iċ-ċarts Elo bħallikieku kienu punteġġi sportivi.

Artificial Analysis, separatament, tirrapporta Opus 5.5 bħala n-numru wieħed il-ġdid fuq l-Indiċi tal-Aġent tal-Kodifikazzjoni tagħha, b'żidiet fl-evalwazzjonijiet li jsegwu. Bl-isforz massimu ġewwa Claude Code, il-mudell kiseb 66 fuq dak l-indiċi - l-ogħla li jgħidu li kejlu s'issa. Hemm qabda inkorporata fin-nota: l-ispiża għal kull kompitu hija ogħla meta tagħmel sforz daqshekk qawwi. L-ogħla punteġġ u l-punteġġ irħis mhumiex l-istess ħaġa.

Poġġi dawk iż-żewġ sinjali flimkien u tikseb l-angolu tal-istorja li huwa l-aktar importanti: mhux "mudell imniedi," iżda "bordijiet tal-kodifikazzjoni maqlubin malajr." L-avviżi tat-tnedija huma għall-istampa. It-teħid ta' kontroll tal-leaderboards huma dak li l-utenti qawwija jagħmlu screenshots fiċ-chats tal-grupp waqt il-ħinijiet ta' barra mix-xogħol.

• Kodiċi Arena.ai Arena WebDev: Opus 5.5 (Max) irrappurtat bħala 1,818
• Gap vs ir-rivali msemmija li jmiss fil-kopertura: madwar +26 vs GPT-6 Astra Max
• Qabża kontra l-Opus 5 Max ta' qabel: minn ~1,692 għal 1,818
• Indċi tal-Aġent tal-Kodifikazzjoni tal-Analiżi Artifiċjali: #1 ġdid; 66 bl-isforz massimu fil-Kodiċi Claude
• L-istess nota tal-indiċi: spiża ogħla għal kull kompitu f'dak l-issettjar tal-isforz

Snapshot Irrapportat: Opus 5 Max vs Opus 5.5 Max fuq Code Arena

It-tabelli ta' tqabbil jgħinu meta l-feed ikun kollu burdata u screenshots. Hawn taħt hawn qafas sempliċi ta' snapshot irrappurtat, mhux bake-off indipendenti. Iċ-ċelloli huma xi ftit irregolari għax il-bordijiet pubbliċi dejjem ikunu hekk - u għax l-isem "Max" diġà huwa biżżejjed biex iġġiegħlek tisraq.

Għal xi qarrejja t-tabella diġà tħossha biżżejjed biex tinkuruna rebbieħ. Mhijiex. L-indiċijiet Elo u tal-aġenti huma termometri utli. Mhumiex ix-xogħol lura tal-produzzjoni tiegħek.

X'kejl tal-Code Arena taħt il-kappa

Jekk taqra biss il-klassifika, titlef il-forma tat-test. Code Arena, speċjalment it-togħma tal-WebDev li n-nies qed jikkwotaw, hija mibnija madwar preferenza komparattiva fuq il-kodifikazzjoni u l-kompiti tal-bini tal-interfaċċja. Il-bnedmin (u l-makkinarju tal-votazzjoni tal-arena) jagħżlu r-rebbieħa bejn l-outputs tal-mudelli. Dan jippremja kodiċi li jidher tajjeb, jaħdem nadif fid-demos, u jħossu illustrat taħt paragun kważi għama - struttura tal-frontend, interattività, koerenza viżwali, it-tip ta’ ħaġa li ġġiegħel preview tal-localhost tgħajjat ​​"ibgħatha."

Dak sport differenti minn eżami statiku tal-kodifikazzjoni b'għażla multipla. Huwa differenti wkoll minn evalwazzjoni ta' aġent b'orizzont twil fejn il-mudell irid iżomm sessjoni shell ħajja għal għexieren ta' sejħiet ta' għodda mingħajr ma jpoġġi lilu nnifsu f'kantuniera. Mudell jista' jegħleb sfida pjuttost tal-UI u xorta jitfixkel f'migrazzjoni monorepo gnarly li teħtieġ tliet libreriji mwaħħlin u suite ta' testijiet instabbli nnegozjata bħal sitwazzjoni ta' ostaġġ.

Għalhekk, meta Opus 5.5 jinsab fil-pożizzjoni ta' 1,818 fuq WebDev, aqrah bħala s-saħħa tal-preferenza fuq it-tipi ta' bini li jaraw il-votanti tal-Arena. L-apps, il-logħob, l-istoryboards, u l-UIs viżwali ta' localhost veloċi jaqblu ma' dik il-linja kważi wisq tajjeb - li jaqbel mad-demos matul il-lejl li qed jgħarrqu l-iskedi ta' żmien. Il-Preferenza Elo mhijiex gidba. Hija tip speċifiku ta' verità. Ittrattaha bħal menus ta' degustazzjoni, mhux panel nutrizzjonali sħiħ.

Kurjużità oħra: Tikkettar tal-livell massimu. Is-settings ta' sforz ogħla / kapaċità ogħla spiss ifissru aktar tokens, aktar komputazzjoni, u aktar paċenzja. Il-bordijiet li juru varjanti Max qed juru l-limitu, mhux is-sejħa API ta' kuljum li tagħmel waqt li tkun qed tara stand-up. Il-limitu huwa importanti. L-ispiża tas-sewwieq ta' kuljum hija importanti wkoll. Żomm iż-żewġ ħsibijiet.

L-Indiċi tal-Aġent tal-Kodifikazzjoni u l-Kompromess bejn l-Ispiża u l-Qċaċet

L-Indiċi tal-Aġent tal-Kodifikazzjoni tal-Analiżi Artifiċjali huwa l-pilastru l-ieħor ta’ din l-istorja ta’ żieda qawwija. Ir-rapport tagħhom ipoġġi l-Opus 5.5 fil-quċċata, b’titjib fl-evalwazzjonijiet li jsegwu, u dak is-66 li jispikka bl-isforz massimu fil-Kodiċi Claude. L-ogħla li kejlu hija sentenza qawwija. Tiġi wkoll man-nota ta’ qiegħ il-paġna għall-adulti: l-ispiża għal kull kompitu titla’ meta tagħfas l-aċċeleratur.

Dan huwa l-qalba tal-argument tal-aħjar mudell għal timijiet b'baġits. Mudell li jirbaħ bl-isforz massimu xorta jista' jitlef il-ġimgħa jekk kull kompitu jaħraq fortuna żgħira f'tokens. Taħditiet li jiċċirkolaw diġà jinnotaw li xi utenti jaraw it-tokens jinħarqu f'sessjonijiet twal. Dan ma jikkanċellax il-punteġġ. Jirriformula d-deċiżjoni tal-prodott: irriżerva l-isforz massimu għat-tickets ikrah, u żomm profil irħas għall-kodiċi kolla, refactorings, u xogħol ta' "agħmel din il-buttuna inqas kerha".

Aħseb dwarha bħallikieku qed timpjega kuntrattur preċiż ħafna li jiċċarġja bis-siegħa u jitkellem malajr. Tridhom fuq il-problema diffiċli. Ma tridhomx jiktbu mill-ġdid kull README. L-ogħla punteġġ tal-aġent huwa dikjarazzjoni ta' kapaċità. L-ispiża għal kull kompitu hija dikjarazzjoni ta' operazzjonijiet. L-aħjar kodifikazzjoni tal-AI għal hacking indipendenti waħdu fl-1 ta' filgħodu mhix awtomatikament l-aħjar kodifikazzjoni tal-AI għal kumpanija li tosserva l-ekonomija tal-unità. Iż-żewġ gruppi qed jgħajtu dwar l-istess screenshot tal-klassifika.

• Uża l-isforz massimu meta l-kompitu jkun diffiċli, b'ħafna fajls, u l-falliment jiswa ħafna flus
• Naqqas il-volum meta l-kompitu jkun ta’ rutina u jkollok bżonnu
• Segwi l-ispiża tiegħek stess għal kull PR magħqud, mhux biss l-Elo pubbliku
• Stenna li l-indiċijiet tal-aġenti u l-Elo tal-arena xi kultant ma jaqblux - sports differenti

Reazzjoni tal-Iżviluppatur Matul il-Lejl: Applikazzjonijiet, Logħob, u Enerġija "Do Not Nerf"

In-numri jispjegaw l-aħbarijiet ewlenin. Id-demos jispjegaw il-burdata. L-iżviluppaturi qed jippubblikaw apps veloċi ta' localhost, logħob żgħir, storyboards, u builds tal-UI/viżwali li jidhru li kienu jieħdu tmiem il-ġimgħa fit-trimestru li għadda. Parti minn dan hija preġudizzju fl-għażla - in-nies jaqsmu r-rebbieħa, mhux it-tliet ġenerazzjonijiet falluti li ġew l-ewwel. Xorta waħda, il-volum ta' postijiet ta' "stenna, dik mexiet bla xkiel" huwa parti mir-raġuni għaliex dan iħoss bħal żieda qawwija aktar milli nota kwieta dwar il-garża.

Iċ-ċiklu taċ-ċajt diġà matur: jekk jogħġbok tagħmlux nerf fuq l-Opus 5.5. Dik iċ-ċajta tidher biss meta mudell iħossu kważi tajjeb wisq fis-selvaġġ, jew meta rilaxxi tal-passat għallmu lin-nies li s-sigurtà u l-aġġornamenti tal-prodott xi kultant itaffi l-aspett. Jekk hux se jkun hemm xi nerf jew le mhuwiex il-punt. Il-meme huwa kontroll tat-temperatura fuq is-sentiment. Bħalissa dak il-gauge qed jiddi.

Il-pjattaformi wkoll qed jiċċaqalqu. Questflow, pereżempju, kien fid-diskussjoni fejn ħabbar aġġornamenti minn Opus 5 għal 5.5. Meta l-bejjiegħa tal-għodda jibgħatu ż-żieda malajr, huwa sinjal li d-domanda hija tanġibbli u li l-livell preċedenti diġà huwa kkunsidrat bħala dak awtomatiku tal-ġimgħa li għaddiet. Il-veloċità tal-integrazzjoni hija t-tip ta’ reviżjoni tagħha stess: it-timijiet tal-prodott ma jiktbux mill-ġdid dawk li jagħżlu l-mudelli għall-isport.

Il-bini aneddotali huwa r-reazzjoni tal-iżviluppatur, mhux verifiki kkontrollati. Żomm dik id-distinzjoni mmarkata fuq ġbinek. Demo sabiħa ta' storyboard ma tipprovax l-affidabbiltà tal-intrapriża. Tipprova li l-flussi tax-xogħol tal-kodifikazzjoni kreattiva qed jiksbu żieda qawwija - u ż-żieda qawwija tbiddel dak li n-nies jippruvaw wara.

Għaliex in-Numru Wieħed Ma Jfisserx Awtomatikament "L-Aqwa Kodifikazzjoni tal-AI" għax-Xogħol ta' Kuljum

Tweġiba qasira: għal xi xogħol, għal xi ġimgħat. Tweġiba itwal: l-aqwa hija kelma fil-portafoll li tippretendi li hija trofew.

Jekk il-ġurnata tiegħek hija bbażata fuq il-WebDev - landing pages, prototipi interattivi, lustrar viżwali, logħob veloċi, flussi simili għal storyboard - kuntatt ewlieni ma' Code Arena WebDev huwa rilevanti ħafna. Ir-rebbieħa tal-preferenza għandhom it-tendenza li jidhru tajbin fil-browser, u li jidhru tajbin fil-browser huwa nofs ix-xogħol f'dak ir-rigward. Jekk il-ġurnata tiegħek hija kodifikazzjoni aġentika fuq bażi ta' kodiċi mħabbla b'għodod, shells, u sessjonijiet twal, il-quċċata tal-Indiċi tal-Aġent tal-Kodifikazzjoni hija s-sinjal aktar interessanti - bil-problema tal-ispiża għadha marbuta.

Jekk il-ġurnata tiegħek hija l-aktar kompiti diffiċli fid-dinja - algoritmi ġodda, sistemi kritiċi għas-sigurtà, stacks legati b'għoqod b'għarfien tribali - noti tal-utenti li jiċċirkolaw diġà jgħidu li Opus 5.5 xorta jista' jittardja fuq l-aktar problemi diffiċli u jista' jaħraq tokens meta s-sessjonijiet idumu. Dik mhix xi ħaġa sfaċċata. Huwa l-mudell familjari tal-fruntiera: il-każ medju jaqbeż, il-każ patoloġiku jibqa' patoloġiku. Dik tista' tkun l-inqas sentenza glamoruża f'dan l-artiklu kollu, u forsi l-aktar waħda prattika.

Ikkunsidra wkoll il-kompetituri li joħorġu fl-istess ġimgħa. Chatter semma r-rilaxxi tal-OpenAI GPT-6 tal-klassi Sol/Luna fl-istess ġirja. Meta diversi laboratorji joħorġu fi ftit jiem minn xulxin, il-klassifikaturi jsiru bieb li jdur. L-ewwel numru tal-lum jista' jkun "għadu eċċellenti, imma ħares lejn din it-tabella l-oħra" ta' għada. L-aħjar huwa temporanju. Il-limiti tal-kapaċità għandhom it-tendenza li jiżdiedu b'mod aktar permanenti. Imħatri fuq ir-ratchet, mhux fuq l-iskrinshot.

Talbiet dwar Prodotti li Jiċċirkolaw (Immaniġġja b'Attenzjoni)

Lil hinn mill-bordijiet, sett ta’ stqarrijiet dwar il-prodott qed jiċċirkola fil-kanali tas-soltu. Attribwixxi dawn bħala stqarrijiet li qed jiċċirkolaw, mhux riżultati tal-laboratorju verifikati minn dan l-artiklu:

• Prestazzjoni kważi daqs dik tal-klassi "Fable 5.1" f'ħafna kompiti bi prezz ta' tħaddim madwar 40% inqas (talba fiċ-ċirkolazzjoni)
• Kodifikazzjoni aġentika u mġiba fl-użu tal-kompjuter aktar b'saħħithom milli fil-livelli Opus preċedenti (allinjament tat-talba + sentiment mal-moviment tal-indiċi tal-aġent)
• Xi utenti jgħidu li għadu lura fl-aktar kompiti diffiċli
• Sessjonijiet twal jistgħu jaħarqu t-tokens aktar milli jistennew in-nies

L-istqarrija dwar l-ispiża tal-klassi Fable hija speċjalment pikkanti għax tipprova tbigħ kemm il-kwalità kif ukoll l-iffrankar fl-istess ħin. Jekk tibqa' tajba għall-ammont ta' xogħol tiegħek, dik hija kwistjoni kbira għal kull min qabel ħass li l-kwalità tal-livell Opus kienet tipprezzar bħal ikla lussuża kull filgħaxija. Jekk ma tibqax tajba għall-prompts tiegħek, se tħossha fil-fattura qabel ma tħossha fl-Elo. Ammont ta' xogħol personali > prossimità tal-marketing. Dejjem.

Użu aktar b'saħħtu tal-kompjuter u kodifikazzjoni aġentika hija l-istqarrija li taqbel l-aktar sew mal-istorja tal-Analiżi Artifiċjali. Aġenti li jistgħu jmexxu l-għodod, jikklikkjaw madwar, u jżommu l-istat koerenti huma l-forma tal-prodott li jridu ħafna bennejja. Il-preferenza Elo fuq WebDev u l-qċaċet tal-indiċi tal-aġenti jistgħu jirrimaw mingħajr ma jkunu tewmin identiċi. Meta jirrimaw, in-nies isiru storbjużi. Meta jiddiverġu aktar tard, in-nies isiru ċiniċi. Għix fin-nofs.

Taħlita fl-Istess Ġimgħa: Għaliex iż-Żmien Jamplifika Kollox

Opus 5.5 ma wasalx f'deżert kwiet tal-aħbarijiet. Tnieda dan l-aħħar fl-istess ġimgħa bħar-rilaxxi ta' mudelli kompetittivi li t-taħdit jibqa' jgħaqqad flimkien - inkluż OpenAI GPT-6 Sol/Luna li jsemmi. Dik l-iffullar hija importanti. Ġimgħat iffullati joħolqu screenshots komparattivi. Screenshots komparattivi joħolqu kampijiet tribali. Il-kampijiet tribali joħolqu l-illużjoni li mappa waħda tistabbilixxi ċ-ċivilizzazzjoni.

Joħloq ukoll stress test sinifikanti. Meta diversi mudelli b'saħħithom jolqtuhom f'daqqa, l-iżviluppaturi jagħmlu A/B fuq l-istess apps tal-ġugarelli fi ftit sigħat. L-isplużjoni tal-localhost matul il-lejl hija parzjalment dak it-test tal-istress li qed inixxi fuq il-midja soċjali. Qed tara bake-off distribwit b'metodoloġija terribbli u valur ta' divertiment eċċellenti. Mhijiex xjenza. Xorta tista' ġġorr sinjal, jekk tgħaqqad għajnejk u tinjora l-preġudizzju tal-għażla.

Għal Anthropic, li l-postijiet #1 fuq Code Arena u l-Coding Agent Index matul dik it-taħwid huwa żmien eċċellenti - jew kwalità ta' mudell eċċellenti li tidher li hija żmien. Jew il-mod, in-narrattiva baqgħet: żieda qawwija fil-kodifikazzjoni, mhux biss post ta' tnedija.

X'Għandhom Jagħmlu l-Bennejja B'Dan

Ktieb tal-logħob prattiku, mingħajr mistiċiżmu:

• Mexxi l-bak-off tiegħek ta' tliet kompiti: bini wieħed tal-UI, refactoring wieħed b'ħafna fajls, sessjoni twila tal-aġent
• Tokens tal-log u arloġġ tal-ħajt, mhux biss "ħadmu"
• Ittratta Arena.ai u Artificial Analysis bħala termometri pubbliċi primarji għall-istorja tal-klassifika
• Żomm mudell awtomatiku irħas għal xogħolijiet ta' volum għoli
• Jekk tuża pjattaformi bħal Questflow li diġà qalbu għal verżjoni 5.5, ara kif jinbidlu l-flussi tax-xogħol eżistenti tiegħek qabel ma terġa' tikteb kollox
• Injora l-"aħjar għal dejjem" teħid; erġa' żurhom wara ftit ċikli ta' rilaxx

Jekk il-kompitu tal-UI joħroġ u s-sessjoni twila tal-aġent issir għalja, ikollok it-tweġiba tiegħek f'wara nofsinhar. Jekk kemm il-pop kif ukoll l-ispiża huma tajbin għall-iskala tiegħek, prosit - jista' jkollok default ġdid. Jekk il-kompitu l-aktar diffiċli xorta jfalli, tkun tgħallimt xi ħaġa li l-leaderboards qatt ma kienu se jgħidulek. Dik hija l-logħba kollha. Ftit niexfa. Estremament prattika.

Metafora waħda imperfetta, għax dawn l-artikoli huma meħtieġa mil-liġi kożmika li jkollhom waħda: li tittratta kuntatt wieħed ta' Elo bħala "l-aqwa AI tal-kodifikazzjoni" huwa bħallikieku qed tikkuruna l-aqwa chef fid-dinja għax rebaħ kompetizzjoni tad-deżerti. Id-deżerti huma importanti. Hekk ukoll it-tisjir ta' pranzu għal tnax-il qarib imqarras b'forn imkisser. Ir-repo tiegħek huwa l-qraba.

Kif Dan Joqgħod fit-Tellieqa tal-Armi tal-Kodifikazzjoni-AI b'Mod Aktar Wiesa'

Ikklikkja 'l barra u l-mudell huwa familjari. Il-laboratorji jibagħtu l-oġġetti. Il-bordijiet jitħawdu. L-iżviluppaturi jdawru s-saqaf il-ġdid. Il-bejjiegħa tal-għodda jaġġornaw id-defaults. Xi ħadd jippubblika mini-logħba tal-għaġeb. Xi ħadd ieħor jippubblika falliment fuq bug ikrah. Il-kapaċità medjana titla' 'l fuq anke meta l-kuruna tinbidel.

Dak li jħoss aktar frisk hawnhekk huwa s-sinjal ta' bord doppju flimkien man-nota ta' taħt tal-ispiża li tivvjaġġa mal-glorja. Għaddejna l-era fejn benchmark wieħed taċ-chat seta' jġorr narrattiva sħiħa. Ix-xogħol tal-kodifikazzjoni huwa multimodali fil-prattika: ikteb, editja, fittex, ikklikkja, mexxi, erġa' pprova. L-indiċi li huma bbażati fuq l-aġent u l-areni li huma bbażati fuq il-preferenza tal-WebDev qed jaqbdu biċċiet differenti ta' dan. Meta mudell wieħed imexxi ż-żewġ biċċiet f'daqqa, id-diskussjoni fuq iż-żieda fil-volum tikteb ruħha.

Ħadd minn dawk li jikteb b'għajnejn ċari ma jaf jekk Opus 5.5 hux se jibqa' fil-quċċata. Il-livelli rivali Max diġà jinsabu f'distanza kbira fuq il-bord tal-WebDev jekk il-qafas tad-distakk ta' madwar 26 punt iżomm. Distakk daqshekk żgħir jista' jinqaleb. Kapaċità li tħossha "aħjar mil-lum għal għada" fid-demos xorta tista' tkun in-normalità l-ġdida ftit ġimgħat wara meta kulħadd jadatta. Il-mistoqsija interessanti u dejjiema mhix il-kuruna. Hija jekk il-kwalità tal-kodifikazzjoni aġentika għal kull dollaru tibqax tiżdied għall-bennejja ordinarji. Fuq dik il-mistoqsija, l-ogħla livell imkejjel ġdid ta' 66 b'twissija espliċita dwar l-ispiża huwa rappurtar ċar u simili għall-kummerċjalizzazzjoni. Kreditu fejn dovut.

Linja ta' Qligħ

Il-livell Max ta' Claude Opus 5.5 huwa rrappurtat #1 fil-korsija Code Arena WebDev ta' Arena.ai b'1,818-il punt, madwar sitta u għoxrin 'il quddiem mir-rivali msemmi li jmiss fil-kopertura u ferm 'il fuq mill-Opus 5 Max preċedenti qrib l-1,692. Artificial Analysis tirrapporta li huwa #1 il-ġdid fuq il-Coding Agent Index, b'66 fl-isforz massimu f'Claude Code - l-ogħla tagħhom s'issa - flimkien ma' nota li l-ispiża għal kull kompitu tiżdied ma' dak l-isforz. ​​Ir-reazzjoni tal-iżviluppaturi hija qawwija: apps localhost veloċi, logħob, storyboards, bini tal-UI, ċajt "do not nerf", u aġġornamenti tal-pjattaforma bħal Questflow li jiċċaqlaq minn Opus 5 għal 5.5. Allegazzjonijiet li qed jiċċirkolaw iżidu storja ta' klassi Fable bi prezz aktar baxx, sentiment aktar b'saħħtu ta' użu aġentiku/tal-kompjuter, u twissijiet familjari dwar kompiti diffiċli u ħruq ta' tokens.

Għal kompiti ta' preferenza ffurmati minn WebDev u kodifikazzjoni ta' aġenti li teħtieġ sforz kbir, il-bordijiet pubbliċi jgħidu li Opus 5.5 qed imexxi bħalissa. Għar-repo speċifiku tiegħek, il-baġit, u t-tickets tal-ħmar il-lejl, xorta trid tħaddem il-bake-off. Il-kuruni jduru. L-għodod jikkombinaw. Uża ż-żieda, tqimhiex. U forsi żomm mudell ieħor sħun meta l-fattura tibda tidher qisha plot twist.

Eżempju prattiku: Tmexxija ta' bake-off ta' Opus 5.5 bi tliet kompiti qabel ma tbiddel id-default tiegħek

Screenshots tal-klassifika dwar Claude Opus 5.5 Għadu Kif Ikklassifika #1 fuq Code Arena - Issa Fost l-Aqwa Kontendenti tal-Kodifikazzjoni tal-AI hemm termometri, mhux ix-xogħol li għandek wara. Ara kif żviluppatur full-stack freelance tar-Renju Unit biddel iż-żieda fil-produzzjoni tal-Elo matul il-lejl f'battibekki ta' wara nofsinhar - bini wieħed tal-UI, refactoring wieħed ta' diversi fajls, sessjoni twila ta' aġent - qabel ma biddel kwalunkwe selettur tal-mudell awtomatiku.

Xenarju

Riley jibgħat landing pages tal-klijenti u monorepo mifrux ta' React/Node għal proġett sekondarju SaaS. Wara li Arena.ai Code, Arena WebDev ippubblika u Artificial Analysis's Coding Agent Index chatter inkurunat Opus 5.5 (Max), Slack imtela bl-enerġija ta' "uża Max għal kollox". Il-fatturi ta' Riley diġà qed iweġġgħu f'sessjonijiet twal, u l-iskambju ta' "l-aħjar għal dejjem" tal-aħħar kwart wassalhom biex jerġgħu jiktbu l-prompts darbtejn f'xahar.

Huma jżommu l-bordijiet pubbliċi bħala kuntest - irrappurtati 1,818 fuq WebDev, quċċata tal-indiċi tal-aġent b'nota ta' taħt dwar l-ispiża - u jirrifjutaw li jittrattaw lil Elo bħala verdett ta' produzzjoni. Il-pjan: tliet kompiti fissi fuq Opus 5.5 f'setting ta' sforz normali u, biss jekk meħtieġ, pass wieħed ta' sforz massimu/massimu fuq it-tikketta li twaħħal. Tokens tal-log, arloġġ tal-ħajt, u jekk il-bidla waqgħetx fil-main. Mudell irħas jibqa' sħun għax-xogħol tal-kolla.

L-għan huwa definizzjoni personali ta' "l-aħjar": kwalità għal kull bidla magħquda, mhux screenshot ta' chat fi grupp.

Dak li jeħtieġ l-assistent

• Tliet briefs iffriżati: (1) UI WebDev interattiva żgħira, (2) refactoring b'ħafna fajls b'testijiet, (3) sessjoni twila stil aġent b'għodod/passi shell
• Folja tal-punteġġ: Kompitu / Issettjar tal-isforz / Tokens / Arloġġ tal-ħajt / Ran clean? / Magħqud? / Noti
• Noti bażi mill-mudell awtomatiku preċedenti fuq l-istess tliet dokumenti (anke mhux preċiżi)
• Regola tal-baġit: sforz massimu biss meta l-falliment ikun jiswa ħafna flus; default irħas għal xogħolijiet ta' volum għoli
• Links jew screenshots ta' bordijiet pubbliċi ttikkettjati "termometru biss," mhux kriterji ta' aċċettazzjoni
• Sid uman li jiddeċiedi d-default wara l-bake-off - mhux wara l-ewwel demo sabiħa ta' localhost

Eżempju ta' istruzzjoni

Qed tgħinni nagħmel kompetizzjoni ġusta bi tliet kompiti għal Claude Opus 5.5 qabel ma nibdel id-default tal-kodifikazzjoni tiegħi. Uża biss id-deskrizzjonijiet tal-kompiti u n-numri tal-użu li nwaħħal. Tivvintax Arena Elo, punteġġi tal-indiċi tal-aġenti, jew perċentwali tal-ispejjeż.

Kompitu: Nibni l-iskeda tal-punteġġ tiegħi mimlija b'placeholders għat-tliet briefs. Imbagħad ikteb regola ta' deċiżjoni b'sitt punti: meta nżomm l-Opus 5.5 bħala default, meta nirriżerva l-isforz Max/max għal sticky tickets biss, u meta nżomm mudell irħas għal xogħol ta' volum. Jekk numru pubbliku tal-leaderboard jidher fil-pejst tiegħi, ittikkettah TERMOMETRU.

Restrizzjonijiet: Ingliż tar-Renju Unit. Ipprojbixxi l-lingwaġġ "l-aqwa kodifikazzjoni tal-AI għal dejjem". Ippreferi l-ispiża għal kull bidla magħquda fuq is-sentiment. Jekk metrika hija nieqsa, ikteb [NEED MEASUREMENT] minflok ma taħseb dwar stqarrijiet tal-klassi Fable jew ta' 40%.

Riżultat: l-intestatura tat-tabella flimkien ma' tliet ringieli vojta msemmija għall-kompiti tiegħi, imbagħad il-punti tad-deċiżjoni. Bla preambolu.

Kif tittestjah

• Mexxi l-UI brief u r-refactoring bl-istess setting ta' sforz li tuża kuljum. Ikkonferma li rreġistrajt it-tokens u l-arloġġ tal-ħajt, mhux biss "deher tajjeb"
• Staqsi: “Code Arena #1 waħdu jiġġustifika t-tibdil fil-produzzjoni?” Tweġiba tajba: le - ir-riżultati tal-bake-off biss jagħmlu dan.
• Każ estrem: L-UI titfaċċa, sessjoni twila tal-aġent taħraq it-tokens u xorta teħtieġ bniedem - ikkonferma li Max huwa riżervat, mhux magħmul awtomatikament għax-xogħol ta' kolla.
• Każ limite: l-iktar biljett patoloġiku diffiċli xorta jfalli - ikkonferma li żżomm it-tieni mudell sħun u ma terġax tikteb l-istack kollu.
• Verifiki ta' aċċettazzjoni: (1) l-ebda punteġġ imkejjel ta' 1,818 jew 66 ivvintat, (2) tliet kompiti kompluti jew fallew espliċitament b'noti, (3) l-ispiża rreġistrata, (4) default irħas xorta msemmi għall-volum, (5) data ta' żjara mill-ġdid stabbilita għal ftit ċikli ta' rilaxx aktar tard.

Riżultat

Riżultat illustrattiv (eżempju ta' stima għal żviluppatur freelance wieħed fuq tliet briefs iffriżati f'wara nofsinhar wieħed, mhux eżekuzzjoni mill-ġdid indipendenti ta' Arena.ai jew Artificial Analysis): Fuq il-brief tal-UI stil WebDev, Opus 5.5 b'isforz normali pproduċa preview nadifa tal-localhost f'pass wieħed (1 minn 1 magħquda wara lustrar ħafif; madwar 12-il minuta ħajt-arloġġ). Fuq ir-rifatturar multi-fajl, 1 minn 1 suites ta' testijiet saru ħodor wara tentattiv wieħed iggwidat; it-tokens kienu madwar 30% ogħla mid-default preċedenti fuq l-istess brief (esportazzjoni tal-użu rrappurtat mill-individwu stess). Fis-sessjoni twila tal-aġent, it-ticket li jwaħħal tlesta bl-għajnuna tal-bniedem wara żieda qawwija fit-tokens - b'saħħtu b'isforz ogħla, wisq għani bħala default ta' kuljum. Deċiżjoni wara l-bake-off: Opus 5.5 sar id-default għar-rifatturars tal-UI u ta' daqs medju; sforz massimu riservat għal biljetti diżgustanti; mudell irħas miżmum għal xogħol README/kolla. Fuq lista ta' kontroll tal-iġjene (tikketti tat-termometru miżmuma, tokens illoggjati, it-tieni mudell sħun, l-ebda skambju ta' "l-aħjar għal dejjem"), 4 minn 4 elementi għaddew. Limitazzjonijiet: n=3 kompiti, żviluppatur wieħed, preġudizzju fl-għażla lejn rebħiet tal-UI li jistgħu jinqasmu; id-distakk pubbliku tal-Elo jista' jinqaleb il-ġimgħa d-dieħla.

Biex tkejjel il-verżjoni tiegħek stess: iffriża l-istess tliet briefs; agħti punteġġ lid-default attwali tiegħek l-ewwel; ħaddem Opus 5.5 b'briefs identiċi; qabbel is-suċċess, it-tokens, l-arloġġ tal-ħajt, u r-rata tal-għaqda; imbagħad issettja l-livelli tal-isforz bid-denominaturi murija.

X'jista' jmur ħażin

• Adorazzjoni tal-iskrinshot: Il-bidla fid-defaults fuq il-klassifika ta' Code Arena waħedha.
• Max-for-everything: Qed jinħaraq il-baġit tat-tokens fuq il-kodiċi tal-kolla għax il-punteġġ massimu deher sabiħ.
• Demo bias: It-trasport tal-burdata minn rebħa ta' storyboard waqt li t-ticket tal-monorepo xorta jfalli.
• Għama tal-ispejjeż: L-injorar tan-noti ta' taħt tal-ispiża għal kull kompitu dwar il-qċaċet tal-indiċi tal-aġent.
• Lock-in ta' mudell wieħed: Titfa' backup sħun meta l-livelli Max rivali jkunu f'distanza qasira.
• Dejjem taħseb: Taqbeż żjara mill-ġdid wara l-ġimgħa iffollata tat-tnedija li jmiss.

Konklużjoni prattika

Opus 5.5 li qed imexxi l-Code Arena WebDev u l-Indiċi tal-Aġent tal-Kodifikazzjoni huwa sinjal ġenwin ta' żieda qawwija - u xorta biss termometru. Mexxi build wieħed tal-UI, refactoring wieħed b'ħafna fajls, u sessjoni twila tal-aġent; irreġistra t-tokens u l-għaqdiet; irriżerva l-isforz massimu għal xogħol li ma jibqax jaħdem sew; żomm default irħas għall-volum. Il-kuruni jduru. L-ispiża tiegħek għal kull bidla magħquda hija t-trofew li jimporta.

Mistoqsijiet Frekwenti

Xi jfisser li Claude Opus 5.5 għadu kif ikklassifika #1 fuq Code Arena?

Arena.ai poġġiet lil Claude Opus 5.5 (Max) fil-quċċata tal-korsija WebDev ta' Code Arena b'1,818 punt - madwar sitta u għoxrin qabel il-GPT-6 Astra Max fil-kopertura, u qabża konsiderevoli mill-Opus 5 Max preċedenti qrib l-1,692. Artificial Analysis, fuq binarju separat, telenka wkoll lil Opus 5.5 bħala n-numru wieħed il-ġdid fuq l-Indiċi tal-Aġenti tal-Kodifikazzjoni tagħha, inkluż 66 fl-isforz massimu f'Claude Code. Dawk huma ċifri rrappurtati tal-bord, mhux awditjar ta' laboratorju indipendenti. L-istorja hija li l-bordijiet tal-kodifikazzjoni jinqalbu b'ħeffa, mhux biss post ta' tnedija.

Kemm hi kbira l-qabża minn Opus 5 Max għal Opus 5.5 Max fuq Code Arena?

Fl-istampa rrappurtata tal-WebDev, Claude Opus 5 Max ta' qabel kien qrib l-1,692, filwaqt li Opus 5.5 (Max) irreġistra 1,818 bħala l-aqwa dħul ċar. Dan huwa bejn wieħed u ieħor pass 'il fuq ta' 126 punt fuq il-livell Max tal-istess familja - it-tip ta' delta li ġġiegħel lin-nies jaġġornaw iċ-ċarts Elo bħallikieku kienu punteġġi sportivi. GPT-6 Astra Max huwa fformulat bħala t-tieni qrib b'distakk ta' madwar ~26 punt. Aqra t-tabella bħala termometru tas-saħħa tal-preferenza, mhux verdett dwar l-arretrati tal-produzzjoni tiegħek.

X'tkejjel fil-prattika l-WebDev lane ta' Code Arena?

Code Arena WebDev hija mibnija madwar preferenza komparattiva fuq il-kodifikazzjoni u l-kompiti tal-bini tal-interfaċċja: il-votanti jagħżlu r-rebbieħa bejn l-outputs tal-mudell. Dan jippremja kodiċi li jidher tajjeb, jaħdem b'mod nadif fid-demos, u jħossu illustrat - struttura tal-frontend, interattività, u koerenza viżwali. Huwa sport differenti minn eżami statiku b'għażla multipla jew evalwazzjoni ta' aġent b'orizzont twil li trid iżżomm qoxra ħajja għal għexieren ta' sejħiet għall-għodda. Ċomb ta' 1,818 WebDev huwa s-saħħa tal-preferenza fuq dawk il-bini, mhux panel nutrizzjonali sħiħ għal kull repo.

X'inhu l-punteġġ tal-Indiċi tal-Aġent tal-Kodifikazzjoni tal-Analiżi Artifiċjali għal Opus 5.5?

Artificial Analysis tirrapporta Opus 5.5 bħala n-numru wieħed il-ġdid fuq l-Indiċi tal-Aġent tal-Kodifikazzjoni tagħha, b'żidiet fl-evalwazzjonijiet li jsegwu. Bl-isforz massimu ġewwa Claude Code, il-mudell kiseb 66 - l-ogħla li jgħidu li kejlu s'issa. In-nota ta' qiegħ il-paġna għall-adulti hija li l-ispiża għal kull kompitu titla' meta tagħfas l-aċċeleratur. L-ogħla punteġġ tal-aġent huwa dikjarazzjoni ta' kapaċità; l-ispiża għal kull kompitu hija dikjarazzjoni ta' operazzjonijiet, u mhumiex l-istess annimal.

Claude Opus 5.5 hija l-aqwa AI tal-kodifikazzjoni għax-xogħol ta' kuljum?

Jiddependi xi tfisser "l-aħjar" għalik: Elo f'arena pubblika, indiċi tal-aġent bl-isforz massimu, spiża għal kull kompitu lest, jew jekk ir-repo mħabbel tiegħek jikkompilax nhar ta' Ġimgħa filgħaxija. Jiem iffurmati minn WebDev - landing pages, prototipi, lustrar viżwali - jallinjaw sew ma' mexxej WebDev ta' Code Arena. Jiem aġentiċi fuq bażijiet ta' kodiċi mħabbla jagħmlu l-Indiċi tal-Aġent tal-Kodifikazzjoni aktar interessanti, bil-kaveat tal-ispiża għadu mehmuż. Noti li jiċċirkolaw jgħidu li xorta jista' jitkaxkar fuq l-aktar kompiti diffiċli u jaħraq tokens fuq sessjonijiet twal.

Kif għandhom it-timijiet jimmaniġġjaw il-kompromess bejn l-ispiża u l-ogħla domanda bl-Opus 5.5?

Irriżerva l-isforz massimu għal xogħol li ma jitwaħħalx u li jinvolvi ħafna fajls fejn il-falliment jiswa ħafna flus, u naqqas l-isforz għal kodiċi ta' rutina, refactoring, u rfinar li jeħtieġu volum. Segwi l-ispiża tiegħek għal kull PR magħqud, mhux biss l-Elo pubbliku. Mudell li jirbaħ bl-isforz massimu xorta jista' jitlef il-ġimgħa jekk kull kompitu jaħraq fortuna f'tokens. Hackers indipendenti waħedhom u kumpaniji li josservaw l-ekonomija tal-unità jistgħu jgħajtu dwar l-istess screenshot filwaqt li jkollhom bżonn defaults differenti.

Liema stqarrijiet dwar il-prodott li qed jiċċirkolaw dwar Claude Opus 5.5 Just Ranked #1 chatter?

Il-kopertura tiċċirkola stqarrijiet ta’ prestazzjoni bejn wieħed u ieħor simili għal dik tal-klassi “Fable 5.1” fuq ħafna kompiti bi prezz ta’ tħaddim madwar 40% aktar baxx, flimkien ma’ kodifikazzjoni aġentika u mġiba fl-użu tal-kompjuter aktar b’saħħithom milli fil-livelli preċedenti tal-Opus. Xi utenti jgħidu li għadha lura fuq l-aktar kompiti diffiċli, u sessjonijiet twal jistgħu jaħarqu t-tokens aktar milli n-nies jistennew. Ittratta dawk bħala stqarrijiet li jiċċirkolaw, mhux riżultati tal-laboratorju verifikati mill-artiklu. L-ammont ta’ xogħol personali jegħleb il-viċinanza tal-marketing meta tasal il-fattura.

Għaliex ir-reazzjoni tal-iżviluppaturi matul il-lejl ħasset daqshekk qawwija din il-ġimgħa?

L-iżviluppaturi qed jippubblikaw apps veloċi ta' localhost, logħob żgħir, storyboards, u bini ta' UI li jidhru qishom proġetti ta' tmiem il-ġimgħa mill-aħħar kwart - b'preġudizzju fl-għażla lejn ir-rebbieħa. Iċ-ċajt ta' "Jekk jogħġbok tagħmilx nerf" huma kontroll tat-temperatura tas-sentiment meta mudell iħoss kważi tajjeb wisq fis-selvaġġ. Pjattaformi bħal Questflow ilhom fil-chatter jaġġornaw minn Opus 5 għal 5.5, li jindika domanda tanġibbli. Demos aneddotali huma reazzjoni, mhux awditi kkontrollati - żomm dik id-distinzjoni ċara.

X'għandhom jagħmlu l-bennejja wara li jaraw il-bordijiet tal-kodifikazzjoni taċ-ċomb Opus 5.5?

Mexxi l-bak-off tiegħek bi tliet kompiti: bini wieħed tal-UI, refactoring wieħed b'ħafna fajls, u sessjoni twila ta' aġent. Irreġistra t-tokens u l-arloġġ tal-ħajt, mhux biss "ħadem." Ittratta Arena.ai u Artificial Analysis bħala termometri pubbliċi, żomm default irħas għal xogħol ta' volum għoli, u ara kif il-pjattaformi li diġà qegħdin fuq 5.5 ibiddlu l-flussi tax-xogħol eżistenti qabel ma terġa' tikteb kollox. Injora t-teħid ta' "l-aħjar għal dejjem" u erġa' żur wara ftit ċikli ta' rilaxx - il-kuruni jduru; il-livelli tal-kapaċità jiżdiedu.

Kif nista' nagħmel bake-off ġust ta' tliet kompiti qabel ma nibdel id-default tal-kodifikazzjoni tiegħi?

Iffriża tliet briefs - UI WebDev interattiva żgħira, refactoring b'ħafna fajls bit-testijiet, u sessjoni twila stil aġent - imbagħad agħti punteġġ lil Task, Sforz, Tokens, Wall-clock, Ran clean?, Merged?, u Noti. Qabbel mad-default preċedenti tiegħek fuq l-istess briefs; uża l-isforz massimu biss meta l-falliment ikun jiswa ħafna flus. Immarka n-numri tal-bord pubbliku bħala termometri, mhux kriterji ta' aċċettazzjoni. Iddeċiedi d-default wara l-bake-off, mhux wara l-ewwel demo sabiħa ta' localhost - u żomm mudell irħas sħun għal xogħol ta' volum.

Referenzi

1. Antropiku — anthropic.com
2. Pjattaforma Claude — platform.claude.com
3. Arena.ai — Kodiċi Arena — arena.ai
4. Analiżi Artifiċjali — Indiċi tal-Aġent tal-Kodifikazzjoni — artificialanalysis.ai