Kif jaħdem l-AI Upscaling? [Vidjo u Kwiżż]

Tweġiba qasira: L-upscaling tal-AI jaħdem billi jħarreġ mudell fuq immaġini mqabbla b'riżoluzzjoni baxxa u għolja, imbagħad jużah biex ibassar pixels żejda kredibbli waqt l-upscaling. Jekk il-mudell ikun ra nisġa jew uċuħ simili fit-taħriġ, jista' jżid dettall konvinċenti; jekk le, jista' "alluċina" artefatti bħal halos, ġilda tax-xama', jew teptip fil-vidjow. 

Punti ewlenin:

Tbassir: Il-mudell jiġġenera dettall plawżibbli, mhux rikostruzzjoni garantita tar-realtà.

L-għażla tal-mudell: Is-CNNs għandhom it-tendenza li jkunu aktar stabbli; Il-GANs jistgħu jidhru aktar preċiżi iżda jirriskjaw li jivvintaw karatteristiċi.

Verifiki tal-artefatti: Oqgħod attent għal halos, nisġa ripetuta, "kważi ittri", u uċuħ tal-plastik.

Stabbiltà tal-vidjo: Uża metodi temporali jew tara tleqqija u ċaqliq minn frejm għal frejm.

Użu b'riskju għoli: Jekk l-eżattezza hija importanti, żvela l-ipproċessar u ttratta r-riżultati bħala illustrattivi.

Probabbilment rajtha: immaġni ċkejkna u iqarmeċ tinbidel f'xi ħaġa ċara biżżejjed biex tipprintjaha, tixxandarha, jew titpoġġa f'preżentazzjoni mingħajr ma titgħawweġ. Tħossha bħal qerq. U - fl-aħjar mod - f'ċertu sens hekk hi 😅

Mela, Kif jaħdem l-AI Upscaling jinżel għal xi ħaġa aktar speċifika minn "il-kompjuter itejjeb id-dettalji" (immewġin bl-id) u eqreb lejn "mudell ibassar struttura plawżibbli ta' riżoluzzjoni għolja bbażata fuq mudelli li tgħallem minn ħafna eżempji" (Deep Learning for Image Super-resolution: A Survey). Dak il-pass ta' tbassir huwa l-logħba kollha - u huwa għalhekk li l-AI upscaling jista' jidher tal-għaġeb... jew ftit tal-plastik... jew bħallikieku l-qattus tiegħek kiber mustaċċi żejda.

Artikoli li forsi tixtieq taqra wara dan:

🔗 Kif taħdem l-IA
Tgħallem il-bażiċi tal-mudelli, id-dejta, u l-inferenza fl-AI.

🔗 Kif titgħallem l-AI
Ara kif id-dejta tat-taħriġ u l-feedback itejbu l-prestazzjoni tal-mudell maż-żmien.

🔗 Kif l-AI tiskopri anomaliji
Ifhem il-linji bażi tal-mudelli u kif l-AI tindika mġiba mhux tas-soltu malajr.

🔗 Kif l-AI tbassar ix-xejriet
Esplora metodi ta' tbassir li jindunaw b'sinjali u jantiċipaw id-domanda futura.

Kif jaħdem l-AI Upscaling: l-idea ewlenija, fi kliem ta’ kuljum 🧩

Upscaling ifisser żieda fir-riżoluzzjoni: aktar pixels, immaġni akbar. L-upscaling tradizzjonali (bħal bicubic) bażikament iġġebbed il-pixels u jillixxa t-tranżizzjonijiet (interpolazzjoni bicubic). Huwa tajjeb, imma ma jistax jivvinta ġdid - sempliċement jinterpola.

L-upscaling tal-AI jipprova xi ħaġa aktar kuraġġuża (magħrufa wkoll bħala “super-riżoluzzjoni” fid-dinja tar-riċerka) (Tagħlim Profond għas-Super-riżoluzzjoni tal-Immaġni: Stħarriġ):

• Iħares lejn l-input b'riżoluzzjoni baxxa

• Jagħraf disinji (truf, tessuti, karatteristiċi tal-wiċċ, linji tat-test, nisġa tad-drapp...)

• Ibassar kif għandha tidher verżjoni b'riżoluzzjoni ogħla

• Jiġġenera dejta żejda tal-pixel li taqbel ma' dawk il-mudelli

Mhux “irrestawra r-realtà perfettament,” aktar bħal “agħmel suppożizzjoni kredibbli ħafna” (Image Super-Resolution Using Deep Convolutional Networks (SRCNN)). Jekk dan jinstema' xi ftit suspettuż, m'intix żbaljat - imma huwa wkoll għaliex jaħdem daqshekk tajjeb 😄

U iva, dan ifisser li l-upscaling tal-AI huwa bażikament alluċinazzjoni kkontrollata... iżda b'mod produttiv u li jirrispetta l-pixel.

X'jagħmel verżjoni tajba ta' upscaling tal-AI? ✅🛠️

Jekk qed tiġġudika upscaler tal-AI (jew preset ta' setting), hawn x'għandu t-tendenza li jkun l-aktar importanti:

• Irkupru tad-dettalji mingħajr tisjir żejjed
  Upscaling tajjeb iżid iqarmeċ u struttura, mhux storbju iqarmeċ jew pori foloz.

• Dixxiplina tat-truf
  Linji nodfa jibqgħu nodfa. Mudelli ħżiena jġiegħlu t-truf jitħawwdu jew jibnu halos.

• Realiżmu tat-tessut
  Ix-xagħar m'għandux isir bħal pinzell. Il-briks m'għandux isir timbru ta' disinn ripetut.

• Immaniġġjar tal-istorbju u l-kompressjoni
  Ħafna immaġni ta' kuljum jiġu kkupjati f'JPEG sal-mewt. Upscaler tajjeb ma jamplifikax dik il-ħsara (Real-ESRGAN).

• Għarfien tal-wiċċ u t-test
  L-uċuħ u t-test huma l-aktar postijiet faċli biex wieħed jinnota żbalji. Mudelli tajbin jittrattawhom bil-mod (jew għandhom modi speċjalizzati).

• Konsistenza bejn il-frejms (għall-vidjow)
  Jekk id-dettall jitteptep minn frejm għal frejm, għajnejk se jgħajtu. L-upscaling tal-vidjow jgħix jew imut skont l-istabbiltà temporali (BasicVSR (CVPR 2021)).

• Kontrolli li jagħmlu sens
  Trid sliders li jkunu jaqblu ma' riżultati reali: tneħħija tal-istorbju, tneħħija tat-ċċajpar, tneħħija tal-artefatti, żamma tal-qamħ, tisħiħ... l-affarijiet prattiċi.

Regola kwieta li tibqa' valida: l-"aqwa" upscaling ħafna drabi jkun dak li bilkemm tinnota. Jidher biss li kellek kamera aħjar biex tibda 📷✨

Tabella ta' Paragun: għażliet popolari ta' upscaling tal-AI (u għalxiex huma tajbin) 📊🙂

Hawn taħt hawn paragun prattiku. Il-prezzijiet huma intenzjonalment vagi għax l-għodod ivarjaw skont il-liċenzja, il-pakketti, l-ispejjeż tal-komputazzjoni, u affarijiet oħra divertenti.

Konfessjoni dwar il-formattjar stramb: “Paid-ish” qed jagħmel ħafna xogħol f’dik it-tabella. Imma qbadt l-idea 😅

Is-sigriet il-kbir: il-mudelli jitgħallmu mappaġġ minn riżoluzzjoni baxxa għal riżoluzzjoni għolja 🧠➡️🖼️

Fil-qalba tal-biċċa l-kbira tal-upscaling tal-AI hemm setup ta' tagħlim sorveljat (Image Super-Resolution Using Deep Convolutional Networks (SRCNN)):

1. Ibda b'immaġnijiet b'riżoluzzjoni għolja (il-"verità")

2. Inaqqas il-kampjuni tagħhom għal verżjonijiet b'riżoluzzjoni baxxa (l-"input")

3. Ħarreġ mudell biex jirrikonstrwixxi r-riżoluzzjoni għolja oriġinali mir-riżoluzzjoni baxxa

Maż-żmien, il-mudell jitgħallem korrelazzjonijiet bħal:

• "Dan it-tip ta' ċċajpar madwar għajn ġeneralment ikun dovut għax-xagħar tal-għajnejn"

• "Dan il-grupp ta' pixels spiss jindika test serif"

• "Dan il-gradjent tat-tarf jidher qisu linja ta' saqaf, mhux storbju każwali"

Mhuwiex memorizzazzjoni ta' immaġini speċifiċi (fis-sens sempliċi), huwa tagħlim ta' struttura statistika (Deep Learning for Image Super-resolution: A Survey). Aħseb dwarha bħallikieku qed titgħallem il-grammatika tan-nisġa u t-truf. Mhux grammatika tal-poeżija, aktar bħal... grammatika tal-manwal tal-IKEA 🪑📦 (metafora goffa, iżda qrib biżżejjed).

Il-ġewż u l-boltijiet: x'jiġri waqt l-inferenza (meta tagħmel upscale) ⚙️✨

Meta titma' immaġni f'upscaler tal-AI, tipikament ikun hemm pipeline bħal dan:

• Preproċessar

  • Ikkonverti l-ispazju tal-kulur (xi kultant)

  • Normalizza l-valuri tal-pixel

  • Aqsam l-immaġni f'biċċiet jekk tkun kbira (verifika tar-realtà tal-VRAM 😭) (Repożitorju Real-ESRGAN (għażliet ta' tajl))

• Estrazzjoni tal-karatteristiċi

  • Saffi bikrija jiskopru truf, kantunieri, gradjenti

  • Saffi aktar fondi jiskopru xejriet: nisġa, forom, komponenti tal-wiċċ

• Rikostruzzjoni

  • Il-mudell jiġġenera mappa tal-karatteristiċi b'riżoluzzjoni ogħla

  • Imbagħad jikkonverti dak f'output ta' pixel attwali

• Post-ipproċessar

  • Tisħin mhux obbligatorju

  • Tnaqqis tal-ħoss mhux obbligatorju

  • Soppressjoni fakultattiva tal-artefatti (tisfir, halos, imblukkar)

Dettall sottili wieħed: ħafna għodod itejbu l-madum, imbagħad iħalltu l-ħjatat. Għodod tajbin jaħbu l-konfini tal-madum. Għodod tajbin iħallu marki ħfief tal-grilja jekk tgħaqqad għajnejk. U iva, se tgħaqqad għajnejk, għax il-bnedmin iħobbu jispezzjonaw imperfezzjonijiet żgħar b'zoom ta' 300% bħal gremlins żgħar 🧌

Il-familji ewlenin tal-mudelli użati għall-upscaling tal-AI (u għaliex iħossuhom differenti) 🤖📚

1) Super-riżoluzzjoni bbażata fuq is-CNN (il-qofol tax-xogħol klassiku)

In-netwerks newrali konvoluzzjonali huma tajbin ħafna f'mudelli lokali: truf, nisġa, strutturi żgħar (Super-Riżoluzzjoni tal-Immaġni bl-Użu ta' Netwerks Konvoluzzjonali Profondi (SRCNN)).

• Vantaġġi: veloċi, stabbli, inqas sorpriżi

• Żvantaġġi: jista' jidher daqsxejn "ipproċessat" jekk jiġi mbuttat sew

2) Upscaling ibbażat fuq GAN (stil ESRGAN) 🎭

Il-GANs (Netwerks Avversarji Ġenerattivi) iħarrġu ġeneratur biex jipproduċi immaġni b'riżoluzzjoni għolja li diskriminatur ma jistax jiddistingwi minn dawk reali (Netwerks Avversarji Ġenerattivi).

• Vantaġġi: dettall qawwi, tessut impressjonanti

• Żvantaġġi: jista' jivvinta dettalji li ma kinux hemm - xi kultant żbaljati, xi kultant mhux tas-soltu (SRGAN, ESRGAN)

GAN jista’ jagħtik dik l-akutezza li tħallik bla nifs. Jista’ wkoll jagħti lis-suġġett tar-ritratt tiegħek għajn oħra. Allura… agħżel il-battalji tiegħek 😬

3) Upscaling ibbażat fuq id-diffużjoni (il-wildcard kreattiva) 🌫️➡️🖼️

Il-mudelli ta' diffużjoni jneħħu l-istorbju pass pass u jistgħu jiġu ggwidati biex jipproduċu dettall b'riżoluzzjoni għolja (SR3).

• Vantaġġi: jista' jkun tajjeb ħafna fid-dettall plawżibbli, speċjalment għal xogħol kreattiv

• Żvantaġġi: jista' jitbiegħed mill-identità/struttura oriġinali jekk is-settings ikunu aggressivi (SR3)

Hawnhekk fejn l-“upscaling” jibda jitħallat mar-“reimmaġinazzjoni.” Kultant dan huwa eżattament dak li trid. Kultant mhux.

4) Upscaling tal-vidjow b'konsistenza temporali 🎞️

L-upscaling tal-vidjow spiss iżid loġika konxja tal-moviment:

• Juża frejms ġirien biex jistabbilizza d-dettall (BasicVSR (CVPR 2021))

• Jipprova jevita t-teptep u l-artefatti tat-tkaxkir

• Spiss jikkombina super-riżoluzzjoni ma' denoise u deinterlacing (Topaz Video)

Jekk it-titjib tal-immaġni huwa bħar-restawr ta' pittura waħda, it-titjib tal-vidjo huwa bħar-restawr ta' flipbook mingħajr ma l-imnieħer tal-karattru jibdel il-forma f'kull paġna. Li huwa... iktar diffiċli milli jidher.

Għaliex l-upscaling tal-AI xi kultant jidher falz (u kif tagħrafh) 👀🚩

L-upscaling tal-AI ifalli b'modi rikonoxxibbli. Ladarba titgħallem il-mudelli, se tarahom kullimkien, bħal meta tixtri karozza ġdida u f'daqqa waħda tinnota dak il-mudell f'kull triq 😵💫

Komuni jgħid:

• Xama' l-ġilda fuq l-uċuħ (tnaqqis tal-ħoss żejjed + twittija)

• Halos imtejba żżejjed madwar it-truf (territorju klassiku ta' "overshoot") (Interpolazzjoni bikubika)

• Tessuti ripetuti (ħitan tal-briks isiru mudelli kkupjati u pejstjati)

• Mikro-kuntrast iqarmeċ li jgħajjat ​​"algoritmu"

• Tgħawwiġ ta' test fejn l-ittri jsiru kważi ittri (l-agħar tip)

• Dettalji mċaqalqa fejn karatteristiċi żgħar jinbidlu b'mod sottili, speċjalment fil-flussi tax-xogħol tad-diffużjoni (SR3)

Il-parti delikata: xi kultant dawn l-artefatti jidhru "aħjar" f'daqqa t'għajn. Moħħok iħobb in-nitidezza. Imma wara mument, iħossu... stramb.

Tattika deċenti hija li tagħmel zoom out u tiċċekkja jekk jidhirx naturali f'distanza normali tal-vista. Jekk jidher tajjeb biss b'zoom ta' 400%, dik mhix rebħa, dak passatemp 😅

Kif jaħdem l-AI Upscaling: in-naħa tat-taħriġ, mingħajr l-uġigħ ta' ras tal-matematika 📉🙂

It-taħriġ ta’ mudelli ta’ super-riżoluzzjoni ġeneralment jinvolvi:

• Settijiet ta' dejta mqabbla (input b'riżoluzzjoni baxxa, mira b'riżoluzzjoni għolja) (Super-Riżoluzzjoni tal-Immaġni bl-Użu ta' Netwerks Konvoluzzjonali Profondi (SRCNN))

• Funzjonijiet ta' telf li jikkastigaw rikostruzzjonijiet żbaljati (SRGAN)

Tipi tipiċi ta' telf:

• Telf ta' pixels (L1/L2)
  Jinkoraġġixxi l-preċiżjoni. Jista' jipproduċi riżultati kemxejn ħfief.

• Telf Perċettiv
  Iqabbel karatteristiċi aktar profondi (bħal "dan jidher simili") aktar milli pixels eżatti (Telf Perċettiv (Johnson et al., 2016)).

• Telf Avversarju (GAN)
  Jinkoraġġixxi r-realiżmu, xi kultant għad-detriment tal-eżattezza litterali (SRGAN, Netwerks Avversarji Ġenerattivi).

Hemm ġlieda kostanti:

• Agħmilha fidila għall-oriġinali
  vs

• Agħmilha viżwalment pjaċevoli

Għodod differenti jaqgħu f'postijiet differenti f'dak l-ispettru. U tista' tippreferi waħda skont jekk intix qed tirrestawra ritratti tal-familja jew qed tipprepara poster fejn id-"dehra sabiħa" hija aktar importanti mill-eżattezza forensika.

Flussi tax-xogħol prattiċi: ritratti, skens qodma, anime, u vidjows 📸🧾🎥

Ritratti (ritratti, pajsaġġi, ritratti tal-prodott)

L-aħjar prattika ġeneralment hija:

• Tneħħija ħafifa tal-ħoss l-ewwel (jekk meħtieġ)

• Upscale b'settings konservattivi

• Żid il-qamħ lura jekk l-affarijiet iħossuhom wisq lixxi (iva, tassew)

Il-qamħ huwa bħall-melħ. Wisq ħafna jħassarlek il-pranzu, imma xejn minnu ma jista’ jkollu togħma daqsxejn bla togħma 🍟

Skens qodma u immaġnijiet ikkompressati ħafna

Dawn huma aktar diffiċli għax il-mudell jista' jittratta l-blokki tal-kompressjoni bħala "tessut".
Ipprova:

• Tneħħija jew tneħħija tal-imblukkar tal-artefatti

• Imbagħad upscale

• Imbagħad tissikka ħafif (mhux wisq... naf, kulħadd jgħid hekk, imma xorta)

Anime u arti tal-linja

L-arti tal-linja tibbenefika minn:

• Mudelli li jippreservaw truf nodfa

• Alluċinazzjoni ta' tessut imnaqqas
  L-upscaling tal-Anime spiss jidher tajjeb għax il-forom huma aktar sempliċi u konsistenti. (Xorti tajba.)

Vidjo

Il-vidjo jżid passi żejda:

• Tneħħija tal-ħoss

• Deinterlace (għal ċerti sorsi)

• Skala għolja

• Twittija jew stabilizzazzjoni temporali (BasicVSR (CVPR 2021))

• Introduzzjoni mill-ġdid tal-qamħ fakultattiva għall-koeżjoni

Jekk taqbeż il-konsistenza temporali, ikollok dak it-teptep tad-dettall li jleqq. Ladarba tinnotah, ma tistax tinsaħu. Bħal siġġu jgerger f'kamra kwieta 😖

L-għażla tas-settings mingħajr ma tagħmel suppożizzjonijiet esaġerati (silta żgħira ta' informazzjoni) 🎛️😵💫

Hawn mentalità inizjali deċenti:

• Jekk l-uċuħ jidhru tal-plastik
  Naqqas it-tneħħija tal-istorbju, naqqas it-tismin, ipprova mudell jew modalità li tippreserva l-wiċċ.

• Jekk in-nisġa tidher intensa wisq,
  baxxi s-sliders tat-“titjib tad-dettall” jew “irkupra d-dettall”, u żid qamħ sottili wara.

• Jekk it-truf
  jiddu Naqqas is-sanzjoni, iċċekkja l-għażliet tas-soppressjoni tal-halo.

• Jekk l-immaġni tidher wisq “AI”
  Mur iktar konservattiv. Kultant l-aħjar mossa hija sempliċement… inqas.

Ukoll: tkabbarx l-iskala 8x sempliċement għax tista'. 2x jew 4x nadif ħafna drabi jkun l-aħjar għażla. Lil hinn minn dan, tkun qed titlob lill-mudell biex jikteb fanfiction dwar il-pixels tiegħek 📖😂

Etika, awtentiċità, u l-mistoqsija skomda tal-“verità” 🧭😬

L-upscaling tal-AI jċajpar linja:

• Ir-restawr jimplika l-irkupru ta’ dak li kien hemm

• It-titjib jimplika ż-żieda ta’ dak li ma kienx

Bir-ritratti personali, ġeneralment ikun tajjeb (u sabiħ). Bil-ġurnaliżmu, l-evidenza legali, l-immaġini mediċi, jew kwalunkwe ħaġa fejn il-fedeltà hija importanti... trid toqgħod attent (OSAC/NIST: Gwida Standard għall-Ġestjoni Forensika tal-Immaġni Diġitali, Linji Gwida SWGDE għall-Analiżi Forensika tal-Immaġni).

Regola sempliċi:

• Jekk l-ishma huma għoljin, ittratta t-titjib tal-AI bħala illustrazzjoni, mhux definittiva.

Ukoll, l-iżvelar huwa importanti f'kuntesti professjonali. Mhux għax l-AI hija ħażina, iżda għax l-udjenzi jistħoqqilhom ikunu jafu jekk id-dettalji ġewx rikostruwiti jew maqbuda. Dak huwa biss... rispettuż.

Noti tal-għeluq u sommarju fil-qosor 🧡✅

Mela, Kif jaħdem l-AI Upscaling huwa dan: il-mudelli jitgħallmu kif id-dettall b'riżoluzzjoni għolja għandu t-tendenza li jirrelata ma' mudelli b'riżoluzzjoni baxxa, imbagħad ibassru pixels żejda kredibbli waqt l-upscaling (Deep Learning for Image Super-resolution: A Survey). Skont il-familja tal-mudelli (CNN, GAN, diffusion, video-temporal), dak it-tbassir jista' jkun konservattiv u fidil... jew qawwi u xi kultant bla rażan 😅

Sommarju rapidu

• L-upscaling tradizzjonali jġebbed il-pixels (interpolazzjoni bikubika)

• L-upscaling tal-AI jbassar id-dettall nieqes bl-użu ta' mudelli mgħallma (Super-Riżoluzzjoni tal-Immaġni Bl-Użu ta' Netwerks Konvoluzzjonali Profondi (SRCNN))

• Riżultati tajbin jiġu mill-mudell it-tajjeb + trażżin

• Oqgħod attent għal halos, uċuħ tax-xama', nisġa ripetuta, u teptip fil-vidjow (BasicVSR (CVPR 2021))

• It-titjib tal-iskalar ħafna drabi huwa "rikostruzzjoni plawżibbli," mhux verità perfetta (SRGAN, ESRGAN)

Jekk trid, għidli x'qed tagħmel upscaling (uċuħ, ritratti qodma, vidjows, anime, skens ta' test), u nissuġġerilek strateġija ta' settings li għandha t-tendenza li tevita l-iżbalji komuni tad-"dehra tal-AI" 🎯🙂

Eżempju fid-dinja reali: It-titjib tar-ritratti tal-prodotti tas-suq qodma 📸

Xenarju

Ħanut żgħir ta' kameras użati għandu 40 ritratt ta' prodotti esportati minn websajt antika b'wisa' ta' 800px. Is-sid irid jerġa' jużahom fuq paġna ġdida tal-kummerċ elettroniku, fejn id-daqs rakkomandat tal-immaġni huwa ta' wisa' ta' 1,600px.

Il-problema: it-tibdil tad-daqs normali jagħmel il-kameras jidhru rotob, filwaqt li t-titjib aggressiv tal-AI jista' jagħmel il-mankijiet tal-gomma, in-numri tas-serje, u l-marki tal-lentijiet jidhru foloz b'mod suspettuż. Dan huwa importanti għaliex ix-xerrejja jiddependu fuq dawk id-dettalji qabel ma jixtru.

L-għan mhuwiex li "tirrestawra" l-informazzjoni nieqsa perfettament. Huwa li jinħolqu immaġnijiet ta' listi aktar nodfa filwaqt li jinżammu l-fajls oriġinali disponibbli, għaliex l-upscaling tal-AI jbassar dettall plawżibbli aktar milli verità garantita.

Dak li jeħtieġ il-fluss tax-xogħol

Ritratti oriġinali tal-prodott, idealment l-inqas verżjonijiet ikkompressati disponibbli

Daqs tal-output fil-mira, bħal żieda ta' 2× minn 800px għal 1,600px fil-wisa'

Għodda jew mudell b'kontrolli separati għat-tneħħija tal-istorbju, it-tismin, u t-tneħħija tal-artefatti

Lista ta' kontroll sempliċi għar-reviżjoni tat-test, it-truf, il-logos, il-viti, il-buttuni, il-qamħ tal-ġilda, u r-riflessjonijiet

Fowlder għall-oriġinali u fowlder separat għall-esportazzjonijiet editjati, sabiex xejn ma jiġi miktub fuqu

Eżempju ta' istruzzjoni

Uża dan it-tip ta' istruzzjoni meta tittestja upscaler tal-AI:

Żid l-iskala ta' din ir-ritratt tal-prodott b'2× għal elenkar tal-kummerċ elettroniku. Żomm il-forma tal-oġġett, it-tqegħid tal-logo, il-marki tal-lenti, it-truf tal-buttuni, u n-nisġa tal-wiċċ kemm jista' jkun qrib l-oriġinali. Uża tindif ħafif bil-kompressjoni, tisħiħ baxx, u evita li tivvinta test żejjed, grif, tikketti, numri tas-serje, jew dettalji dekorattivi. L-immaġni finali għandha tidher naturali fid-daqs normali tal-paġna tal-prodott, mhux artifiċjalment qawwija b'zoom ta' 400%.

Kif tittestjah

Ibda b'ħames immaġini mħallta qabel ma tipproċessa l-lott sħiħ:

Ritratt wieħed tal-prodott nadif b'dawl tajjeb

Immaġni waħda kkompressata bil-JPEG b'imblokk

Ritratt wieħed b'test żgħir stampat jew marki tal-lenti

Immaġni waħda skura b'ħoss fid-dellijiet

Immaġni waħda b'metall jew ħġieġ riflettiv

Wara l-upscaling, qabbel kull riżultat mal-oriġinali b'100% u 200%. Iċċekkja jekk l-ismijiet tad-ditti, il-kwadranti, il-viti, il-portijiet, u l-mudelli tan-nisġa għadhomx jaqblu. Jekk il-mudell joħloq "kważi ittri" jew marki foloz tal-wiċċ, baxxi l-issettjar tat-tisħiħ jew tal-irkupru tad-dettall.

Riżultat

Riżultat illustrattiv: ibbażat fuq iż-żmien ta' test ta' ħames immaġni qabel u wara l-użu ta' dan il-fluss tax-xogħol.

It-tindif u t-tibdil tad-daqs manwali ħadu madwar 9 minuti għal kull immaġni, jew 45 minuta għal ħames immaġnijiet.

Il-fluss tax-xogħol assistit mill-AI ħa madwar 3 minuti għal kull immaġni, jew 15-il minuta għal ħames immaġni.

Dak huwa stmat li ġew iffrankati 30 minuta fuq ħames immaġni, jew madwar 4 sigħat iffrankati fuq grupp ta' 40 immaġni.

Riżultat tal-verifika tal-kwalità: 4 minn 5 immaġini għaddew mill-ewwel reviżjoni. Immaġni waħda falliet għax l-upscaler għawweġ it-test tal-lenti ż-żgħira, għalhekk ġiet ipproċessata mill-ġdid b'inqas tisħiħ u mingħajr titjib fit-test.

Il-metrika siewja hawnhekk mhix biss "tidher aktar ċara". Hija: kemm immaġini jgħaddu minn reviżjoni ħdejn xulxin mingħajr dettalji ivvintati?

X'jista' jmur ħażin

Il-mudell jista' jibdel it-trab, il-blokki JPEG, jew il-grif f'tessut "reali".

Test żgħir jista' jsir test falz li jidher kredibbli sakemm tagħmel zoom in.

Wisq tnaqqis tal-ħoss jista' jagħmel il-gomma, il-ġilda, jew il-metall brushed jidhru bħal xama'.

Tisħin qawwi jista' joħloq halos madwar it-truf tal-prodott.

L-ipproċessar tal-lott jista' jaħbi żbalji, għalhekk irrevedi kampjun qabel ma tesporta kollox.

Għall-kummerċ elettroniku, l-aktar regola sikura hija sempliċi: qatt tuża l-AI upscaling biex taħbi l-ħsara, tbiddel il-kundizzjoni, jew tagħmel prodott jidher aktar ġdid milli hu.

Konklużjoni prattika

L-upscaling tal-AI jaħdem l-aħjar meta tittrattah bħala pass ta' finitura kkontrollat, mhux buttuna ta' tiswija maġika. Uża settings konservattivi ta' 2×, iċċekkja d-dettalji li jimpurtahom lix-xerrejja, u żomm l-immaġni oriġinali sabiex il-verżjoni editjata tibqa' kredibbli.

Eżempju tad-dinja reali: It-titjib ta' vidjow ta' taħriġ antik mingħajr ma jagħmlu jiddi

Xenarju

Kumpanija żgħira tat-taħriġ għandha vidjo ta' dimostrazzjoni tas-sigurtà ta' 7 minuti rrekordjat fl-2014 b'720p. Il-kontenut għadu għandu valur, iżda l-filmati jidhru bla kulur fuq il-websajt il-ġdida tal-kumpanija, speċjalment fuq skrins ta' laptops akbar.

It-tim irid jesporta verżjoni 1080p aktar nadifa mingħajr ma jerġa' jiffilmja. Ir-riskju hu li l-upscaling aggressiv tal-AI jista' jagħmel l-uċuħ jidhru qishom xama', ibiddel it-test fuq is-sinjali fi "kważi kliem", jew joħloq tessut li jteptep minn frejm għal frejm.

L-għan mhuwiex li l-vidjo jidher ġdid fjamant. Huwa li jsir aktar ċar, aktar stabbli, u inqas ikkompressat filwaqt li l-wiċċ tal-għalliem, it-tikketti ta' twissija, il-movimenti tal-idejn, u d-dettalji tat-tagħmir jibqgħu fidili għall-oriġinali.

Dak li jeħtieġ il-fluss tax-xogħol

Fajl tal-vidjo oriġinali, mhux download ikkompressat tal-midja soċjali jekk possibbli

Daqs tal-esportazzjoni fil-mira, bħal 720p sa 1080p minflok ma taqbeż direttament għal 4K

Upscaler tal-vidjow b'għażliet ta' tnaqqis tal-ħoss, tisħiħ, tiswija tal-kompressjoni, u konsistenza temporali

Klipp qasir ta' prova b'uċuħ, moviment, test, u uċuħ dettaljati

Lista ta' kontroll għar-reviżjoni għal teptip, halos, test mgħawweġ, tessut tal-wiċċ, u truf li jiċċaqalqu

Kopja ssejvjata tal-vidjow oriġinali għal tqabbil u żvelar jekk meħtieġ

Eżempju ta' istruzzjoni

Uża dan it-tip ta' istruzzjoni qabel ma tipproċessa l-vidjow sħiħ:

Aġġorna dan il-vidjow ta' taħriġ ta' 720p għal 1080p. Agħti prijorità lil moviment naturali, truf stabbli, test eżistenti li jinqara, u tessut tal-ġilda realistiku. Uża tiswija ħafifa bil-kompressjoni u tisħiħ baxx. Tivvintax test, logos, tikketti, grif, dettalji tal-wiċċ, jew marki tat-tagħmir neqsin. Evita tleqqija minn frejm għal frejm. Ir-riżultat finali għandu jidher aktar ċar fid-daqs normali tal-wiri, mhux qawwi b'mod artifiċjali meta titwaqqaf u tiġi żżumjata 'l ġewwa.

Kif tittestjah

Qabel ma tipproċessa l-fajl sħiħ ta' 7 minuti, esporta kampjun ta' 20 sekonda li jinkludi:

Wiċċ l-għalliem waqt li jkun qed jitkellem

Id tiċċaqlaq fuq il-qafas

Tikketta ta' twissija jew test żgħir stampat

Wiċċ minsuġ, bħal drapp, konkrit, metall brushed, jew plastik

Panoramika tal-kamera jew kwalunkwe moviment imriegħed

Ara l-kampjun darbtejn: darba b'veloċità normali u darba b'pawża frejm b'frejm. B'veloċità normali, fittex teptip, tessut li jitkaxkar, jew moviment mhux naturali madwar it-truf. Meta tkun b'pawża, qabbel il-verżjoni oriġinali u dik miżjuda biex tivverifika jekk it-test, il-buttuni, l-għodod, u l-karatteristiċi tal-wiċċ għadhomx jaqblu.

Riżultat

Riżultat illustrattiv: ibbażat fuq il-ħin ta' klipp tat-test ta' 20 sekonda u mbagħad l-applikazzjoni tal-istess settings għal vidjo ta' 7 minuti.

Fluss tax-xogħol manwali ta' "bidla fid-daqs u tisħiħ" ħa madwar 35 minuta, inkluża l-esportazzjoni u r-reviżjoni, iżda r-riżultat wera tleqq viżibbli fuq xagħar l-għalliem u halos madwar is-sinjali tas-sigurtà.

Il-fluss tax-xogħol assistit mill-AI ħa madwar 55 minuta inklużi l-esportazzjonijiet tat-test, iżda naqqas il-problemi ta' reviżjoni minn 8 kwistjonijiet viżibbli fl-ewwel esportazzjoni għal 2 kwistjonijiet minuri fl-esportazzjoni finali.

Il-verżjoni finali għaddiet minn 10 minn 12-il kontroll fuq il-lista ta' kontroll tar-reviżjoni. Iż-żewġ kwistjonijiet li fadal kienu ftit ratba fit-test tal-isfond u ftit storbju f'kantuniera mudlama. It-tnejn ġew aċċettati għaliex l-għalliem, it-tagħmir, u l-passi tas-sigurtà baqgħu viżwalment konsistenti.

Il-metrika sinifikanti hawnhekk mhijiex "1080p miksub". Hija: kemm-il sekonda tal-vidjo juru artefatti li jtellfu l-attenzjoni waqt il-plejbek normali?

X'jista' jmur ħażin

Il-mudell jista' jsaħħaħ il-blokki tal-kompressjoni u jagħmilhom jidhru qishom tessut ġenwin.

Test fin jista' jidher aktar kunfidenti iżda inqas preċiż.

L-uċuħ jistgħu jsiru lixxi wisq jekk it-tnaqqis tal-istorbju jkun għoli wisq.

It-truf li jiċċaqalqu jistgħu jiddu jekk l-għodda tittratta kull frejm b'mod indipendenti wisq.

Esportazzjoni 4K tista' tidher agħar minn esportazzjoni 1080p imrażżna għax il-mudell irid jivvinta wisq dettall.

L-akbar żball huwa li tiġġudika biss frejm imwaqqaf. L-upscaling tal-vidjow irid jidher naturali fil-moviment, mhux biss impressjonanti bħala immaġni statika.

Konklużjoni prattika

Għall-vidjow, l-upscaling tal-AI jaħdem l-aħjar meta tittestja sezzjoni qasira l-ewwel, iżżomm l-upscaling modest, u tiġġudika l-moviment qabel in-nuqqas ta' preċiżjoni. Riżultat kemxejn aktar artab iżda stabbli ġeneralment ikun aħjar minn verżjoni ċara li teptip kull darba li xi ħadd jiċċaqlaq.

Mistoqsijiet Frekwenti

It-titjib tal-AI u kif jaħdem

L-upscaling tal-AI (spiss imsejjaħ "super-riżoluzzjoni") iżid ir-riżoluzzjoni ta' immaġni billi jbassar id-dettall nieqes ta' riżoluzzjoni għolja minn mudelli mgħallma waqt it-taħriġ. Minflok ma sempliċement jistira l-pixels bħall-interpolazzjoni bikubika, mudell jistudja t-truf, in-nisġa, l-uċuħ, u l-puplesiji simili għal test, imbagħad jiġġenera dejta ġdida tal-pixel li tkun koerenti ma' dawk il-mudelli mgħallma. Huwa inqas "restawr tar-realtà" u aktar "tagħmel suppożizzjoni kredibbli" li tinqara bħala naturali.

Upscaling tal-AI kontra r-ridimensjonar bikubiku jew tradizzjonali

Il-metodi tradizzjonali ta' upscaling (bħal bicubic) jinterpolaw prinċipalment bejn pixels eżistenti, u jtaffu t-tranżizzjonijiet mingħajr ma joħolqu dettall ġdid veru. L-upscaling tal-AI għandu l-għan li jirrikostruwixxi struttura plawżibbli billi jagħraf sinjali viżwali u jbassar kif għandhom it-tendenza li jidhru l-verżjonijiet b'riżoluzzjoni għolja ta' dawk is-sinjali. Huwa għalhekk li r-riżultati tal-AI jistgħu jħossuhom drammatikament aktar ċari, u wkoll għaliex jistgħu jintroduċu artefatti jew "jivvintaw" dettalji li ma kinux preżenti fis-sors.

Għaliex l-uċuħ jistgħu jidhru tax-xama’ jew lixxi żżejjed

L-uċuħ tax-xama’ ġeneralment jiġu minn tneħħija tal-istorbju u twittija aggressiva flimkien ma’ tisħiħ li jneħħi n-nisġa naturali tal-ġilda. Ħafna għodod jittrattaw l-istorbju u n-nisġa fina bl-istess mod, għalhekk it-“tindif” ta’ immaġni jista’ jħassar il-pori u d-dettall sottili. Approċċ komuni huwa li titnaqqas it-tneħħija tal-istorbju u t-tisħiħ, tintuża modalità li tippreserva l-wiċċ jekk disponibbli, imbagħad terġa’ tintroduċi mess ta’ qamħ sabiex ir-riżultat iħoss inqas plastiku u aktar fotografiku.

Artefatti komuni tal-upscaling tal-AI li għandek toqgħod attent għalihom

Sinjali tipiċi jinkludu halos madwar it-truf, mudelli ta’ nisġa ripetuti (bħal briks ikkupjati u pejstjati), mikro-kuntrast iqarmeċ, u test li jinbidel fi “kważi ittri.” Fi flussi tax-xogħol ibbażati fuq id-diffużjoni, tista’ tara wkoll dettall li jiċċaqlaq fejn karatteristiċi żgħar jinbidlu b’mod sottili. Għall-vidjow, it-teptep u d-dettall li jiċċaqlaq bejn il-frejms huma bnadar ħomor kbar. Jekk jidher tajjeb biss b’zoom estrem, is-settings probabbilment huma aggressivi wisq.

Kif l-upscalers tal-GAN, tas-CNN, u tad-diffużjoni għandhom it-tendenza li jvarjaw fir-riżultati

Is-super-riżoluzzjoni bbażata fuq is-CNN għandha t-tendenza li tkun aktar stabbli u aktar prevedibbli, iżda tista' tidher "ipproċessata" jekk tiġi mbuttata 'l fuq. L-għażliet ibbażati fuq il-GAN (stil ESRGAN) spiss jipproduċu tessut aktar qawwi u preċiżjoni perċepita, iżda jistgħu juru dettall mhux korrett, speċjalment fuq l-uċuħ. L-upscaling ibbażat fuq id-diffużjoni jista' jiġġenera dettall sabiħ u plawżibbli, iżda jista' jitbiegħed mill-istruttura oriġinali jekk il-gwida jew is-settings tas-saħħa jkunu qawwija wisq.

Strateġija prattika ta' settings biex tevita dehra ta' "AI wisq"

Ibda b'mod konservattiv: żid l-iskala 2× jew 4× qabel ma tuża fatturi estremi. Jekk l-uċuħ jidhru tal-plastik, naqqas it-tnaqqis tal-istorbju u t-tisħiħ u ipprova modalità konxja tal-wiċċ. Jekk in-nisġa ssir wisq intensa, naqqas it-titjib tad-dettall u kkunsidra li żżid qamħ sottili wara. Jekk it-truf jiddu, naqqas it-tisħiħ u ċċekkja s-soppressjoni tal-halo jew tal-artefatti. F'ħafna pipelines, "inqas" jirbaħ għax jippreserva realiżmu kredibbli.

Immaniġġjar ta' skens qodma jew immaġnijiet ikkompressati ħafna bil-JPEG qabel l-upscaling

L-immaġini kkompressati huma delikati għax il-mudelli jistgħu jittrattaw l-artefatti tal-blokk bħala tessut reali u jamplifikawhom. Fluss tax-xogħol komuni huwa t-tneħħija jew it-tneħħija tal-imblukkar tal-artefatti l-ewwel, imbagħad l-upscaling, imbagħad it-tisħiħ ħafif biss jekk ikun meħtieġ. Għall-iskens, tindif ġentili jista' jgħin lill-mudell jiffoka fuq l-istruttura attwali aktar milli fuq il-ħsara. L-għan huwa li jitnaqqsu l-"indikazzjonijiet foloz tan-tessut" sabiex l-upscaler ma jkunx imġiegħel jagħmel suppożizzjonijiet kunfidenti minn inputs storbjużi.

Għaliex l-upscaling tal-vidjow huwa aktar diffiċli mill-upscaling tar-ritratti

L-upscaling tal-vidjow irid ikun konsistenti fil-frejms kollha, mhux tajjeb biss fuq immaġni waħda. Jekk id-dettalji jteptep minn frejm għal frejm, ir-riżultat isir distraenti malajr. L-approċċi ffukati fuq il-vidjow jużaw informazzjoni temporali minn frejms ġirien biex jistabbilizzaw ir-rikostruzzjoni u jevitaw artefatti li jleqqu. Ħafna flussi tax-xogħol jinkludu wkoll it-tneħħija tal-istorbju, id-deinterlacing għal ċerti sorsi, u l-introduzzjoni mill-ġdid tal-qamħ fakultattiva sabiex is-sekwenza kollha tħossha koeżiva aktar milli artifiċjalment qawwija.

Meta l-upscaling tal-AI ma jkunx xieraq jew ikun riskjuż li wieħed jiddependi fuqu

L-upscaling tal-AI huwa l-aħjar trattat bħala titjib, mhux bħala prova. F'kuntesti ta' importanza kbira bħall-ġurnaliżmu, l-evidenza legali, l-immaġini medika, jew ix-xogħol forensiku, il-ġenerazzjoni ta' pixels "kredibbli" tista' tqarraq għax tista' żżid dettalji li ma nqabdux. Qafas aktar sikur huwa li tużah b'mod illustrattiv u tiżvela li proċess tal-AI rrikostruwixxa d-dettall. Jekk il-fedeltà hija kritika, ippreserva l-oriġinali u iddokumenta kull pass tal-ipproċessar u l-issettjar.

Referenzi

1. arXiv - Tagħlim Profond għal Super-riżoluzzjoni tal-Immaġni: Stħarriġ - arxiv.org

2. arXiv - Super-Riżoluzzjoni tal-Immaġni bl-Użu ta' Netwerks Konvoluzzjonali Profondi (SRCNN) - arxiv.org

3. arXiv - Real-ESRGAN - arxiv.org

4. arXiv - ESRGAN - arxiv.org

5. arXiv - SR3 - arxiv.org

6. Żviluppatur NVIDIA - NVIDIA DLSS - developer.nvidia.com

7. AMD GPUOpen - FidelityFX Super Resolution 2 - gpuopen.com

8. L-Aċċess Miftuħ tal-Fondazzjoni tal-Viżjoni tal-Kompjuter (CVF) - BasicVSR: It-Tiftix għal Komponenti Essenzjali fis-Super-Riżoluzzjoni tal-Vidjo (CVPR 2021) - openaccess.thecvf.com

9. arXiv - Netwerks Avversarji Ġenerattivi - arxiv.org

10. arXiv - SRGAN - arxiv.org

11. arXiv - Telf Perċettiv (Johnson et al., 2016) - arxiv.org

12. GitHub - Repożitorju Real-ESRGAN (għażliet ta' madum) - github.com

13. Wikipedia - Interpolazzjoni bikubika - wikipedia.org

14. Topaz Labs - Topaz Photo - topazlabs.com

15. Topaz Labs - Vidjow Topaz - topazlabs.com

16. Ċentru tal-Għajnuna ta' Adobe - Adobe Enhance > Super Riżoluzzjoni - helpx.adobe.com

17. NIST / OSAC - Gwida Standard għall-Ġestjoni Forensika tal-Immaġni Diġitali (Verżjoni 1.0) - nist.gov

18. SWGDE - Linji Gwida għall-Analiżi Forensika tal-Immaġni - swgde.org

Sib l-Aħħar AI fil-Ħanut Uffiċjali tal-Assistent tal-AI

Dwarna