A HumanSignal szerint az AI-modelleknek közös „házi stílusuk” van

A működő weboldal már nem elég

A HumanSignal október 6-án közzétett vizsgálata abból indult ki, hogy a mai modellek percek alatt képesek reszponzív, működő weboldalakat készíteni. A vállalat szerint az ilyen képességet mérő hagyományos tesztek azt mutatják meg, hogy egy modell mennyire jól hajt végre egy feladatot, de kevés információt adnak arról, milyen döntéseket hoz akkor, amikor nincs előtte minta.

A kutatók ezért referenciafelület nélkül dolgoztatták a modelleket. Saját maguknak kellett dönteniük a színekről, a tipográfiáról és az elrendezésről, külső eszközök és csomagok használata nélkül. A modelleket arra is megkérték, hogy indokolják meg a választásaikat. A HumanSignal ezt a vizsgálati területet a „taste moat”, vagyis az ízlésből származó versenyelőny gondolatához kapcsolja. Állításuk szerint ahogy a kivitelezés olcsóbbá és hozzáférhetőbbé válik, felértékelődik annak megítélése, hogy melyik változatot érdemes elkészíteni.

Hasonló betűtípusok és színválasztások

A kutatásban 10 labor 10 modellje ugyanazokat a briefeket kapta. A feladatok között telemedicinai alkalmazás és New York-i gördeszkás ruhamárka is szerepelt. Minden modell háromféle körben dolgozott: először JSON-formátumú kreatív irányt írt kód és eszközök nélkül, ezután rögzített irány alapján épített oldalt egy zárt környezetben, végül önállóan tervezte és készítette el a teljes oldalt.

Az eredmények szerint az Inter a tipográfiai rendszerek 47 százalékában jelent meg, az IBM Plex Mono pedig 30 százalékban. Gyakori megoldás volt az expresszív talpas betű a címsorokhoz, az Inter a törzsszöveghez és monospace betű az adatokhoz. A weboldalak 91 százaléka használt színátmeneteket, 88 százalékuk pedig árnyékos kártyákat.

A színek terén is kirajzolódott a konvergencia. A telemedicinai brief elsődleges színárnyalatának koncentrációja 0,95 volt, ahol az 1,0 azt jelenti, hogy minden modell ugyanazt az árnyalatot választotta. Az independent film feladat értéke 0,14, a skatewearé pedig 0,08 lett. Utóbbi esetben 10 modellből 8 közel fekete elsődleges színt választott, és többnyire elkerülte a színeket. Más briefeknél két-három visszatérő tábor alakult ki, például meleg arany és mélyzöld, illetve narancs és zöld között.

A hasonlóság már a tervezési indoklásban megjelent

A HumanSignal szerint a modellek közös stílusa nem a CSS-kódolásnál kezdődik. Már abban a körben is megjelent, ahol csak a kívánt kreatív irányt kellett leírniuk. Két modell adott meg Tailwind-színkódokat, a többi nyolc nem, mégis mind a 10 nagyjából hasonló eredményre jutott. Az 563 színindoklás 36 százaléka olyan megfogalmazást tartalmazott, amely azt írta le, mit szeretne elkerülni a modell.

A kutatók az eredményeket vak, kiegyensúlyozott páros összehasonlítással is tesztelték a Label Studióban. Minden modell minden brief esetén minden másikkal szembekerült, így 450 párosítás és 4500 szavazat született 29 annotátortól. A résztvevők két oldalt láttak egymás mellett, nem tudták, melyik modelltől származnak, majd győztest választottak vagy döntetlent jelöltek.

A HumanSignal szerint ez különíti el azt, hogy egy oldal működik-e, attól, hogy az emberek előnyben részesítik-e. A vállalat következő bejegyzésében azt ígéri, hogy bemutatja a vak összehasonlítások eredményeit, köztük azt is, mely modellek teljesítettek jobban az emberi értékelésekben.