Тендер од сто страна: где новац уложен у вештачку интелигенцију престаје да доноси резултате

Последња три месеца радим на развоју система вештачке интелигенције који треба да чита тендере заједно са мојим инжењерима и правницом. Успут сам научио да свака прича о „тимовима агената“ може да успе или да пропадне на тачно два места, и да ниједно од њих није тамо где маркетинг и продавци AI алата показују прстом.

Тендер који ми је прошлог месеца стигао на сто изгледа овако: књига услова на сто страна, техничка документација у пет свезака, нацрт уговора на још педесет страна. Негде у том материјалу пише који су нам атести потребни, које референце морамо да докажемо, који члан уговора пребацује ризик поскупљења материјала на извођача и која позиција у предмеру крије ставку због које ће понуда бити или добијена или неисплатива. Да бисмо уопште одлучили да ли можемо да учествујемо, неко све то мора да прочита. И то врло пажљиво. Два инжењера из техничке припреме, можда комерцијалиста и сигурно правница, морају да читају документацију неколико радних дана, у недељи у којој сви они имају и свој редован посао.

Кад тендер има петнаест страна, не треба нам никаква вештачка интелигенција. Правница га прочита уз кафу, подвуче две или три ствари, и одлука је брза и јасна. Проблем почиње тамо где обим документације прерасте радну недељу тима, а рок остане исти. Зато развијам систем који би тај посао преузео: да из услова тендера извуче захтеване референце и упореди их са нашом архивом; да прочешља уговор и означи чланове који одступају од уобичајених; да позиције из предмера повеже са нашом базом цена. На крају, овај AI алат треба да одговори на једино питање које ме заиста занима: можемо ли ми да учествујемо на овом тендеру, и под којим условима.

И ту, на самом почетку, појављује се питање које ниједан продавац „агентских решења“ није поменуо ни на једној презентацији којој сам присуствовао. Како ћу знати да је AI агент све прочитао? Да није прескочио свеску три? Да ли је зачкољицу из члана о пеналима уопште приметио? Да ли је цену из базе доделио правој позицији, а не оној која слично звучи? Јер ако то не знам, добићу машину за генерисање самоуверених грешака, а њих умем да правим и сам, и то бесплатно.

Одговори на ова питања постоје, и долазе из истраживања која се ретко цитирају до краја, и из мог сопственог, повремено скупог, искуства.

Куповина размишљања

Прва половина приче гласи овако: куповина додатног „размишљања“ стварно функционише, и то је лако мерљиво.

Тим истраживача са Стенфорда је 2024. године објавио рад са мојим омиљеним насловом у машинском учењу, Large Language Monkeys (LLM, алузија на теорему о мајмунима и писаћим машинама). Узели су јефтин модел за програмирање компаније DeepSeek и дали су му по један покушај да реши сваку грешку из стандардног теста који се користи за исправке грешака у стварном софтверу. Решио је 15,9 одсто. Практично, резултат без употребне вредности. Онда су истом јефтином моделу дали по 250 покушаја за исправку сваке грешке, при чему је аутоматски валидатор одлучивао који покушај се рачуна.

Резултат: 56 одсто.

Како бисмо направили поређење са најскупљим моделима у то време, најбољи резултат из једног покушаја на том тесту, био је 43 одсто. Двеста педесет покушаја јефтиног модела надмашило је један покушај врхунског. И то није био случајан резултат једног теста: побољшање је пратило глатку, предвидиву криву. Више покушаја увек је давало више решених проблема. Ово је била академска верзија проблема.

Пример из праксе долази из инжењерског извештаја компаније Anthropic о сопственом систему у коме више агената заједно ради истраживачке задатке. Кад су анализирали шта раздваја добра извршавања од лоших, формулација самог промпта је једва доприносила бољем резултату. Највећи део разлике у резултатима, око 80 одсто, објашњавао је број потрошених токена, односно количина рачунарског рада уложеног у решавање задатка. Систем са више агената био је за 90,2 одсто успешнији од најбољег модела који је радио сам. Више агената је, једноставно, могло да потроши више токена, испроба више путева ка решењима и распореди рад у више одвојених контекстуалних прозора. Део онога што је изгледало као колективна интелигенција био је, заправо, већи буџет за покушаје проналажења решења.

Ево још два значајна податка пре него што решите да упослите агенте. По рачуници компаније Anthropic, једно извршавање са више агената кошта отприлике петнаест пута више токена него обичан разговор (chat). А истраживања објављена ове године додају и друго упозорење: потрошња на идентичном задатку варира и до тридесет пута од извршавања до извршавања, а тачност понекад достигне врхунац на средњој потрошњи токена, да би после тога стајала у месту. Буџетирати агенте не значи само одредити колико токена смеју да потроше, већ и када морају да стану, шта морају да провере, колико покушаја им је дозвољено и под којим условима вреди наставити рад.

Да већа потрошња поуздано значи бољи одговор, овај текст би имао само једну реченицу: трошите више. Али нема је, и то због оног дела студије који ретко ко помиње.

Део студије који нико не помиње

Исти задатак и исти тај јефтин модел су искоришћени поново али са другим параметрима: систем је одрадио хиљаду покушаја, а затим и десет хиљада, док су истраживачи одвојено пратили две различите ствари.

Прво питање је било: да ли тачан одговор уопште постоји негде у тој огромној гомили произведених покушаја? Тај проценат је наставио да расте и прешао је 95 одсто код десет хиљада узорака. Дакле, тачан одговор је скоро увек био ту, негде у гомили.

Друго, суштинско питање је: може ли ико заправо да га пронађе?

Тамо где је постојало неумољиво сито – јасан, механички филтер или тест који може тренутно да оцени сваки покушај – стварање веће гомиле директно је доносило решење. Међутим, тамо где таквог филтера није било, истраживачи су испробали све познате методе да из те гомиле извуку најбољи одговор, од већинског гласања до коришћења сложених модела за оцењивање. И све је остало на истом већ око стотог покушаја. Машина је савршено умела да направи пласт сена у којем се гарантовано налази игла, али без јасног магнета, нико није могао да је извуче.

Упамтите овај проблем, јер се он директно одражава на цену „памети“. Тачан одговор можда постоји, а можда га је систем већ и произвео, али нико не уме поуздано да га препозна међу осталима. После одређене тачке, сваки додатни динар купује само нове покушаје, без начина да утврдимо да ли је неки од њих бољи. Када не постоји јефтина и поуздана провера, више новца не купује више знања, већ само већу гомилу неоцењених одговора.

Постоји строга граница до које новац може да побољша рад једног агента, јер систем гомила све што је прочитао и урадио у једном контекстуалном прозору. Како се прозор пуни, квалитет пада: модел губи из вида план који је направио на почетку. Уз то, његов рад је строго линеаран. Кораци обраде иду редом, па посао од педесет корака тражи педесет циклуса. Један агент, један прозор, и ограничење које постоји, без обзира колико сте новца спремни да уложите.

Запишите ова два примера као пар, јер заједно сортирају сваку понуду „тима агената“ коју ћете икада чути. Новац престаје да делује на тачно два места: кад независтан субјект не може да провери одговоре, и кад један агент мора да држи у „глави“ цео посао. Сваки дизајн са више агената који стварно функционише јесте одговор на један од ова два проблема. За све остало вам просто треба више агената.

А „више агената“ није баш безазлена опција која се подразумева. Студија MIT-а и Google-а из децембра 2025. документовала је конфигурације у којима је додавање агената чинило систем горим, са стварним падом резултата. Поставке са више агената у окружењима богатим алатима трошиле су два до шест пута више токена да би достигле оно што је један агент већ дао као резултат. Прави индустријски промашај је изградња агентских тимова за послове којима тимови никад нису ни требали.

Ревизор који води књиге

Постоји један уобичајени разлог за поделу посла који бољи модели никада неће избрисати, и старији је од софтвера. То је капацитет особе која обавља посао, и он има два лица: вештине и време.

Хајде да видимо прво вештине. Фирма која увози опрему потписује сложен уговор са добављачем из Европске уније. На том уговору ради њих четворо. Правник чита ограничење одговорности и клаузуле за раскид. Комерцијалиста проверава цене, рабатне скале и рокове испоруке. Финансијер гледа валутну клаузулу, динамику плаћања и банкарске гаранције. Шпедитер проверава паритет испоруке: до које тачке ризик носи продавац, од које купац, и ко плаћа царинско посредовање. Нико од њих четворо не уме да провери цео уговор, и то није ничији недостатак: то су четири заната. Уговор се дели зато што једна глава нема све четири вештине, и та подела кошта. Свака примопредаја између њих четворо је прилика да се нешто изгуби: правник не зна да је комерцијалиста већ попустио на року испоруке, шпедитер сазна за паритет кад је цена већ договорена као да транспорт не постоји.

Време је друго лице проблема. Иста фирма добије захтев регулатора да у року од тридесет дана прегледа неколико хиљада досијеа клијената према новом пропису. Сваки досије је једноставан, али проблем је количина. Посао се дели на десет људи из простог разлога: један човек физички не може да стигне да га уради. И опет се плаћа цена поделе: десет људи прегледа досијеа са десет различитих аршина и својих тумачења, и онда на крају, неко мора да их уједначи.

И сад оно што сви данас гледамо уживо: обе ове поделе полако нестају. AI алат који чита уговор све чешће познаје правничку, комерцијалну, финансијску и логистичку проблематику истовремено, а неколико хиљада досијеа може да прегледа за једно поподне, и то једним аршином. Пре само осамнаест месеци било је изузетно тешко натерати вештачку интелигенцију да направи употребљиву Excel табелу. Данас је то готово рутински задатак. Исто важи и за агенте: оно што данас делује као импресивна способност једног агента, ускоро ће постати стандард. Зато је подела посла на више агената, када је заснована искључиво на ограниченом капацитету једног агента, само привремено решење. Свака одлука о увођењу „тима агената“ која почива само на том разлогу има ограничен рок трајања.

Неки послови морају бити подељени између различитих људи или улога, јер једна улога може нарушити независност друге. Проблем није у знању или способности. Ревизор који истовремено води књиге фирме коју треба да контролише није лош ревизор, али у таквом односу више не може бити независан ревизор. Научна рецензија има смисла управо зато што рецензент није аутор рада. Из истог разлога, банка не дозвољава да иста особа и унесе и одобри плаћање, и то не зато што полази од тога да су запослени непоштени, већ зато што добро уређен систем не зависи само од нечије савести.

Агенти овој старој подели улога додају могућност коју раније нисмо имали. Човек не може намерно да заборави оно што већ зна. Када сте сопствену понуду прочитали сто пута, више не можете да је видите онако како је види члан комисије који је први пут отвара. Са агентима, међутим, можете да укључите посебног „читаоца“ који понуду раније није видео и који јој приступа без претходних претпоставки. Тако први пут добијамо свеж и независан поглед на захтев, брзо и уз занемарљив трошак.

А има и нечег нашег у овој причи. У српској пословној култури провера се лако прочита као увреда. „Зар ми не верујеш?“ је реченица која је зауставила више контролних механизама него било који трошковник; посао се деценијама водио на реч и на образ, и то је у кафанској економији поверења често и функционисало. Тендерска комисија, међутим, не може да „прочита“ образ. Она одлучује на основу онога што је приложено и доказано. Зато систем у коме један агент издваја услове тендера, други проверава да ли су испуњени, а трећи саставља извештај, претвара проверу у јасан и обавезан поступак. То је нешто што код нас често избегавамо јер делује неумесно, а чије одсуство касније скупо плаћамо.

Овде ипак треба поставити једно ограничење, на основу лекције коју сам већ скупо платио. Немојте сваку рутинску проверу квалитета поверавати другом агенту. Идеја да један језички модел пише, а други тражи грешке звучи разумно, али у пракси често производи само нове циклусе обраде. Агенти један другом враћају задатак, различито тумаче јасне критеријуме и троше токене на расправу о стварима које се могу проверити једноставним правилом. Нећете добити квалитетнији резултат, а сигурно ћете имати већи трошак и спорији процес.

За рутинску проверу тачности најбоље су скрипте. Скрипта је мали програм, написан да аутоматски изврши тачно одређен низ провера или радњи. Она доследно примењује унапред задата правила. Проверава да ли је број на одговарајућем месту, да ли је формат исправан, да ли су сва обавезна поља попуњена и да ли се вредности уклапају у дозвољене границе. Тест затим или прође или не, у делићу секунде, без додатних тумачења и непотребног трошења токена.

Други „ум“ (додатни агент) резервисан је искључиво за ситуације где постоји стварни сукоб интереса или потреба за радикално другачијом перспективом. Његово место је у анализи онога што захтева процену и вагање: тумачење скривених ризика у уговору, преиспитивање инжењерског нацрта или проналажење слабих тачака у пословном плану. У таквим ситуацијама агент преузима улогу „ђавољег адвоката“, коју би иначе морао да одигра други човек како би систем био довољно заштићен.

Тест од једног минута, на мом тендеру

Два наведена налаза истраживача са Стенфорда и из Anthropic-а, и један стари трик заједно дају четири процене које можете да направите за било који посао који вас чека, користећи своје вијуге, и то за мање од 5 минута. Ниједна не тражи стручност. Провуците свој процес размишљања и анализе кроз следеће четири процене, користећи мој тендер од сто страна као пример:

Величина: Да ли је посао већи од онога што један агент може да држи у „глави“ (контекстуални прозор), и то у пуном квалитету? Величина се процењује по томе колико модел мора да памти док ради (план са почетка разговора, дефиниције, дотадашње закључке, додатне анализе), а не по броју страна које му прилажете за обраду. Тендер од петнаест страна заузме веома мали део контекстуалног прозора и зато је, у том случају, довољан обичан разговор. Књига услова тендера, пет свезака пројекта и уговор нису мали залогај за модел, и ту не помаже ни навелико рекламирани „милионски прозор“: квалитет пада знатно пре него што се прозор напуни. Симптоми прекорачења контекста препознају се одмах. Модел у другој половини посла заборави упутство из прве половине. Противречи сопственом закључку који је пре 20 питања дао као одговор. А кораци обраде иду секвенцијално, тј. иду редом, па ако треба да обради велики број података, то значи и дуго чекање на одговор. Кад видите ове симптоме, бољи промпт вам неће помоћи; такав посао тражи поделу.

Независност: Може ли се посао поделити на више делова, а да један извршилац не зна шта је други урадио? Овде имате практичан тест: да ли би два дела посла могла да раде два човека који се уопште не познају и да резултате предају трећем, без иједног телефонског позива у међувремену? Моја AI анализа тендера овде пролази, јер су то четири различита агента: један читач вади захтеване референце и атесте, други чешља уговор члан по члан, трећи везује позиције предмера, четврти повлачи цене из базе. Не морају да разговарају до самог краја. Већина послова не пролази ову процену, а поготово програмирање и писање кода, јер се свака измена у коду ослања на претходну, па трошак координације поједе оно што је подела уштедела. Управо такве поставке документовала је она студија MIT-а и Google-а: подељено је оно што не треба да се дели, и рачун је стигао у токенима. Ово је процена коју људи најчешће прескоче, па је то најбржи пут да потрошите више и добијете мање.

Раздвајање: Да ли има делова које морају радити различити агенти, зато што би знање и претпоставке једне улоге агента утицале на улогу другог? Ово питање се управо тиче сукоба улога, па контролу квалитета треба оставити скриптама. У мом систему то подразумева три правила. Завршни извештај пише агент који није прочитао ниједну свеску: добија само налазе са адресама, па не може да „запамти утисак“ уместо стварног податка. Агент који има приступ бази цена не пише закључке о томе да ли испуњавамо услове тендера, из истог разлога из ког банка раздваја унос и одобрење плаћања. А сваки налаз агената појављује се у извештају искључиво са референцом: број свеске, број стране, члан. Без референце, налаз не може да буде валидан и одбацује се. Постоји и четврта корист, а то је свежина погледа. Када је нацрт понуде завршен, чита га агент који раније није видео ни понуду ни процес њене израде. Он јој зато приступа без знања о томе како је настала и шта је аутор желео да каже, приближно онако како ће јој приступити члан тендерске комисије када је први пут отвори. Таква провера не открива само грешке. Она показује и где се аутор ослонио на сопствено предзнање, па му је текст јасан само зато што већ зна шта је њиме хтео да каже.

Проверљивост: Она је пресудна. Она раздваја послове код којих више покушаја повећава вероватноћу доброг резултата од оних код којих само производи све већу гомилу одговора које неко на крају мора ручно да прегледа. Зато је кључно питање: која је најједноставнија и најјефтинија механичка провера којом се може оценити сваки добијени одговор? То може бити тест који се или прође или не прође, то је упит у базу података, поређење са архивом или излазни код скрипте. Ако је једина расположива провера: „нека човек прочита и процени“, онда систем нема довољну проверљивост. У том случају додатни покушаји не смањују људски рад, већ га гомилају, и онај станфордски застој на крају чека управо вас. На примеру нашег тендера провера ради савршено: референца или постоји у нашој архиви или не постоји; цена или показује на конкретан унос у бази или не показује; члан уговора или стоји на наведеној страни или извештај лаже, што се утврђује за десет секунди. Кад је овакав вид провере скоро па бесплатан, сваки додатни покушај заслужује своје место, и моћ великих бројева ради за вас уместо против вас.

Коначне одлуке природно произилазе из ове четири процене, и своде се на четири могућа сценарија:

Обично ћаскање (Chat): Ако је задатак мали и нема делова који траже „други ум“ за проверу, тендер од петнаест страна остаје оно што је увек и био – документ који човек, заједно са AI-јем, прочита уз кафу.

Један агент: Ако задатак стаје у један контекстуални прозор и модел може лако да провери свој сопствени рад, довољан вам је један наменски агент. Он има јасан циљ, користан је, брз и потрошан.

Тим агената: Ако је посао већи од онога што једна „глава“ може да обухвати, или ако има делове који неминовно захтевају сучељавање различитих умова – а одговори се и даље могу јефтино и аутоматски проверити – тек тада вам треба тим.

Граница исплативости: Међутим, ако проверљивост падне (односно, провера тачности вас кошта колико и сам рад), додавање новца и агената ту не може ништа да промени. То је пресуда коју људи најређе желе да чују, и њој ћемо посветити пажњу на самом крају.

Ове четири процене одређују какво техничко решење има смисла направити. Ипак, коначну одлуку одредиће учесталост појављивања истог проблема и његова пословна вредност. Дакле, питања за вас су: колико често се овај проблем понавља и колико новца вреди бољи одговор сваки пут када се појави? Ако се проблем јавља ретко или је разлика између просечног и бољег решења мала, сложен систем се вероватно не исплати. Тендери нам стижу сваког месеца, а само једна ухваћена зачкољица о преносу ризика или скривеним трошковима платиће године рада оваквог система. Насупрот томе, немојте градити сложен тим агената само да би вам пронашао коју машину за прање судова да купите. Облик задатка је технички исти, али временски оквир није, јер проблем куповине решавате једном у 10 година. Пад цена развоја оваквих технологија ове године је значајно померио праг исплативости на доле, али није уклоњен.

Мој пример је из грађевине, али појавни облик није. Узмите, рецимо, примопредају посла. Из фирме вам одлази човек који је пет година водио најважнијег купца; све што он зна налази се у мејловима, у белешкама са састанака, у преписци у интерном чету и у полу-завршеном документу који је „ускоро“ требао да буде готов. Његова замена ће вероватно изгубити недеље копајући по овој документацији, и опет неће знати шта не зна. Хајде да провучемо овај пример кроз четири процене. Године преписке: веће су од једног контекстуалног прозора. Подела се може урадити врло прецизно: мејлове може да чита једна особа, белешке чита друга, документи се дају трећој, а историја наруџбина четвртој особи, и оне уопште не морају да комуницирају међусобно. Раздвајање? Да. Сажетак за новог комерцијалисту пише неко (или нешто) ко изворе није ни читао. Да ли је проверљиво? Јесте. Свака тврдња или треба да покаже на конкретан мејл са датумом или неће ући у сажетак. Проблем се често и понавља, јер људи одлазе и долазе у фирму сваке године. Ето свих услова за AI решење.

Кад се сви ови послови ставе на исти графикон, добијамо распоред који вреди запамтити:

Извештај који сме да одћути

Кад услови тендера траже доказ о изведеним објектима одређене намене и квадратуре, а наша архива тај доказ нема или га има у облику који комисија неће признати, извештај на том месту приказује: „референца није пронађена у архиви“. Не измишља и не пише уверљив одговор који потврђује да имамо тражену референцу. Измишљен податак који се провуче кроз извештај и заврши у понуди јесте стварни начин на који вештачка интелигенција може да упропасти посао, и то је страх који људи с правом имају.

Мислим да ће се управо ту одлучивати које послове ћемо поверити људима, а које машинама. У српским фирмама ћемо инжењеру, који на колегијуму каже: „Нисам стигао да проверим свеску број четири“, и даље вероватно замерити што посао није завршио. Од машине, међутим, тек учимо да ценимо управо такво признање: да нешто није проверила, да нема довољно података или да у свој одговор није сигурна. Код човека то често тумачимо као слабост; код машине би требало да га препознамо као важну меру поузданости.

Треба да знате и ово. AI систем који развијам никада неће одговорити на суштинска питања: да ли да идемо на овај тендер, са којом маржом, да ли овом инвеститору да верујемо кад каже да ће плаћање бити редовно, и да ли ћемо са постојећим ресурсима завршити посао у року. Одговори на ова питања на крају се своде на процену, а једина поуздана провера те процене често је сама одлука, и оно што после ње уследи.