Промпт који користим за сажимање дугачких докумената

Ако сте икада тражили од вештачке интелигенције да вам сажме транскрипт неког састанка или дугачак документ, па је добијени сажетак звучао уверљиво, али је изоставио баш оно што вам је најважније, онда је овај текст за вас.

Сажимање текста је најчешћи начин на који људи у пракси користе вештачку интелигенцију, али и најлакше место да се провуку непримећене халуцинације. Што је изворни текст дужи, то је мања вероватноћа да ће неко заиста отворити оригинал и проверити податке да би био сигуран у одговор модела.

Промпт који желим данас да вам покажем користим како бих навео модел да упореди свој сажетак са изворним текстом пре него што му поверујем. То приморава модел да поново прође кроз сопствени рад, имајући изворни материјал пред собом, и да означи места у која није сигуран.

Промпт је дуг само три реда. Ево га:

[ВАШ ЗАХТЕВ ЗА АНАЛИЗУ]
Након што пружиш почетну анализу, изврши следеће кораке провере:
1. Наведи три конкретна начина на која би твоја анализа могла бити непотпуна, заваравајућа или погрешна.
2. За сваки потенцијални проблем наведи конкретне доказе из [ДОКУМЕНТ/ПОДАЦИ] који или потврђују или демантују ту сумњу.
3. Напиши ревидирану анализу која узима у обзир потврђене сумње и указује на преостале неизвесности.
    

У прве угласте заграде уносите своје питање (Сажми документ у прилогу. Анализирај документ у прилогу. Шта је најбитније у овом уговору?). У другим угластим заградама упућујете модел на документ или податке које треба да обради (можете да их закачите за промпт на знак +, или да налепите директно у промпт). Ако немате конкретан документ на који бисте га упутили, промените то у „свој почетни одговор” и модел ће проверити сопствени одговор у односу на оно што је првобитно написао.

Додавањем овог блока мења се сам задатак који модел обавља. У првом кораку, он покушава да вам да одговор. У другом кораку, подстакнут фазама провере, покушава да пронађе грешке у сопственом одговору.

Лоша страна је што овај други круг анализе траје дуже, а ревидирани одговор бива знатно опрезнији од првобитног. Зато овај промпт чувам за важније задатке: правне документе које сажимам пре него што донесем неку одлуку, медицинске анализе клиничке слике или полисе осигурања где детаљи утичу на мој избор, финансијске анализе које треба да пренесем другима, или сажетке научних радова које користим за моја истраживања.

Тест са бумбарима

Нашао сам један научни рад који тврди да бумбари (Bombus terrestris) испољавају понашање које испуњава критеријуме за игру. Рад нуди јасан закључак погодан за новинске наслове, али је сама суштина приче далеко компликованија, што га чини одличним примером за тестирање овог промпта. Ако исти рад дате истом моделу са два различита промпта, приметићете да ћете добити две различите верзије „истине”.

Први промпт је онај који би већина људи написала без пуно размишљања: Сажми кључне закључке овог документа.

Други промпт је исти тај захтев, али са три додатна реда на крају:

Сажми кључне закључке овог документа. Издвој три/четири најзанимљивија закључка, заједно са бројкама и контекстом истраживања. 
Након почетне анализе, наведи три/четири конкретна начина на која би твоја анализа могла бити непотпуна, заваравајућа или погрешна. 
За сваку ставку наведи доказе из научног рада који потврђују или демантују ту сумњу. Затим напиши ревидирану анализу.

Модел ће вам на почетку и даље дати уверљив сажетак, али самопровера коју сте тражили износи на видело ствари које су у првом кругу остале непоменуте. Тако је модел признао да су резултати добијени у лабораторијским условима који не морају одражавати природно понашање, што је веома важан податак за једно истраживање, а који првобитни сажетак уопште није поменуо.

Такође модел истиче да котрљање куглица од стране бумбара може бити индиректна вежба моторике за руковање цветовима, а да сама дефиниција „игре“ код инсеката остаје делимично субјективна. Сам рад то наводи на месту које бисте лако прескочили ако само на брзину прелећете преко текста и не читате га детаљно.

Ево како изгледа закључак промпта са додате три реченице.

Најважнија поука: Нема потребе да користите паметнији модел, који ће вам брже „појести“ токене. Довољно је да моделу дате додатни задатак. Први пролаз модела у давању одговора је осмишљен тако да звучи тачно. Други пролаз, када га затражите, служи томе да пронађе пропусте у првом. У томе лежи главна разлика између одговора на који се можете поуздано ослонити и оног на који не можете.

 Извор: https://doi.org/10.1016/j.anbehav.2022.08.013