Тестът на Тюринг, предложен за първи път от компютърния учен Алън Тюринг през 1950 г. като „игра на имитация“, оценява дали способността на машината да проявява интелигентност е неразличима от тази на човека. За да може една машина да премине теста на Тюринг, тя трябва да може да говори с някого и да го подмами да мисли, че това е човек.
Учените решиха да повторят този тест, като помолиха 500 души да разговарят с четирима респонденти, включително човек и AI програмата от 60-те години ELIZA, както и с AI GPT-3.5 и GPT-4, който е в основата на ChatGPT. Разговорите са продължили пет минути, след което участниците е трябвало да кажат дали смятат, че говорят с човек, или с изкуствен интелект, пише kaldata.com
В проучването, публикувано на 9 май на сървъра за предпечат arXiv, учените са установили, че участниците в 54% от времето вярват, че GPT-4 е човек.
ELIZA — система, предварително програмирана с отговори, но без голям езиков модел (LLM) или архитектура на невронна мрежа, е била разпозната от хората само в 22% от времето. GPT-3.5 е отбелязал 50%, а човешкият участник – 67%.