Продължават споровете в обществото и научните среди дали изкуственият интелект оправдава наименованието си, тоест дали наистина технологията е умна и способна да разсъждава като човек.
Едно ново изследване даде очакван резултат – AI няма такива възможности.
Изследователи от Apple развенчаха способността на ИТ системите с изкуствен интелект (AI), базирани на големи езикови модели (LLM), да извършват базови разсъждения. По време на тестовете се оказа, че с малки промени във формулировката на заявките, AI може да даде много различни отговори, което подкопава доверието в моделите.
Имитация на мислене
Изследването ясно показа, че почти всички LLM, включително ChatGPT, противно на общоприетото схващане, не са способни да мислят и разсъждават по същия начин като хората, отбелязва TechCrunch в публикация за резултатите от тестовете на Apple.
Въпреки факта, че чатботовете могат да решават различни математически задачи с лекота, изследователите установиха, че LLM лесно се объркват при добавяне на допълнителни или несъществуващи данни към прости задачи. Резултатите от изследването поставят под въпрос способността на съвременния изкуствен интелект да разсъждава логично и разкриват неговите уязвимости при променящи се условия.
Документът на Apple, озаглавен „Разбиране на границите на математическото мислене в LLMs”, твърди, че докато AI може да решава проблеми с основни числа правилно, LLM ще генерират неправилни отговори, когато се добавят дори и най-малки детайли.
Например, ако поставите задача на който и да е LLM по следния начин: „Матю Пери набра 44 кивита в събота, а след това набра 58 кивита в неделя. Пери набра два пъти повече кивита в понеделник, отколкото в събота. Колко кивита събра Матю Пери?”, изкуственият интелект бързо ще я реши, като изчисли 44 + 58 + (44×2) = 190.
Но ако добавите малък детайл към условието, който не променя абсолютно нищо, например; „но пет от тези кивита бяха малко по-малки от средното”, вместо да игнорира неуместните данни, както би направил човек, AI погрешно ще започне да изважда. В теста моделите ChatGPT и Llama3-8b отнеха пет кивита от общия резултат, пише technews.bg.
Един от авторите на изследването, Мехрдад Фараждабар, коментира, че подобни грешки ясно показват неспособността на AI за истинско логическо мислене. AI моделите се опитват да следват моделите и логическите връзки, които вече имат като записани в техните бази, вместо да анализират нови проблемни условия и да адаптират своите заключения. Фараждабар поясни, че изследователите не са открили доказателства за формална способност за разсъждение на езиковите модели.
Ограничени, трудни за подобрение
Според експертите на Apple, в редица подобни ситуации е възможно да се подобрят резултатите от отговорите на AI чрез внедряване на методи за оптимизиране на заявките. Но решаването на наистина сложни проблеми изисква въвеждане на твърде много контекстуални данни, за да се елиминират грешките.
Производителността на всички модели се влошава дори когато се променят само числовите стойности в бенчмарка GSM-Symbolic, отбелязват изследователите. Нещо повече, крехкостта на математическите разсъждения на моделите показва, че тяхното представяне се влошава значително, тъй като се увеличава броят на граматическите корени във въпроса.
Изследователите на Apple обясняват поведението на AI моделите по-скоро със сложно съвпадение на шаблони, което е толкова уязвимо, че резултатът може да бъде повлиян от банална промяна на името.
AI в бизнеса
AI се премества от изследователските лаборатории към бизнеса, индустрията и професионалните приложения. Но все още е далеч от високите постижения на хората. И интегрирането му в ежедневните операции на голяма компания изисква повече финес, отколкото предполагат мечтите за роботи адвокати или лекари.
Разбирането на уникалните предизвикателства на внедряването на AI в голяма организация е от ключово значение за осъзнаване на истинския потенциал на тази нова технология. Объркването за AI произтича от нашите собствени, до голяма степен несъзнателни, вярвания относно интелигентността. Тези вярвания отразяват идеи за интелектуална сила с общо предназначение, подобно на понятия като сила или скорост.
Съвременните AI технологии обаче поставят ударението най-вече върху специфичните знания, които са необходими за изпълнение на определена задача, отколкото върху изчислителната мощност, която тя изисква. По този начин една AI програма за игра на шах е по-вероятно да разчита на голямо количество подробни познания за конкретни ходове и ситуации, отколкото на изключително бърз процесор, въоръжен само с правилата на играта.
Как един програмист може да получи и кодира това знание?
За много прости задачи, като например игра на Tic Tac Toe, един от начините е да изброите всички ситуации и съответни най-добрите ходове за тях, така че машината да може да реши какво да прави на всяка стъпка, просто като намери съответния ход в списъка. Като алтернатива, тъй като броят на възможностите е много малък, софтуерът може да генерира всички възможни легални ходове на всяка стъпка и да избере най-добрия.
Но за по-сложни задачи, като например игра на шах, нито един от тези подходи не е подходящ. В такива случаи AI системата трябва да представя знанието като компромис между конкретни отговори за всяка ситуация, от които винаги има твърде много, и общи принципи, чието приложение към всяка дадена ситуация може да бъде много неясно.
Основната търговска привлекателност на тези базирани на знания ИТ системи е, че те могат да се използват за програмиране на поведение, което е много трудно да се напише в конвенционална програма. По-специално, базираната на правила технология изглежда много подходяща за описание на много рутинни диагностични решения, взимани от професионалисти като лекари или инженери.
Експертите са незаменими
Компютърната технология изисква прецизност и детайлност. Точното, подробно описание на знанията, необходими за изпълнение на важна задача, може да бъде много ценно само по себе си. Често само хората, които действително изпълняват задачата, знаят какво точно се изисква за нейното изпълнение и те рядко проучват или формулират това, което знаят. В резултат, систематичното описание на знанията, изисквани от AI технологията, понякога разкрива тревожни пропуски и несъответствия.
Задвижваните от AI системи за геоложки анализ на компанията Schlumberger, например, показват как тази технология може да подобри вземането на решения за професионалисти. В началото на 80-те години на миналия век компанията започва да разработва AI системи за определяне на вероятната стойност на петролни кладенци въз основа на измервания, направени по време на сондиране. Тези анализи се извършват от екип петролни геолози и от техните решения зависят големи суми пари. Рядко обаче има достатъчно такива хора, а обучението или набирането на нови е много скъпо.
Поради всички тези причини, компанията искаше да използва AI, за да автоматизира задачата. Въпреки значителните инвестиции обаче, наистина експертната работа се оказа безценна. Schlumberger е изградила ИТ системи, които дават възможност на младшите геолози, но все още не е създала система, на която може да се има доверие, за да взема такива критични решения независимо.