Каждый 2-ой ответ ChatGPT на тему IT и программирования оказался неверным
Спецы Универа Пердью (США) заявили, что пользующиеся популярностью чат-боты совершают через чур немало ошибок, давая советы программерам. Исследование размещено в материалах конференции CHI по людскому фактору в вычислительных системах.
Из слов создателей научной работы, одними из первых чат-ботов начали применять IT-специалисты, которые задавали искусственному уму технические вопросы либо просили посодействовать с редактированием кода. Ученые узнали, что советы ChatGPT — самого пользующегося популярностью чат-бота — надо перепроверять: приблизительно каждый 2-ой его ответ оказался неверным.
Спецы избрали 517 вопросов на тему программирования с веб-сайта StackOverflow — площадки, где IT-специалисты делятся познаниями. Исследователи переадресовали вопросы ChatGPT, а потом перепроверили их. Выяснилось, что чат-бот давал неправильные ответы в 52 процентах случаев. Исходя из этого, специалисты окрестили обслуживание нехорошим ассистентом для программистов.
Также выяснилось, что живы спецы давали больше лаконичные ответы, чем ChatGPT. В материале сообщается, что приобретенные чат-ботом ответы предлагали юзерам StackOverflow, и те в 35 процентах случаев воспринимали их за правду, не замечая ошибок.
Раньше журналисты издания The Verge направили внимание на фактическую ошибку в рекламе умного поиска Гугл. Так, в случае неработающего затвора ИИ дал советы открыть крышку камеры — по словам профессионалов, этого делать нельзя из-за высочайшего риска засветить пленку.