Чат-боты получили «тройку» по истории России

Chat-GPT сдал уже не один экзамен, а вот с историей у него возникли проблемы. Таковы результаты эксперимента, который провели в Уральском федеральном университете. Оказалось, что программы, не зная ответа, начинают импровизировать. Как правило, неудачно.

Проверку нейросетям Chat-GPT и Sage устроил доцент кафедры истории России Михаил Киселев. По его словам, сдающих экзамен студентов можно условно разделить на три типа: первый — хорошо подготовленные и в деталях владеющие предметом; второй — ничего не учившие; третий — что-то читавшие, и на этих обрывках знаний пытающиеся импровизировать. 

«Там, где материал имеет однозначные ответы, нейросеть отвечает нормально, адекватно. В остальном имитирует самостоятельные рассуждения. И здесь начинаются проблемы, потому что она может просто выдумывать факты, несуществующие работы или авторов», — рассказал о выводах своего эксперимента Михаил Киселев.

Михаил Киселев за трибуной Фото: © УрФУ

По его словам, на вопросы с устойчивой общей научной терминологией (например, в чем разница между историческими и историографическим источниками?) нейросети дали правильные ответы. А вот со сложным гуманитарным материалом искусственный интеллект справляется не всегда. Он владеет современным русским языком, поэтому допускает анахронизмы и путается в устаревшей лексике. 

Михаил Киселев спрашивал Chat-GPT и Sage об истории Руси. Отвечая на вопрос о том, что такое завещание Василия III, программы называли великого князя царем, а Chat-GPT использовал неподходящее эпохе слово «министры». А когда экзаменатор в следующем вопросе вместо слова «завещание» использовал термин «духовная» искусственный интеллект попал в тупик. Chat GPT заявил, что «это период правления российского царя Василия III (1479–1533), когда произошло значительное развитие православной церкви в России». Sage посчитал, что «это название церковной реформы, проведенной российским царем Василием III в конце XV – начале XVI веков». 

В каких профессиях чат-боты смогут заменить человека?

Читать

На вопрос о том, какие историки писали о завещании Василия III, обе нейросети начали «лить воду». Они называли наиболее известных дореволюционных специалистов — Сергея Соловьева и Василия Ключевского. Правда, те писали обобщающие работы по истории России, а об этом документе лишь упоминали. Про авторов узких работ по заданной теме, имена которых можно легко найти в интернете, ни Chat-GPT, ни Sage не сказали. Зато придумали несуществующих историков и их книги. 

«В тех дисциплинах, где повышается сложность из-за вариативности материала, существования разных подходов и концепций, а также использования разных языков, нейросеть превращается из „отличника“ в посредственного „троечника“, которого хочется отправить на пересдачу. Возможно, в будущем из нейросети получится создать помощника, который будет на основе индексации загруженных материалов с соответствующими ссылками давать подсказки, где что упоминается. Или возьмет на себя часть технической работы — оформление списков литературы, составление аннотации и ключевых слов». 

Нейросеть не сможет думать за человека, она для этого не приспособлена. Однако она сможет создать для этого более комфортные условия.

Михаил Киселев

Нейросеть GPT-4 стала умнее и научилась обманывать

Читать
Оцените статью
Поделись знанием

Рекомендуем

1
Реальный кейс: как искусственный интеллект меняет HR #ИИ #персонал 28 февраля 2023 18:28
2
Зверский чат-бот: искусственный интеллект научит нас общаться с животными #ИИ #животные #чат-бот 05 мая 2023 07:27
3
Нейросеть-фермер знает, сколько нужно откармливать теленка #ИИ #сельское хозяйство 12 мая 2023 17:09