Чат-боты получили «тройку» по истории России
Chat-GPT сдал уже не один экзамен, а вот с историей у него возникли проблемы. Таковы результаты эксперимента, который провели в Уральском федеральном университете. Оказалось, что программы, не зная ответа, начинают импровизировать. Как правило, неудачно.
Проверку нейросетям Chat-GPT и Sage устроил доцент кафедры истории России Михаил Киселев. По его словам, сдающих экзамен студентов можно условно разделить на три типа: первый — хорошо подготовленные и в деталях владеющие предметом; второй — ничего не учившие; третий — что-то читавшие, и на этих обрывках знаний пытающиеся импровизировать.
«Там, где материал имеет однозначные ответы, нейросеть отвечает нормально, адекватно. В остальном имитирует самостоятельные рассуждения. И здесь начинаются проблемы, потому что она может просто выдумывать факты, несуществующие работы или авторов», — рассказал о выводах своего эксперимента Михаил Киселев.
По его словам, на вопросы с устойчивой общей научной терминологией (например, в чем разница между историческими и историографическим источниками?) нейросети дали правильные ответы. А вот со сложным гуманитарным материалом искусственный интеллект справляется не всегда. Он владеет современным русским языком, поэтому допускает анахронизмы и путается в устаревшей лексике.
Михаил Киселев спрашивал Chat-GPT и Sage об истории Руси. Отвечая на вопрос о том, что такое завещание Василия III, программы называли великого князя царем, а Chat-GPT использовал неподходящее эпохе слово «министры». А когда экзаменатор в следующем вопросе вместо слова «завещание» использовал термин «духовная» искусственный интеллект попал в тупик. Chat GPT заявил, что «это период правления российского царя Василия III (1479–1533), когда произошло значительное развитие православной церкви в России». Sage посчитал, что «это название церковной реформы, проведенной российским царем Василием III в конце XV – начале XVI веков».
В каких профессиях чат-боты смогут заменить человека?
ЧитатьНа вопрос о том, какие историки писали о завещании Василия III, обе нейросети начали «лить воду». Они называли наиболее известных дореволюционных специалистов — Сергея Соловьева и Василия Ключевского. Правда, те писали обобщающие работы по истории России, а об этом документе лишь упоминали. Про авторов узких работ по заданной теме, имена которых можно легко найти в интернете, ни Chat-GPT, ни Sage не сказали. Зато придумали несуществующих историков и их книги.
«В тех дисциплинах, где повышается сложность из-за вариативности материала, существования разных подходов и концепций, а также использования разных языков, нейросеть превращается из „отличника“ в посредственного „троечника“, которого хочется отправить на пересдачу. Возможно, в будущем из нейросети получится создать помощника, который будет на основе индексации загруженных материалов с соответствующими ссылками давать подсказки, где что упоминается. Или возьмет на себя часть технической работы — оформление списков литературы, составление аннотации и ключевых слов».
Нейросеть не сможет думать за человека, она для этого не приспособлена. Однако она сможет создать для этого более комфортные условия.
Михаил Киселев
Нейросеть GPT-4 стала умнее и научилась обманывать
Читать
