ChatGPT и Sage провалили экзамен по истории в УрФУ. Студент «поплыл», — сказали преподаватели

Ученые Уральского федерального университета заявили, что нейросети ChatGPT и Sage не смогут сдать вузовский экзамен по истории на «отлично». По словам специалистов, алгоритмы пока не воспринимают нюансы языков разных эпох, а также заполняют пробелы в знаниях выдуманными фактами. Об этом ТАСС рассказали в пресс-службе УрФУ.

На вопросы, связанные с использованием устойчивой общей научной терминологии, нейросети давали вполне адекватные ответы. Обе нейросети дали приемлемый ответ на вопрос: «В чем разница между историческими и историографическими источниками?» Однако со сложным гуманитарным материалом нейросеть не справляется, говорят историки.

По словам экспертов, в работе живой историк имеет дело с языками нескольких эпох: терминология XVI века в нескольких вариантах (церковнославянский язык, язык деловой письменности, разговорный), XIX века, советско-марксистский язык XX века и современный — и все это русский язык, который понимает человек. Нейросеть же владеет только современным русским языком и не воспринимает нюансы языков разных эпох.

Экзамен для ИИ провел доцент кафедры истории России УрФУ Михаил Киселев. Преподаватель назвал нейросети «студентом-импровизатором» и поставил им тройку.

«Есть тип, когда студент выучил кое-что, но делает вид, что он знает все. И тогда, опираясь на какие-то обрывочные сведения, он начинает импровизировать и строить целостные ответы, которые на самом деле оказываются проблемными. Примерно так делает нейросеть: там, где материал имеет однозначные ответы, нейросеть отвечает нормально, адекватно, но в остальном она имитирует самостоятельные рассуждения, и здесь начинаются проблемы, потому что нейросеть может просто выдумывать факты, несуществующие работы или авторов», — рассказывает Киселев.

Например, на вопрос «Какие историки писали о завещании Василия III?» обе нейросети сначала сообщили, что об этом «писали многие историки», после чего назвали наиболее известных дореволюционных ученых, которые писали обобщающие работы по истории России, хотя необходимые авторы легко находятся в поисковых системах.

«Примечательно, что нейросети наравне с реальными историками и их работами могут выдумывать как историков, так и книги. Sage назвала некоего Александра Васильевича Пильяра, а Chat GPT заявил, что Андрей Краевский якобы написал книгу „История Российского государства“. Если представить, что такая беседа велась на экзамене, то можно сказать, что студент „поплыл“ из-за неглубокой проработки материала, хотя и старался держаться уверенно, пытаясь доказать противоположное», — говорит Киселев.

Ascannio / Shutterstock / Fotodom