Насколько умна нейросеть? Можно ли проверить её знания, так как их проверяют у человека?

Недавно нейросеть ChatGPT сдавала экзамен на адвоката по всем канонам: сама выбрала себе билет, ответила на теоретические вопросы, решила адвокатскую задачу из билета, дала юридическую консультацию и проверила свои силы в написании договора. Бонусом – ответила на вопрос о том, сможет ли искусственный интеллект заменить человека.

Ответы на теоретические вопросы получились довольно общими, без ссылок на конкретные нормы права, однако в целом показали знания ChatGPT. Экзаменаторы заключили, что с таким уровнем знаний ИИ вряд ли потянет экзамен на судью, но вот со школьной программой по обществознанию справится на ура. 

В результате, модно прийти к выводу, что нейросеть дает общие ответы, зачастую без конкретики и подробностей, часто путает ссылки на статьи, а в юридических консультациях дает скорее банальные советы, которые итак интуитивно понятны тому, кто обратился с вопросом. Если говорить и написании договора или искового заявления, то результатом становятся простейшие шаблоны, которые можно легко найти на просторах интернета. Поэтому речи о конкурентоспособности по отношению к человеку и уже тем более о замене ею человека в настоящее время не идет. Возможно, в будущем произойдут какие-либо изменения, ведь нейросеть продолжает учиться и постоянно совершенствуется.