Юрист взагалі не має нікому довіряти. Мружити очі і підозріло дивитися тупо на все і всіх, включно із власним ранковим відображенням у дзеркалі ліфту. Бо як інакше прості люди дізнаються, що ти юрист? Це очевидно. Але щодо штучного інтелекту у нас є особлива тваринна недовіра, викликана шокуючими заявами від справжніх експертів юридичного права накшталт Савелія Хуєва: “ШІ замінить всіх юристів вже у цієї пʼяниці”.

Професор Гарварду, МІТ і університету Чикаго Keyon Vafa, Ashesh Rambachan і Sendhil Mullainathan відповідно, два місяці тому опублікували статтю під назвою:

“Do Large Language Models Perform the Way People Expect? Measuring the Human Generalization Function”

Я сподіваюся, ви не полізете читати статтю, аби перевірити кілька моїх недолугих тез, бо там цифри, формули, і взагалі сложна. Я відкрив її суто тому, що мій професор порадив, а мені тупо незручно було не прочитати. Оскільки автори досліджують застосування ШІ, зокрема, у праві, то ділюся.

Тези ось які:

0) У великих мовних моделей (LLM) безліч застосувань: допомогти написати код на Пайтоні, зробити саммарі наукової статті, перекласти текст на вигадану мову. Це розмаїття застосувань з одного боку чудово; але є інший бік, на якому це розмаїття створює “проблему узагальнення” (generalisation problem). Ось як автори формулюють цю проблему: якщо ШІ добре впорався з одним конкретним завданням, користувачу здається, що і з іншими завданнями він упорається добре”.

1) По перше, є проблеми, вирішення яких непросто поміряти. Переклад тексту з української на англійську користувач оцінить легко, якщо він тільки знає українську і англійську. Але якщо цьому ж користувачу потрібно буде перекласти з англійської на Санскрит, якого користувач не знає, він/вона просто повірить мовній моделі, бо вона ж колись добре переклала на англійську. А є завдання, правильність виконання яких взагалі неможливо поміряти. Наприклад, оцінити якість брейншторму, або пояснення якоїсь концепції.

(Думаєте, чому Chat GPT просить оцінити якість відповіді — от чому).

2) По друге, це правило працює і навпаки. Якщо модель написала неробочий код на Пайтоні, то користувач зробить висновок про те, що модель фігово працює.

3) Для перевірки цих двох тверджень автори провели такий експеримент. Вони давали людині по черзі пари рандомних запитань і просили передбачити, чи правильну відповідь дасть модель. На основі аналізу 19’000 відповідей вони встановили, що якщо модель правильно відповіла на питання з однієї сфери, користувач частіше припускає, що на питання з іншої сфери відповідь теж буде правильною.

4) Ну і найголовніше. Автори кажуть, що найгірше LLM справляються із тими сферами, де ціна помилки найвища: це медичні діагнози, фінансові передбачення, ну і юридичні висновки.

5) Тому автори радять використовувати для специфічних задач не великі моделі загального вжитку типу ChatGPT, а менші й специфічні моделі. Наприклад, для права — юридичні мовні моделі, для фінансів — фінансові.

Приклад про 10.11 > 10.9 на картинці ідеально ілюструє описану проблему. Мовна модель Chat GPT натренована на текстах, тому з математикою у неї тугенько. Цей приклад не мій, я лише повторив із Chat GPT 4.o експеримент свого професора з U of T (той, що радив статтю). Якщо вистачить натхнення, то я завтра вас заочно познайомлю трохи ближче.

Діма Гадомський