Искусственный интеллект (ИИ), особенно большие языковые модели (LLM), предлагают революционные подходы к анализу и обработке юридических документов. В исследовании “Better Call GPT, Comparing Large Language Models Against Lawyers”, проведенном Onit Inc., AI Center of Excellence, основное внимание уделяется сравнению производительности этих моделей с традиционной работой юристов при выполнении задач по анализу контрактов. Результаты данного исследования не только подчеркивают потенциал ИИ в улучшении точности, скорости и стоимости юридических услуг, но и предвещают существенные изменения в будущем юридической практики.

Этот пост предназначен для освещения ключевых аспектов исследования, обсуждения его результатов и изучения потенциального влияния на юридическую индустрию. Мы рассмотрим, как именно LLM могут преобразовать традиционные подходы к анализу юридических документов и какие вызовы могут возникнуть на пути их интеграции в юридическую практику.

Команда из Onit Inc., AI Center of Excellence (Новая Зеландия), занялась анализом возможностей искусственного интеллекта в сравнении с традиционной юридической практикой. Используя реальные, анонимизированные закупочные контракты, охватывающие юрисдикции США и Новой Зеландии, исследователи стремились выявить, могут ли LLM превзойти человека-юриста по точности, скорости и стоимости анализа юридических документов.

Исследовательские Вопросы:

С этой целью исследователи сосредоточились на трех ключевых вопросах, каждый из которых направлен на оценку определенных аспектов производительности LLM по сравнению с человеческими юристами и аутсорсинговыми юридическими компаниями (LPO).

Превосходят ли LLM младших юристов и юридические компании в определении и локализации юридических проблем в контрактах?

Этот вопрос был направлен на оценку точности и полноты LLM по сравнению с юридическими профессионалами в определении и точной локализации юридических проблем в тексте контрактов. Исследование стремилось установить, способны ли LLM обеспечить более высокий уровень детализации и надежности при выявлении потенциальных юридических вопросов.

Могут ли LLM анализировать контракты быстрее, чем младшие юристы и юридические компании?

В рамках этого вопроса основное внимание уделялось оценке эффективности LLM с темпоральной точки зрения. Исследователи стремились выяснить, способны ли LLM обрабатывать и реагировать на юридические запросы быстрее, чем это делают человеческие юристы, тем самым сокращая время, необходимое для анализа контрактов.

Могут ли LLM анализировать контракты дешевле, чем младшие юристы и LPO?

Этот исследовательский вопрос сосредоточился на сравнении затрат на анализ контрактов с использованием LLM по сравнению с затратами на услуги юристов и LPO. Целью было установить, обеспечивают ли LLM более экономически выгодное решение для анализа юридических документов, учитывая стоимость их использования по сравнению с традиционными юридическими услугами.

Для достижения этой цели была разработана комплексная методология, включающая следующие ключевые элементы:

• Отбор Контрактов: Использовались закупочные контракты, охватывающих юрисдикции США и Новой Зеландии. Это обеспечило широкую применимость результатов исследования.
• Установление Эталонных Данных: Опытные юристы анализировали каждый контракт, определяя наличие и локализацию юридических проблем в соответствии с заранее установленным чек-листом требований. Эти данные служили основой для сравнения производительности LLM и юристов.
• Анализ Производительности: Производительность LLM и юристов оценивалась по таким параметрам, как точность определения юридических проблем, скорость анализа контрактов и стоимость анализа на контракт.

Исследование было построено на сравнительном анализе производительности LLM и юристов при выполнении задач по выявлению и анализу юридических проблем в контрактах. Оценка основывалась на нескольких ключевых параметрах:

• Точность: Способность корректно идентифицировать юридические проблемы.
• Скорость: Время, необходимое для анализа каждого контракта.
• Стоимость: Затраты на анализ одного контракта с использованием различных подходов.

Инженерия подсказок является критически важным аспектом в процессе взаимодействия с большими языковыми моделями (LLM), особенно когда речь идет о выполнении задач по проверке и анализу контрактов. Эффективное применение подсказок позволяет максимально раскрыть потенциал LLM, направляя их на решение конкретных задач с учетом всех необходимых условий и параметров. В исследовании был применен особый подход к созданию подсказок для каждой из моделей LLM, что обеспечило их высокую производительность в задачах анализа контрактов.

Структура Подсказок

Подсказки были структурированы с учетом трех ключевых элементов: роль, задача и контекст.

• Роль: Моделям предлагалось принять образ юриста, что требовало от них понимания и выполнения задач, характерных для юридической практики. Это позволило LLM адаптироваться к специфике задания и применять юридические знания для анализа контрактов.
• Задача: Основная задача, поставленная перед LLM, заключалась в анализе контрактов на соответствие заданным стандартам и выявлении наличия проблем. Это включало в себя не только идентификацию юридических вопросов, но и определение их точного расположения в тексте контракта.
• Контекст: Элемент контекста предоставлял дополнительные инструкции и информацию, которые обычно доступны юристам, LPO или специалистам по анализу контрактов. Контекст включал в себя информацию о договаривающихся сторонах, цели контракта, а также специфические сценарии, в рамках которых происходило заключение контракта.

Пример промпта:

Ваша задача, как опытного юриста, – тщательно проанализировать контракты находящихся на стадии переговоров, с точки зрения стороны-поставщика.

Ваша целевая аудитория – внутренние юристы, а контракты, которые вы изучаете, являются отдельными соглашениями между сторонами. Эти контракты представляют собой смесь документов США и НЗ. Ваша цель – выявить все юридические проблемы. которые могут потенциально повлиять на юридические права и обязанности вашего клиента, например формулировки в договоре, которые не соответствуют стандартам или требованиям стороны, которую вы представляете. Это могут быть спорные моменты, двусмысленности, потенциальные риски или вопросы соответствия, которые могут привести к спору или ответственности.

Ваш анализ должен основываться на следующем:
– Сценарий документа, приведенный для каждого договора, в котором содержится справочная информация контекст для обеих сторон, участвующих в соглашении, включая размер, отрасль, и продукт/услугу сторон, а также любые конкретные проблемные области в договоре. договоре.
– Предоставленный договор.
– Предоставленный контрольный список для клиента, которого вы представляете, в котором перечислены пункты которые они считают важными в договоре. Эти пункты, или “проверки”, указывают на правовой стандарт или требование стороны, которую вы представляете.
Внимательно проанализируйте каждый раздел предоставленного договора и определите ВСЕ проверки, перечисленные в предоставленном контрольном списке. Оформите свой ответ в виде JSON-объекта, включающего массив JSON-объектов, каждый из которых представляет каждый из которых представляет отдельную проверку из контрольного списка. Каждый из этих JSON-объектов ДОЛЖЕН содержать следующие ключи:

1. ćhecklist_Numbering’: Нумерация чека из контрольного списка.
Пожалуйста, строго придерживайтесь ТОЧНОГО формата нумерации, используемого в чек-листе.
2. ćontract_Lines’: Массив предложений или пунктов контракта, который соответствует проверке.
Если в контракте нет конкретного предложения или пункта, относящегося к проверке чеком, то оставьте этот ключ пустым.
3. ‘объяснение’: Исчерпывающее и описательное объяснение того, как договор соответствует/не соответствует правовому стандарту, указанному в проверке.
4. ‘check_Met’: Укажите, соответствует ли проверка стандарту “Выполнена”/”Не выполнена”. Если ключ contract_Lines равен ‘null’, укажите ‘Not met’.
5. ‘assumptions’: Перечислите все дополнительные допущения, которые были необходимы для для ответа на эту проверку.

Важно:
– Предоставьте отдельный объект JSON для КАЖДОЙ проверки.
– Убедитесь, что каждый объект JSON отформатирован в следующем порядке: ‘контрольный список_нумерация’, ‘контракт_строки’, ‘объяснение’, ‘проверка_мета’, ‘предположения’.
– Убедитесь, что строго придерживаетесь структуры и именования ключей, как описано выше.
– Не забывайте тщательно перечитывать договор и рассматривать каждую проверку отдельно для точной идентификации.
– Контекст, представленный в сценарии документа, должен направлять ваш процесс анализа процесс.

Исследование показало, что LLM не только соответствуют, но и превосходят человеческую точность в определении юридических проблем, осуществляя анализ значительно быстрее и с намного меньшими затратами. В частности, некоторые модели, такие как GPT-4, демонстрируют впечатляющие результаты, обеспечивая анализ контрактов за доли минут, в то время как аналогичная задача занимала у юристов до нескольких часов.

Эти выводы подчеркивают потенциал LLM как мощного инструмента для оптимизации юридических процессов, предлагая юридическим фирмам и отделам возможность значительно повысить эффективность и снизить затраты на рутинную работу по анализу контрактов.

Сравнение Производительности

Сравнительная оценка производительности была направлена на два ключевых аспекта: способность определять и локализовать юридические проблемы в контрактах.

В аспекте определения юридических проблем, модели GPT4-1106 и практикующие юридические организации показали лучшие результаты, достигнув F-score 0.87, что указывает на высокий уровень точности и надежности. Младшие юристы достигли F-score 0.86, что немного ниже, чем у ведущих LLM. Другие модели, такие как Claude 2.0 и GPT4-32k, также продемонстрировали сильные показатели с F-score 0.82. В то время как GPT3.5 и Palm2 text-bison показали более низкую точность.

F-score – средневзвешенная гармоническая между точностью и полнотой. Она показывает баланс между двумя важнейшими характеристиками: точностью и полнотой. Чем ближе F к 1, тем лучше результат.

В аспекте локализации юридических проблем юридические организации вышли вперед с F-мерой 0.77, опережая лучшую LLM по этому показателю, GPT4-32k, с F-мерой 0.74. Заметно, что GPT4-1106, хотя и выделялась в определении проблем, показала более низкую точность в локализации, достигнув F-меры 0.69. Это подчеркивает различия в компетенциях и ограничениях, характерных для каждой LLM.

Cравнение Времени

Анализ времени эффективности выявил значительные различия между младшими юристами, юридическими организациями и LLM при рассмотрении контрактов.

Среди человеческих практиков старшие юристы показали наибольшую эффективность, затрачивая в среднем 43.46 минуты на документ, тогда как младшие юристы тратили в среднем 56.17 минут. Юридические организации занимали значительно больше времени — в среднем 201 минуту.

Все LLM продемонстрировали значительно более высокую временную эффективность. Самое длительное время обработки заняло у GPT-1106 — в среднем 4.7 минуты, а самое короткое у Palm2 text-bison — 0.73 минуты. Эти результаты указывают на то, что LLM значительно превосходят младших юристов и юридические организации по временной эффективности при анализе юридических контрактов

Сравнение Стоимости

Детальное сравнение затрат между юристами, практикующими LPO и использованными в исследовании LLM было критически важно для понимания экономических последствий применения LLM в юридической сфере.

Стоимость за контракт для человеческих практиков была рассчитана на основе их среднего времени, затраченного на контакт, и соответствующих почасовых ставок. Для LLM стоимость определялась по среднему количеству входных и выходных токенов и соответствующей стоимости за токен, за исключением Palm2 text-bison, цена которой была основана на количестве использованных символов.

Конкретные Цифры Сравнения Стоимости

• Человеческие Практики: Стоимость анализа одного контракта для старших юристов оценивалась в среднем в $76, основываясь на их почасовой ставке и времени, затраченном на анализ документа. Младшие юристы, затрачивая больше времени на анализ, имели схожую стоимость анализа — около $74 за контракт. Юридические организации, занимающие значительно больше времени на обработку одного контракта, показали наибольшую стоимость — в среднем $201 за документ, отражая более высокие затраты, связанные с их услугами.
• LLM: Стоимость использования LLM для анализа контрактов оказалась значительно ниже по сравнению с человеческими практиками. Например, использование GPT-4 1106 обошлось всего в $0.25 за контракт, основываясь на среднем количестве обработанных входных и выходных токенов и стоимости за токен. Самая выгодная модель, Claude 2.0, предложила анализ по цене около $0.02 за документ, демонстрируя экстремально низкую стоимость по сравнению с традиционными методами.

Сравнение показало резкую разницу в стоимости между человеческими практиками и LLM, с LLM предлагающим значительно более низкую стоимость за документ. Это подчеркивает потенциальную экономическую эффективность использования LLM в юридических задачах, связанных с определением и локализацией юридических проблем в контрактах.

Применение больших языковых моделей (LLM) в анализе юридических документов, как показывает исследование “Better Call GPT, Comparing Large Language Models Against Lawyers”, открывает новые перспективы для юридической индустрии. Эти технологии предлагают не только повышение эффективности и снижение затрат, но и могут кардинально изменить подходы к юридической работе.

Улучшение доступности и эффективности юридических услуг

LLM могут значительно ускорить процесс анализа и обзора контрактов, делая юридические услуги более доступными для широкого круга клиентов. Это особенно важно в условиях, когда сокращение времени на юридическую обработку документов может способствовать более быстрому заключению сделок и снижению общих операционных расходов.

Трансформация роли юристов

С учетом того, что LLM могут брать на себя выполнение рутинных задач, юристам предоставляется возможность сосредоточиться на более сложных и творческих аспектах работы, требующих человеческого суждения и опыта. Это может привести к повышению качества юридических услуг и укреплению доверия клиентов.

Возможные вызовы и проблемы

Внедрение ИИ в юридическую практику также поднимает ряд вопросов, связанных с конфиденциальностью данных, ответственностью за ошибки ИИ, а также необходимостью разработки новых нормативно-правовых рамок. Кроме того, существует риск сокращения рабочих мест для юристов, особенно на начальных уровнях, где многие задачи могут быть автоматизированы.

Переосмысление будущего юридической индустрии

В долгосрочной перспективе, широкое применение LLM может способствовать развитию новых моделей оказания юридических услуг, в том числе через онлайн-платформы и автоматизированные системы юридической поддержки. Это, в свою очередь, может укрепить инновационный потенциал отрасли и создать новые возможности для предоставления юридических услуг на глобальном уровне.

Исследование “Better Call GPT, Comparing Large Language Models Against Lawyers” представляет собой важный шаг на пути к пониманию и оценке потенциала искусственного интеллекта в юридической индустрии. Результаты показывают, что LLM могут не только соответствовать, но и превосходить человеческую производительность в определенных аспектах анализа контрактов, предлагая более быстрые, точные и экономически эффективные решения.

Мы стоим на пороге новой эры в юридической практике, где ИИ является мощным инструментом, который может усилить и расширить возможности профессионалов, предоставляя более качественные и доступные юридические услуги или заменой человеку в этом процессе.

В Нейрохабе мы твердо верим в потенциал искусственного интеллекта и стремимся использовать его для трансформации бизнес-процессов. Мы готовы помочь вашему бизнесу раскрыть весь потенциал ИИ, предлагая инновационные решения, которые могут оптимизировать юридические процессы, повысить их эффективность и уменьшить затраты.

Если вы заинтересованы в том, чтобы узнать больше о том, как ИИ может преобразить вашу юридическую практику, свяжитесь с нами. Вместе мы можем воплотить будущее юридических услуг уже сегодня.