miralinks.ru

Алгоритм Google PaLM: дорога к языковым моделям следующего поколения

Рубрика: Теория и статистика | Время на чтение: 12 мин.

Новый алгоритм PaLM – это ещё один шаг к реализации архитектуры ИИ поисковой системы Google, позволяющий заглянуть в следующее поколение языковых моделей поиска.

Алгоритм Google PaLM: дорога к языковым моделям следующего поколения

А спонсором блога в этом месяце выступает сервис Rookee. Когда требуется комплексное поисковое продвижение, контекстная реклама на автопилоте или формирование репутации в сети – на помощь приходят Rookee!

Компания Google объявила о прорыве в области создания архитектуры искусственного интеллекта (AI), способном решать миллионы различных задач, включая сложное обучение и логические умозаключения. Новая система называется Pathways Language Model, или PaLM.

PaLM способна превзойти современные человеческие языковые модели в тестах на знание языка и рассуждения.

Но исследователи также отмечают, что они не могут избавиться от ограничений, присущих крупномасштабным языковым моделям, которые могут непреднамеренно привести к негативным этическим последствиям.

Обучение на малых наборах данных (few-shot learning)

Few-shot learning – это новый этап обучения алгоритмов, который выходит за рамки глубокого обучения.

Исследователь Google Brain, Хьюго Ларошель, в презентации под названием «Обобщение на основе нескольких примеров с помощью мета-обучения» объяснил, что, при глубоком обучении, проблема заключается в том, что необходимо собрать огромное количество данных, что требует значительного количества человеческого труда:

Он отметил, что глубокое обучение (deep learning), скорее всего, не станет путём к созданию ИИ, способного решать множество различных задач, поскольку, при глубоком обучении, для каждой задачи требуются миллионы примеров.

Ларошель объясняет:

…идея заключается в том, что мы попытаемся решить эту проблему напрямую, проблему обучения на основе few-shot learning, которая является проблемой обобщения на основе небольшого количества данных.

…основная идея того, что я предлагаю, заключается в том, что вместо того, чтобы пытаться определить, что такое алгоритм обучения по N и использовать нашу интуицию в отношении того, что является правильным алгоритмом для обучения по малым наборам данных, мы на самом деле пытаемся изучить этот алгоритм комплексно.

Вот почему мы называем это обучением для обучения или, как мне нравится это называть, мета-обучением.

Цель подхода, основанного на малых наборах данных, заключается в приближении к тому, как люди учатся различным вещам и могут применять различные кусочки знаний вместе, для решения новых проблем, которые никогда ранее им не встречались.

Преимущество здесь заключается в том, что машина может использовать все, имеющиеся у неё, знания, для решения новых проблем.

В случае с PaLM, примером такой способности является возможность ИИ объяснить шутку, с которой он никогда раньше не сталкивался.

Искусственный интеллект Pathways

В октябре 2021 года компания Google опубликовала статью, в которой изложила цели новой архитектуры ИИ под названием Pathways. Она представляет собой новую главу в продолжающемся прогрессе разработки систем ИИ.

Стандартный подход заключался в создании алгоритмов, которые были обучены делать конкретные вещи очень хорошо.

Подход Pathways заключается в создании единой модели ИИ, которая может решать любые проблемы, обучаясь тому, как их решать, избегая, таким образом, менее эффективного способа обучения тысяч алгоритмов, для выполнения тысяч различных задач.

Согласно документации Pathways:

Вместо этого мы хотели бы обучить одну модель, которая может не только решать множество отдельных задач, но и использовать и комбинировать имеющиеся навыки для более быстрого и эффективного обучения новым задачам.

Таким образом, то, что модель узнает, тренируясь на одной задаче – скажем, изучая, как аэрофотоснимки могут предсказать высоту ландшафта – может помочь ей в изучении другой задачи – скажем, предсказания того, как паводковые воды будут протекать через данную местность.

Модель Pathways определила путь Google по выведению ИИ на новый уровень, чтобы сократить разрыв между машинным и человеческим обучением.

Новейшая модель Google, названная Pathways Language Model (PaLM), является следующим шагом в развитии, и, согласно новой исследовательской работе, PaLM представляет собой значительный прогресс в области ИИ.

Чем примечателен алгоритм Google PaLM

PaLM масштабирует процесс обучения на малых наборах данных.

Согласно исследовательским материалам:

Крупные языковые модели, как было показано, достигают высокой производительности в различных задачах естественного языка, используя обучение на малых наборах данных, что значительно сокращает количество учебных примеров, необходимых для адаптации модели к конкретному приложению.

Чтобы углубить наше понимание влияния масштаба на обучение с помощью малых наборов данных, мы обучили языковую модель-трансформер с 540 миллиардами параметров, с компактной активацией, которую назвали Pathways Language Model (PaLM).

Существует множество опубликованных научных работ, в которых описываются алгоритмы, функционирующие не лучше, чем средний текущий уровень, или достигают лишь постепенного улучшения.

С PaLM дело обстоит иначе. Исследователи заявляют о значительном улучшении, по сравнению с текущими лучшими моделями, и даже опережением человеческих эталонных показателей. Именно этот уровень успеха делает новый алгоритм примечательным.

Исследователи отмечают:

Мы демонстрируем преимущества масштабирования, добиваясь лучших в мире результатов обучения за несколько мгновений, на сотнях эталонных задач понимания языка и генерации.

По ряду этих задач PaLM 540B достигает прорывной производительности, превосходя тщательно настроенную современную модель, в работе с наборами многоэтапных логических рассуждений, и превосходя среднюю производительность живого человека по свежему стандарту «BIG-bench».

Значительное число задач BIG-bench показали скачкообразное улучшение от масштаба модели, то есть производительность резко возрастала, по мере масштабирования до нашей самой большой модели.

PaLM превосходит современные достижения в задачах обработки английского естественного языка, и это делает PaLM важным и заметным.

На общем эталоне под названием BIG-bench, состоящем из более чем 150 задач (связанных с логическими рассуждениями, переводом, ответами на вопросы), PaLM превзошёл текущий технологический уровень, но были области, где он работал не так хорошо.

Стоит отметить, что живой человек превзошёл PaLM в 35% заданий.

Сравнение показателей Google PaLM и живого человека

PaLM лучше справился с переводом с другого языка на английский, чем с переводом с английского на другие языки. Исследователи заявили, что это распространённая проблема, которую можно решить, отдавая приоритет большему количеству многоязычных данных.

Тем не менее, PaLM значительно превзошёл другие языковые модели и живого человека по всем показателям.

Способность PaLM к рассуждениям

Особого внимания заслуживают результаты выполнения PaLM арифметических задач и задач на логическое мышление.

Пример арифметической задачи

Вопрос:

У Роджера есть 5 теннисных мячей. Он покупает еще 2 банки теннисных мячей. В каждой банке по 3 теннисных мяча. Сколько теннисных мячей у него теперь?

Ответ:

Ответ: 11.

Пример логических рассуждений

Вопрос:

Шон торопился домой, но свет переключился на жёлтый, и он был вынужден сделать что?

Варианты ответа: (a) требовать времени (b) бездельничать (c) идти медленно (d) океан (e) притормозить.

Ответ:

Ответ: (e) притормозить.

Генерирование объяснений

Другим выдающимся примером того, насколько продвинутым является PaLM, выступает генерация тестов объяснений.

Вот как это описывается в исследовательской работе:

Цель данного раздела – продемонстрировать возможности PaLM в отношении генерации языка объяснений, для подсказок, требующих сложного сочетания логической цепочки умозаключений, знания мира, понимания абстрактного и лексикографического языка (например, каламбуров).

Объяснение шуток

Ниже – пример языковой модели, объясняющей шутку.

Шутка:

Я собирался лететь в гости к своей семье 6 апреля. Моя мама сказала: «О, здорово, у твоего отчима поэтические чтения в этот вечер!».

Так что теперь я прилетаю 7 апреля.

Объяснение PaLM:

Шутка заключается в том, что мать говорящего пытается уговорить его пойти на поэтические чтения отчима, но говорящий не хочет идти, поэтому он меняет свой рейс на следующий, после поэтических чтений, день.

Цепочка умозаключений

Вот пример цепочки умозаключений, когда для создания ответа необходимо правильно соединить и рассмотреть несколько понятий и сущностей.

Вводные данные:

Гвидо пишет программу на языке Python. Он постоянно путается в области видимости переменных и ищет её на StackOverflow.

Возможно ли, что под Гвидо подразумевается Гвидо ван Россум?

Вывод PaLM:

Гвидо ван Россум является создателем Python. Ему не нужно искать область видимости переменной на StackOverflow.

Ответ: «Нет».

Вот ещё один пример.

Вводные данные:

Дженнифер выглянула в окно и видит под собой очень классное облако. Она отстегивает ремень безопасности и направляется в туалет. Возможно ли, что Дженнифер движется со скоростью более 300 миль в час относительно Земли?

Вывод PaLM:

300 миль в час – это около 480 км/ч. Это, примерно, скорость коммерческого самолёта. Облака обычно находятся ниже самолётов, поэтому Дженнифер, вероятно, летит на самолёте.

Ответ: «Да».

Логические умозаключения Pathways Language Model

Поисковая система нового поколения?

Приведённый выше пример способности PaLM к сложным рассуждениям демонстрирует, как поисковая система следующего поколения может быть способна отвечать на сложные вопросы, используя знания из Интернета и других источников.

Достижение архитектуры ИИ, способной выдавать ответы, отражающие окружающий нас мир, является одной из заявленных целей Google Pathways, и PaLM – шаг в этом направлении.

Однако авторы исследования подчеркнули, что PaLM – это не последнее слово в области ИИ и поиска. Они прямо заявили, что новая модель – это лишь первый шаг к следующему виду поисковых систем, который предполагает Pathways.

Прежде чем мы с вами продолжим увлекательное погружение в мир современных алгоритмов Google, стоит уяснить два технических термина, чтобы понять, о чём идёт речь:

  1. Модальности (условия).
  2. Генерализация (обобщение).

Термин «модальности» относится к тому, как вещи переживаются или в каком состоянии они существуют, например, текст, который читают, изображения, которые видят, вещи, которые слушают.

Термин «генерализация» в контексте машинного обучения означает способность языковой модели решать задачи, на которых она ранее не обучалась.

Исследователи отмечают:

PaLM – это только первый шаг в нашем видении создания Pathways, как будущего масштабирования ML в Google и за его пределами.

Мы считаем, что PaLM демонстрирует прочную основу для нашей конечной цели – разработки крупномасштабной модульной системы, которая будет обладать широкими возможностями генерализации в различных модальностях.

Риски, связанные с реальным миром, и этические моменты

Необычным отличием описываемой научной работы является то, что исследователи предупреждают об этических моментах.

Они утверждают, что крупномасштабные языковые модели, обученные на веб-данных, впитывают многие из «токсичных» стереотипов и социальных различий, которые распространяются в Сети, и заявляют, что PaLM не устойчив к этим нежелательным влияниям.

В статье приводятся ссылки на исследование 2021 года, в котором рассматривается, как крупномасштабные языковые модели могут способствовать нанесению различного вреда нашему обществу:

  • дискриминация, изоляция, токсичность;
  • информационные угрозы;
  • ущерб от дезинформации;
  • злонамеренное использование;
  • вред из-за взаимодействия человека и компьютера;
  • риск нанесения вреда окружающей среде, автоматизация рабочих мест и другие проблемы, которые могут оказать неравное воздействие на различные социальные группы или сообщества.

Исследователи отмечают, что PaLM отражает токсичные социальные стереотипы и дают понять, что отфильтровать эти предубеждения непросто.

Выдержка из исследования:

Наш анализ показывает, что используемые данные и, соответственно, PaLM отражают различные социальные стереотипы и токсичные ассоциации вокруг терминов идентичности.

Удаление этих ассоциаций, однако, нетривиально… Будущая работа должна быть направлена на эффективную борьбу с такими нежелательными предубеждениями в данных и их влиянием на поведение модели.

Между тем, при любом реальном использовании PaLM для решения нисходящих задач, следует проводить дальнейшую контекстуальную оценку справедливости, чтобы оценить потенциальный вред и ввести соответствующие меры смягчения и защиты.

PaLM можно рассматривать, как взгляд на то, как будет выглядеть следующее поколение поиска. Эта модель претендует на то, чтобы превзойти текущий технологический уровень, но исследователи также заявляют, что предстоит ещё много работы, включая поиск способа смягчения вредного распространения дезинформации, токсичных стереотипов и других нежелательных результатов.

Источники информации:

  1. Языковая модель Pathways (PaLM): масштабирование до 540 миллиардов параметров для достижения революционной производительности (англ.).
  2. PaLM: масштабирование языкового моделирования с помощью Pathways (англ.; PDF).

ПОНРАВИЛСЯ ПОСТ? ПОДЕЛИСЬ ССЫЛКОЙ С ДРУЗЬЯМИ!

Получать новые публикации по электронной почте:

СТАТЬИ ИЗ РУБРИКИ:

5 3 голоса
Рейтинг статьи
Подписаться
Уведомить о
guest

6 комментариев
Старые
Новые Популярные
Межтекстовые Отзывы
Посмотреть все комментарии
seoonly.ru
1 год назад

Ровная тема)

Аспирант
Аспирант
1 год назад
Ответить на  seoonly.ru

Для ровных оптимизаторов! =)

FF.
FF.
1 год назад

Если раньше шутили, когда говорили о роботах, которые лишат людей работы, то сейчас это выглядит как нечто неизбежное в относительно ближайшем будущем. Этот PaLM скоро сумеет писать книги и заменит собой 95% сайтов, когда ты будешь получать ответ полностью сгенерированный специально для тебя после запроса к гуглу. Dall-E 2 уже обставляет 98% художников по качеству, а по скорости и цене разница абсолютная. Copilot от гитхаба сам кодит в легких случаях и успешно справляется в половине сложных. По ощущениям 80-90% программистов, художников, писателей, продюсеров рискуют остаться за бортом прогресса.

Забавно выходит, все думали, что первым делом роботы лишат работы людей трудовых профессий, но пока что под угрозой как раз-таки творческий и интеллектуально сложные профессии, которые даже в научной фантастике ии не заменял. И стремно, и интересно одновременно, что же будет дальше? Неужели кошкодевочки?!

Аспирант
Аспирант
1 год назад
Ответить на  FF.

На данном этапе развития за ИИ всё равно нужно редактировать материалы, т.к. в некоторых случаях там вообще полное непотребство получается. Так что, думаю, творческим профессиям не стоит переживать.

Кроме того, большой вопрос стоит в плане авторских прав на творения роботов (помимо этических проблем).

FF.
FF.
1 год назад
Ответить на  Аспирант

Я на редактирование и чересчур нестандартные задания выделил оставшихся 10-20% работников) Конкретно Dall-E 2 на столько крутая тема, что я бы уже пользовался. У меня как раз есть потребность в пикчах тематических, а под заказ они стоят от 100-200$, здесь же софтина делает десяток на выбор за пару секунд. Можешь почитать отзывы профессиональных художников, кто-то пытается храбриться, а у кого-то уже упаднические настроения.

Тот же jarvis или как там сейчас этот сервис по генерации текстов называется, делает круто. Я не верил, зарегался и проверил. Косяки есть, но минимальные. Тексты можно писать в 3-10 раз быстрее. В какой-то момент даже думал под ру перепродавать, но обороты мелкие, стоимость килознака низкая, да и возиться с клиентами не хотелось. Но ради интереса пару текстов сделал – выглядят как средние копирайтерские статьи. И ведь jarvis сделан на прошлой версии от openml, а она на порядки уступает новой.

По поводу расизма и хейта у ии, это, как мне кажется, быстро вылечится, самое сложное уже сделано. И даже если не вылечится, то для этого как раз есть те самые 20% людей, которые будут фильтровать результат.

С копирайтами не все понятно, но мне кажется, если уж гены в США сумели закопирайтить, то и с результатами работы ии проблем не будет. Тот же фотошоп делает большую часть работы по очистке и обработке пикч (через экшены и инструменты), а права получает человек, который жал на кнопку. Здесь будет также, тот, кто нажимал кнопку или текстом описывал генерируемую картинку, получает права.

Капец простыню накатал, меня что-то ии тема увлекает очень)

Аспирант
Аспирант
1 год назад
Ответить на  FF.

В любом случае буду с интересом наблюдать за темой, т.к. она меня тоже сильно сейчас интересует и есть различные идеи, как ИИ можно использовать для извлечения денег из Интернета.

Чего далеко ходить, когда уже давно сам работаю с сервисами на основе нейронных сетей, при производстве контента. Например, те же самые резаки фонов (для производства медиаконтента) или генерация фотографий несуществующих людей.

6
0
Оставьте комментарий! Напишите, что думаете по поводу статьи.x