Chat GPT – история создания, использование на мобильных устройствах и перспективы нейросетей

Generative Pre-trained Transformer (ChatGPT) – это языковая модель, которая была разработана компанией OpenAI. Она создана на базе модели Transformer, которая была представлена в далеком 2017 году. Трансформер стал новым прорывом в области обработки естественного языка, позволяя более эффективно обрабатывать последовательности слов.

GPT-2 была выпущена в 2019 году, она была еще более мощной, чем ее предшественница, и умела генерировать тексты, которые были с трудом отличимы от текстов написанных человеком. Однако из-за опасений о том, что данная технология может быть использована для создания фейковых новостей и распространения спама, OpenAI решила не выкладывать ее в общий доступ.

ChatGPT была представлена в 2020 году, и это последняя версия модели GPT. Она основана на 175 миллионах параметров и обучается на огромных объемах информации, собранной из Интернета. Данный чат-бот может генерировать тексты, отвечать на вопросы, заводить диалоги и многое другое. ChatGPT является одной из самых продвинутых моделей на сегодняшний день.

Несмотря на то, что чат-бот появился в общем доступе недавно, эволюция языковых моделей началась задолго до появления Transformer и GPT. Одним из первых методов, использующихся для обработки естественного языка, была технология T9, которая была разработана для автозаполнения слов на клавиатуре мобильного телефона. Затем были созданы и другие методы, такие как N-граммы и скрытые модели Маркова.

А с появлением нейронных сетей и развитием машинного обучения языковые модели стали еще более мощными и эффективными. Примером являются: Long Short-Term Memory и Gated Recurrent Unit.

Уже после них в 2017 году появился Transformer, который оказался еще эффективнее, чем LSTM и GRU. Модель умеет сосредотачиваться на наиболее важных частях входной последовательности и создавать связанные между собой и осмысленные выходные данные.

GPT и ChatGPT являются продолжением этой эволюции, представляя собой самые продвинутые языковые модели. Они используют огромные объемы данных для обучения и способны генерировать структурированные, понятные и интересные тексты.

Нейронные сети и вероятности слов

Чтобы понять, откуда нейронные сети берут вероятности, необходимо понять, а как вообще предсказывать зависимости одних вещей от других.

Для того чтобы предсказать зависимость между 2 величинами, необходимо использовать математические методы, такие как регрессионный анализ. Например, чтобы определить вес молодого юноши в зависимости от его роста, мы можем использовать формулу линейной регрессии, которая определяет связь между величинами.

В случае с языковыми моделями, которые используют нейросети, практически все то же самое: данные натренированы на большом количестве текстов, и нейронная сеть использует их для предсказания вероятности следующего слова в зависимости от предыдущих словосочетаний в предложении. Вероятности формируются на основе распределения частотности слов в текстах, на которых была обучена модель.

Как разработчикам удалось создать столь успешный проект

Одним из ключевых факторов успеха Generative Pre-trained Transformer является использование глубокой нейронной сети. Эта технология позволяет обучать чат-бота на большом объеме данных и использовать его для генерации ответов на вопросы пользователей.

Также успех ChatGPT продиктован загрузкой в модель разных данных (статей из Интернета, отрывков из книг и научных журналов) и использованием методов управления диалогами.

Получается, чем больше размер языковой модели, тем лучше она решает поставленные перед собой задачи. Ну и конечно ее эффективность зависит от объемов загруженных данных, параметров.

Увеличение параметров в языковой модели может привести к качественному скачку в ее способности решать сложные задачи. Однако этот переход количества в качество не происходит линейно: при небольшом увеличении может не произойти никаких значительных изменений, но если дойти до определенного порога можно внезапно получить ошеломляющие результаты (ответы) от ChatGPT или любой другой языковой модели.

Трансформер и его влияние на языковую модель

Трансформер – это уникальный вычислительный механизм, который принимает на вход набор последовательностей данных и возвращает на выходе преобразованный набор посредством алгоритма. Так текст, изображения и звук можно представить в виде последовательности чисел – то это значит, что с помощью трансформера можно решить задачи любой сложности.

Однако главная особенность данного механизма заключается в его гибкости и удобстве использования. Трансформер сформирован из простейших модулей-блоков, которые с легкостью масштабируются. Это позволяет механизму лучше обрабатывать огромные объемы данных и быстро обучаться с помощью новой информации.

Трансформер значительно повлиял на развитие языковых моделей, так как он позволяет более эффективно и точно обрабатывать и генерировать тексты. Например, на основе этого механизма была создана модель GPT (Generative Pretrained Transformer), которая считается одной из наиболее успешных в задачах генерации текстов. Также трансформер используется в моделях машинного перевода, там он помогает повысить качество перевода благодаря более точному улавливанию контекста и учету зависимостей между словами.

История создания ChatGPT

Чтобы понять, как ChatGPT стал самой эффективной языковой моделью и взорвал информационную бомбу, необходимо узнать больше о развитии GPT. Ниже будут указаны основные отличия между всеми версиями Generative Pre-trained Transformer:

GPT-1:

1. Размер модели: 117 млн. параметров.
2. Обучена на текстовой информации объемом 40 ГБ.
3. Имеет 12 слоев трансформеров.
4. Не умеет генерировать многоразмерный текст.
5. Была выпущена в 2018 году.

GPT-2:

1. Размер модели: от 117 миллионов до 1,5 млрд. параметров.
2. Обучена на информации объемом 40 ГБ.
3. Имеет от 12 до 48 слоев трансформеров.
4. Генерирует многоразмерный текст.
5. В нее внедрен механизм защиты от генерации неприемлемых или нежелательных текстов.
6. Была выпущена в 2019 году.

GPT-3:

1. Размер модели: от 175 миллионов до 175 миллиардов параметров (в зависимости от версии).
2. Обучена на текстовой информации объемом 45 ТБ.
3. Имеет от 12 до 96 слоев трансформеров.
4. Обладает высокой точностью генерации текста и способностью выполнять различные задачи (от перевода до ответа на вопросы пользователей).
5. Была выпущена в 2020 году.

GPT-4:

1. OpenAI представила GPT-4 в самом начале 2023 года. Это большая мультимодальная модель ИИ, которая может обрабатывать как текстовые, так и графические данные и выдавать текстовые ответы
2. Возможности GPT-4 значительно превосходят возможности GPT-3.5, но эта разница проявляется, когда задача достигает достаточного порога сложности.
3. GPT-4 принимает запросы в виде текстов и изображений. Новая модель может работать с документами, на которых есть не только текст, но и фото, диаграммы или скриншоты. В ответ она способна выдавать ответы на естественном языке, в виде программного кода и т. д. В настоящее время запросы с изображениями находятся на стадии исследования и тестирования и не доступны широкой публике.

Итак, мы рассмотрели отличия, но что объединяет все модели GPT:

• использование архитектуры трансформера для обработки последовательностей;
• обучение на огромных объемах текстовых данных;
• главная задача – генерация текста.

Но почему популярностью стала пользоваться именно ChatGPT? А не модель предшествующая ей модель GPT-3?

ChatGPT была выпущена в ноябре 2022-го примерно через 10 месяцев после своей предшественницы, InstructGPT/GPT-3.5 и, если судить с технической точки зрения, в ней не было никаких значительных нововведений. Однако пользователи неожиданно посчитали чат-бот новым решением из-за того что модель выложили в открытый доступ. Ну и конечно немаловажную роль здесь сыграл и интерфейс. Он оказался настолько удобным и приятным, что ChatGPT стали использовать повсеместно.

Работа с ChatGPT в России и использование на мобильных устройствах

Интерфейс ChatGPT представляет собой диалоговое окно, которое имеет всего два поля. В первое из них вводится запрос пользователя, во втором – отображается ответ нейросети. Бот поддерживает запросы на различных языках, включая русский. Ответ будет отображен на том же языке, на котором сформулирован запрос.

Источник https://www.iphones.ru/iNotes/oni-prosto-delali-perevodchik-kak-sverhrazumnyy-bot-chatgpt-rabotaet-ot-pervogo-do-poslednego-slova-01-27-2023

Для использования инструмента необходима регистрация на сайте OpenAI. В связи с введенными санкциями зарегистрироваться с российского IP-адреса, а также с использованием российского номера телефона в настоящее время нельзя.

Однако некоторые версии ChatGPT  уже интегрированы в телеграмм и могут использоваться на территории РФ с помощью чат-ботов без всякой регистрации, например, по этому адресу https://t.me/GPT4Telegrambot

Чтобы официально пользоваться всеми функциями ChatGPT из России, нужно зарегистрировать иностранный мобильный номер и установить VPN. Подробную инструкцию для подключения можно найти в интернете, например, на следующем сайте (https://www.seonews.ru/analytics/kak-chat-gpt-pomogaet-v-prodvizhenii-sayta/#kak-zaregistrirovatsya-v-chatgpt-iz-rossii)

С ChatGPT можно работать как на десктопных, так и на мобильных устройствах. OpenAI еще не опубликовала специальное мобильное приложение для ChatGPT. Однако Google Play Store и App Store — не единственные инструменты, с помощью которых мобильные пользователи могут получить доступ к тому, что им нужно в Интернете. Веб-браузеры также позволяют получить доступ к большинству веб-сайтов и служб, которые в основном используются на ПК и Mac, но не имеют приложения для обоих рынков. Для использования ChatGPT на мобильных устройствах нужно просто ввести ссылку на сайт в адресную строку и можно начинать работать с помощью ChatGPT.

Источник https://boosty.to/chatgptbot/posts/bb411414-4f74-4eff-8deb-f139d55e6092

Пользователи айфонов также могут создать быструю команду Siri для доступа к ChatGPT, чтобы быстро и легко задавать вопросы и получать ответы на них с помощью голосовой команды. Для этого понадобится любой iPhone, iPad с iOS 15 и новее. Желательно обновить устройство до последней версии iOS (сейчас это 16.3).

После регистрации в OpenAI добавить команду активации ChatGPT через Siri можно следующим образом:

1. Открыть сайт OpenAI через VPN.
2. Нажать на иконку вашего аккаунта в правом верхнем углу. В открывшемся меню выбираем View API Keys.
3. Нажать на кнопку Create new secret key.
4. Обязательно скопировать весь ключ в безопасное место – например, в приложение Заметки.
5. На iPhone, iPad или Mac открыть эту ссылку: команда SiriGPT для Siri (https://www.icloud.com/shortcuts/18cd4aad0abe4b4ebcc03ef3b4d0dc40). Согласиться на установку.
6. Открыть приложение Команды, если оно не открылось само. Найти иконку команды SiriGPT и нажать на «троеточие» рядом с ней.
7. В первое поле ADD API KEY HERE ввести ключ, полученный на этапах 3-4.
8. (Необязательно) Нажать на стрелку вверху рядом с надписью SiriGPT и выбрать пункт На экран «Домой».

Теперь для использования ChatGPT через голосовое обращение к Сири достаточно нажать на эту команду с рабочего стола или витрины приложения Команды. Более подробную инструкцию можно найти на сайте  https://www.iphones.ru/iNotes/kak-dobavit-chatgpt-pryamo-v-siri-na-iphone-rabotaet-proveril-01-25-2023#pic1179519.

Ажиотаж и конкуренция вокруг нейронных сетей

Основное внимание на сегодняшний день приковано к 3 разработкам:

1. Генеративным графическим нейронным сетям, которые распознают запросы на человеческом языке и умеют формировать//видоизменять изображения, видеоролики (MidJourney, StableDiffusion, Point-E).
2. Текстовым языковым моделям, которые могут поддерживать диалог, находить нужную информацию в интернете или создавать длинные и объемные тексты (GPT, DALL-E, российская YaLM).
3. Инструментам для обработки данных в различных областях, включая программирование, создание интерфейсов и решение математических задач.

Стартап-лидером в информационном пространстве стала OpenAI — исследовательская организация (которую много лет назад основал Илон Маск) выпустившая MidJourney.

Кто создает ажиотаж

Совсем недавно практически все крупные компании анонсировали проекты, связанные с искусственным интеллектом: в первую очередь выделилась Microsoft, решившаяся на партнерство с OpenAI и использование ИИ-помощника. Ее создатель Билл Гейтс отметил, что искусственный интеллект – это важнейшая тема этого десятилетия. В центре новости находятся финансовые аспекты: корпорация приобретает 49% долю в OpenAI и имеет право на получение трех четвертей прибыли до тех пор, пока не компенсирует свою инвестицию в размере 10 млрд. долларов.

Также в конкуренцию включились следующие компании: IBM, Amazon, Facebook (принадлежит компании Мета, которая запрещена в РФ) . ИБМ сейчас разрабатывает и реализует различные продукты и решения, основанные на технологиях искусственного интеллекта, такие как Watson. Амазон использует ИИ в своих сервисах, таких как Amazon Alexa, Go и Web Services для улучшения качества обслуживания. А Фейсбук (принадлежит компании Мета, которая запрещена в РФ) задействует машинное обучение, чтобы сделать свою социальную сеть более удобной (внедрение рекомендаций, распознавания лиц).

Успех Google ранее был выдающимся: 93% всех поисковых запросов в мире обрабатывались именно его системой. Однако над успешной корпорацией нависла угроза, поскольку конкуренты начали закрепляться на рынке ИИ (тот же Microsoft) .

Поэтому руководство корпорации Google также решило анонсировать свой ИИ-поиск Bard, пообещав поставить его выдачу на 1 место под поисковой строчкой.

Компания Meta (запрещена в РФ) также не осталась в стороне. В феврале ее руководство объявило о формировании сводной рабочей группы с фокусом на передовые технологии.

Есть ли будущее у языковой модели

Развитие и распространение ChatGPT во многом зависит от государства. Но на данный момент государственная власть не сильно заинтересована в повсеместном внедрении чат-бота.
Речь про насаждение регуляторных препятствий органами власти: к примеру, недавно в United States Copyright Office объявили, что права на сгенерированные нейронной сетью работы не могут переходить людям (или организациям). Это помешало развитию многих полезных сервисов на базе ИИ.

Однако не стоит думать, что государство сейчас выступает только как ограничительный механизм: его интересы шире. Государственная власть пытается найти баланс между социальными группами по мере развития и прогресса. К примеру, динамика рабочих мест — важнейший электоральный показатель для партий, потому правительство будет пытаться сделать все, чтобы работников массово не увольняли. А нерассмотренные вопросы о правах ИИ или наличия у роботов собственного сознания могут дестабилизировать социум или быть использованы далеко не во благо. Потому компании вводят цензуру для чат-ботов.

Государство может выступать и как источник инвестиций: во время кризиса на рынке крупным организациям невыгодно вкладывать средства в отрасли, не приносящие быстрой прибыли, потому некоторые важные секторы – прогресс может обойти стороной. Бюджетная поддержка, конечно же, исправит саму ситуацию, создав инфраструктуру, которая будет полезна для всего социума (к примеру, внедрение ИИ в сферу медицины для анализа данных пациентов на гос. уровне может изменить систему постановки диагноза). Поэтому вполне вероятно, что в ближайшем будущем мы увидим больше новых продуктов (нейросетей), которые сделают нашу жизнь еще лучше.