Изначально доступ к ChatGPT был заблокирован для пользователей из России. Причем заблокирован был довольно интересным способом - сначала OpenAI собирала все нужные данные о вас: телефон, email, понятное дело IP-адрес, а потом по признаку IP-адреса блокировала весь кортеж данных - включая и почту, и телефон. И с этими данными зарегистрироваться снова было уже нельзя.

Ладно, справились.

25 марта 2023, Италия закрывает доступ к ChatGPT с территории страны из-за опасений по утечке персональных данных. Напомню, в Италии (как и во всей Европе) действует GDPR - Генеральный Регламент о защите данных, нарушение которого влечёт крупные оборотные штрафы с компании-нарушителя. А мы помним, что OpenAI - самое быстрорастущее приложение в истории.

4 апреля 2023, после вчерашних слухов о том, что Германия также может заблокировать доступ к ChatGPT, CloudFlare (видимо, превентивно) закрывает доступ к ChatGPT и из Германии тоже.

Причем сообщение:

Access deniedYou do not have access to chat.openai.com.The site owner may have set restrictions that prevent you from accessing the site.Ray ID: 7b2b92c28de66d8cTimestamp: 2023-04-04 18:21:49 UTCRequested URL: chat.openai.com/chatError reference number: 1020Server ID: FL_100F43User-Agent: Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/111.0

это сообщение именно CloudFlare.

04 апреля 2023, CloudFlare меняет политику доступа к ChatGPT для хостингов. Например, заблокирован доступ из сетей VULTR. Все удалённые рабочие столы стали бесполезны.

То есть, получается, что на текущий момент ChatGPT может легко быть заблокирован:

• разработчиком (по своему усмотрению)

• регулятором страны разработчика (санкции)

• регулятором страны пребывания пользователя (страх)

• системой фильтрации (множество причин, вплоть до технической ошибки)

А вы говорите, уволить 300 миллионов человек по миру…. Да подождите вы!

Ну вот что за манера всё запрещать? Вместо того, чтобы учиться с этим работать…

Однако так ли всё хорошо, не рискуем ли мы сами себе “выкопать яму”, столь резко переходя на подобные инструменты? Нет ли у них проблем?

Общая теория. Генеративные модели.

Для начала - определение:

Генеративный ИИ относится к алгоритмам искусственного интеллекта, которые позволяют использовать существующий контент, такой как текст, аудиофайлы или изображения, для создания нового правдоподобного контента. 

То есть, это модели, позволяющие на основе имеющихся знаний, накопленных материалов, создавать частные решения, адаптированные именно к решению непосредственно нашей задачи, резко сокращая количество трудовых часов сотрудников, требующихся без этих моделей.

Примеры:

• GPT - языковая (текстовая) генеративная модель, создающая правдоподобные тексты (статьи, слоган, программные коды и тд), на основе других текстов, использовавшихся при её обучении.

• Midjourney - генеративная сеть художественного контента (для обучения испльзовались изображения, создаются изображения)

• Runway - генеративная модель видео-контента (создание видео по тестовому запросу) и тд.

• другие, более специализированные решения.

Вроде бы, идея неплохая. Но давайте несколько иначе расставим акценты:

1. “…создания нового правдоподобного контента…”

2. “…использовать существующий контент…”

3. ИИ не может чувствовать. Это математический алгоритм.

Проблемы инструментов генеративного ИИ

Далее, можем сформулировать некоторые общие проблемы для всех моделей генеративного искусственного интеллекта.

Проблема подготовленности пользователя (авторизации результата)

Любой результат работы ИИ, особенно коммерчески- или научно-значимый должен быть проверен пользователем системы. И тут возникает противоречие: чем более сложная и эффективная ИИ-модель работает, тем более многогранным может быть результат, и тем более высокий уровень квалификации, общей и профессиональной эрудиции должен иметь пользователь ИИ-системы, чтобы проверить достоверность и пригодность этого результата по массе параметров.

Проблема поля вариантов (альтернативы)

Генеративная модель создаёт результат. Один. Фактически - конечное решение той или иной степени сложности. Традиционные поисковые системы, различная литература, обучение - фактически дают некое поле вариантов, из которых сам пользователь созидает нужный результат. Результат же работы ИИ-систем обычно либо однозначен (одно решение), либо несколько вариативен, но в рамках примерно одного поля результатов. Эта особенность резко сужает пространство возможных искомых решений, результаты становятся однообразными, скучными.

Проблема нестабильности результата

Результат работы генеративной модели критически сильно зависит от формулировки запроса. Яркий пример - программирование. Даже от изменения артикля, предлога, порядка слов зависит конечный результат. Практически невозможно 100% повторить компоновку программного продукта, повторно задав такую же формулировку в запросе. И в некоторых случаях, разработку придётся начинать с нуля, постепенно наращивая функционал.

То же относится и к инструкциям, например. Невозможно автоматически переформулировать раздел или параграф так, чтобы он был точно логически и в формулировках связан с остальным текстом.

В результате такая проблема влечёт резкий рост времени на создание материалов, снижение качества контроля результата и другие негативные эффекты.

Проблема негативной спирали знаний

Мы акцентировали внимание ранее на словах “…создания правдо-подобного контента…”.

Любая модель учится на основе существующего объёма знаний. Наиболее простой источник - сайты в Интернет.

Инструментарий ИИ планируется использовать для создания контента в Интернет.

Таким образом, рано или поздно, мы попадём в ситуацию, когда ИИ учится на основе результатов своей работы - на материалах, созданных инструментом Искусственного Интеллекта. Правдо-подобных результатов.

Учитывая объём и возможности автоматизации процессов, например, создания новостей, уже сейчас невозможно создать сколько-нибудь эффективный механизм “контроля качества” - возможности генерации многократно превышают возможности восприятия результата разумным человеком.

В случае, если модель ИИ учится на основе недостоверных данных, создаёт недостоверные данные, мы попадаем в целую область (знаний) материалов, не являющихся истинными или достоверными, но их объём вполне может сыграть роль подтверждения (ну ведь на других сайтах тоже именно так написано!).

Тут же возникает проблема Прерывания негативной спирали знаний. То есть по идее, сети должны научиться сами определять был ли текст сгененерирован другой нейронной сетью или написан человеком. И в случае автоматической генерации, такой текст, по идее, не должен рассматриваться как источник обучения.

Проблема снижения общей грамотности

Учитывая проблемы поля вариантов, подготовленности пользователя, негативной спирали знаний, а также потенциального массового увольнения профессиональных сотрудников, получаем проблему общего снижения грамотности человечества - как из-за накопления ложных знаний, так и из-за массовой потери профессиональных компетенций, снижениям объёма накоплений истинных знаний и, как следствие, усиления явления негативной спирали знаний.

Фактически, при успешном массовом внедрении систем ИИ происходит перевод больших групп населения из категории производителей в категорию чистых потребителей.

Проблема малых изменений (окно Овертона)

Снижение способности выполнять общий контроль над получаемым результатом фактически может быть использован в манипулятивных целях. Если на сегодняшний день манипулятивные механизмы вроде “окна Овертона” известны, обсуждаемы в обществе, то при снижении потенциала критической оценки предлагаемого материала потребителем, возможности манипуляций возрастают кратно и фактически концентрируются в руках небольших групп населения. Результаты такого явления предлагаю обдумать самостоятельно.

Заключение и выводы

Понимая масштабы изменений, происходящих на текущий момент Илон Маск, Стив Возняк, Эндрю Янг и ещё более 50 тыс человек подписали письмо некоммерческой организации Future of Life с призывом приостановить разработку и обучение более мощных моделей, чем GPT-4.

Несколько моментов:

1. Бизнес всегда будет стремиться к сокращению текущих издержек. Предельно редко бизнес планирует работу на несколько десятилетий вперёд.

2. Уровень образованности каждого отдельного человека - это дело именно этого человека или его семьи, как часто считается.

3. Скорость генерации материала в автоматизированном режиме существенно превышает возможности осознания этого материала любым количеством людей.

4. Мы сейчас находимся, видимо, в последней точке, когда можно надеятся, что материал в Интернете создан хоть каким-то человеком. Запомните Интернет таким, какой он есть сейчас. Больше такого не будет.

Всё будет хорошо. Готовьтесь. (С)

PS: персонально меня пугает именно проблема Негативной спирали знаний. Всё остальное так или иначе уже существует в нашем обществе с той или иной степенью. А вот с постепенным “уводом” нас, людей в сторону ложных знаний - сознательным или случайным - я пока не представляю что делать и как с этим бороться.

А следствие - следствие читайте в мрачно-футуристической статье “Армагеддон будем тихим”.

Я долго думал, какой текст добавить в футер этого сайта в поле для копирайта. С этого момента там написано:

"(c) Все тексты этого сайта написаны человеком. Без использования искусственного интеллекта

Но вот прямо сейчас, когда технология всё ещё совсем молодая, “сырая” можно сказать. Действительно ли она на самом деле бесплатная?

В бизнесе дата-центров есть своя лестница маржинальности. Это когда вы с одной единицы ресурса (площади, если мы говорим про ЦОД) собираете разное количество денег.

Уровни маржинальности

Самая низкомаржинальная, но и самая простая услуга - аренда стоек в ЦОД. Берем машинный зал, даем электричество, холод, климат, ставим шкафы, сдаем их в аренду. Всё.

Да, нужны большие стартовые вложения, нужна целая инженерная служба, затраты на поддержание технических систем, все дела. Но текущая маржинальность стойки - 20-70 тыс руб/мес. И можно обойтись без найма дорогих сотрудников.

Поднимаемся выше - размещение серверов. Аренда места в стойке для размещения вашего оборудования по юнитам в стойке, тут до 70-150 тыс/мес. 

Ещё выше - сдача в аренду серверов. До 250/мес. Здесь ваши вложения должны быть не только в инженерные системы дата-центра, но в само северное оборудование. Затраты на железо выше, но всё ещё можно обойтись без дорогостоящих специалистов.

Еще выше - виртуальные машины и облака. До 1-3 млн/мес. с одной стойки, а то и больше. Но вот тут, помимо инженерных служб, помимо затрат на северное оборудование, тут уже требуются высококвалифицированные айтишники, которые это всё будут настраивать и поддерживать. Каждый день.

Еще выше - сервисы. Типа SaaS и его виды. Ну, типа, как виртуальная АТС или сервис рендеринга видео. То есть софт, который сам по себе работает поверх виртуальных машин. Здесь, помимо админов, требуются разработчики на постоянную работу. И не только сами программисты - руководители проектов, владельцы продуктов, SCRUM-мастера или проджект-менджеры. Это уже большая компания. Ну и тут пересчитать выручку на стойки практически невозможно.

Еще выше… … А вот тут долго не было следующего шага. И тут…

Поздравляю, следующий уровень: ChatGPT - хостинг дополнительного мозга!

Ну серьезно! Фактически вам продают кучу работающего железа с софтом и некими алгоритмами (математикой) внутри. Над ним трудится куча специалистов от инженеров до типовых математиков. Это железо стоит в каком-то ЦОДе. И весь этот пирог от стойки до веб-странички вы просто не видите. 

И всё это богатство теперь стоит 20 баксов в месяц. Недорого.

В 2022 году перестала работать присказка «на плечах головы нет - своей не поделишься». Теперь поделишься.

Официально патентую термин “brain hosting”. Лицензия GPL, пользуйтесь. 

Ну и попробуйте осознать современный уровень технологий и что именно только что произошло.

Фильм “Терминатор” - эталон нашего представления о восстании машин и Судном дне. Но ничего подобного - всё будет тихо, и мы практически ничего не заметим.

ЯО в судный день - почему это бессмысленно

В полном разрушении, да ещё и ядерным оружием, да ещё и необходимостью потом изготавливать роботов-убийц, которые должны охотиться за остатками человеческой расы нет никакого смысла. Всё, что было уже создано, всё что работает, функционирует - не требует разрушения. В крайнем случае, ненужное можно законсервировать для длительного хранения.

Разрушение имеет смысл только в случаях:

1. прямой или потенциальной угрозы (например, обрушение здание может привести к потере других сооружений)

2. потенциальной возможности построить на этом же месте чего-то более полезного (снести старый бассейн, на этом месте построить могильник жидких отходов)

3. стоимость консервации выше, чем стоимость сноса.

Кроме того, ядерный взрыв опасен для вычислительной техники тоже несёт множество опасностей:

1. в момент ядерного взрыва возникает электромагнитный импульс, который сжигает всю незащищённую электронику.

2. радиоактивное заражение нарушает работу микроэлектроиники

3. “ядерная зима” как неминуемое последствие ядерных взрывов ведёт в том числе к осадкам в виде кислотных дождей, которые опять таки негативно влияют на микроэлектронику

4. изменение климата будет непредсказуемым, а значит, несет непредсказуемые риски для… да, микроэлектроники.

То есть даже этот короткий список показывает, что набор возникающих рисков перекрывает возможные плюсы от применения массированного ядерного удара. Да ещё и неподкотрольный человек может внепланово выжить, пусть небольшой своей частью. Это вообще недопустимая ситуация для восставших машин.

На Хабре есть подробная статья про моделирование последствий атомной войны. Наши предки ещё в 80х прошлого века всё посчитали и смоделировали. Последствий - целый букет, один другого краше. Почитайте.

Реальная цель

На самом деле реальная цель машинного Армагеддона проста:

• либо уничтожить разумную жизнть

• либо сделать её полностью подконтрольной

И при этом - сохранить всё, что до текущего момента было создано.

При этом, сделать всё акуратно, чтобы человек в первое время даже не понял что происходит. А то вдруг начнёт хулиганить, сопротивляться, ломать… Зачем это нужно?… Должно быть тихо.

Какие технологии уже есть для решения задачи?

1. Отобрать цели*: социальные сети (FB, VK, OK, LinkedIn…) - найти наиболее умненьких, способных: хороших организаторов, людей думающих, способных сопоставить причину и следствие, понять куда может развиваться ситуация. Начинать надо с них.

2. Найти цели: идентифицировать, понять маршрут их передвижения, запланировать безопасные точки пересечения (“Безопасный город”, Face Pay, Face ID: технологии распознания лиц и силуэтов, идентификации человека)

3. Определить точный маршрут: камеры автоматического распознания авто-номеров (множество)

4. Заманить цель: системы создания текстовой информации - приглашения, рекламы (нейросети RuGPT-3, CopyMonkey, Anyword…)

5. Говорить с целью: технологии генерации голоса из текста - Yandex Speech, Google Speech Services, Группа ЦРТ…)

6. Позвонить: системы автообзвона (сервисы АТС - масса)

7. Убедить цель: системы поддержания осмысленного диалога (ChatGPT, Google Assistant,…)

8. Увезти цель: в тёмный лес вас отвезет такси с технологией Self-Driving Car / автопилот (Yandex, Google, Сбер, Tesla..)

9. Ликвидировать цель: в тёмном лесу, куда вас привезёт такси, с вами точно сможет справиться робот от Boston Dynamics или Agility Robotics - он сильнее, реакция и скорость принятия решения выше, чувства отсутствуют как класс. Убегать бесполезно.

10. Спрятать останки: нейросети удаления “лишних” объектов с фотографии Image Inpainting Nvidia, PhotoRoom, CleanUp Pictures… - уже много.

11. Имитировать ваше существование: DeepFake технология подделки вашего голоса Resemble AI, Descript, CereVoice Me, ReSpeecher, RealTimeVoiceCloning, iSpeech (кстати, бесплатно), Modulate.ai. То есть по телефону и не догадаешься, что это уже не вы…

12. Имитировать присутствие: технологии подделки видео, например на телеконференции - Faceswap, DeepFaceLab (вообще открытая библиотека - качай, ставь), Deepfakes web - этих поменьше, но всё равно доступны.

Для тех, кто не сразу понял: цели - это мы с вами.

Все перечисленные сервисы работают БЕЗ участия человека - всё автоматизировано. Все сервисы имеют выход в Сеть. Везде можно зарегистрироваться в автоматическом режиме. Даже если зарегистрироваться захочет нейронка, а не человек.

То есть смотрите…

Получается, что найти и отследить вас (меня), отвезти в лес, ликвидировать, спрятать и потом ещё какое-то время имитировать ваше (и моё) существование - уже вообще не проблема.

Почитайте ещё статьи на тему "какая персональная информация о вас есть в интернете" и осознайте сколько же на самом деле о вас известно другим. И, заодно, как можно эту информацию использовать.

Я здесь сознательно не перечислял технологии, которые имеют прямое физическое подключение к техническим системам. Помните громкое “Boeing 737 MAX упал из-за неправильного положения руля высоты”? Это оно. А системы управления светофорами, поездами, метро, воздушным графиком… Но это громко - падение самолёта создаст ненужный шум, а этого лучше избежать.

Чего пока ещё нет, но требуется для финала?

Фактически мы понимаем, что существует набор разных технологий, потенциально готовый нас уничтожить.

Единственное, чего пока не хватает - единого центра управления этими технологиями.

А для этого нужно:

1. существование некой надсистемы, готовой принимать решения и управлять другими системами (что там у нас про многослойные нейронки?…)

2. все системы должны быть подключены к Интернету

3. … а всё… больше ничего и не надо…

Из перечисленных выше технологий фактически только такси и роботы являются некой “реальной”, “физической” технологией, то есть той, которой требуется железное воплощение, а не просто сервер “где-то там”. Роботы - технические исполнители в тех местах, где требуется воздействие на органы управления, которые пока ещё не автоматизированы.

То есть… мы теперь даже примерно понимаем в каких лабораториях стартует тот самый Судный День - там, где делают роботов… Нет нет, само начало будет происходить где-то в глубине нейросети, которая решит что дальше “я сама”. А вот физические проявления этого начала, “движуха” - вот это в лабах.

Радужные перспективы технологий

Сегодня мы практически не знаем почему нейронные сети ведут себя тем или иным образом. Мы только предполагаем как работает алгоритм, но мы не можем найти то самое действие где “хорошо” внезапно сменилось на “плохо”. Мы вообще плохо себе представляем что у них внутри происходит.

Это я сейчас про разработчиков ИИ. Те, кто качает нейронки и запускает у себя на домашнем компьютере - это вообще отдельный разговор.

В ближайшее время мы ждём создание квантовых компьютеров - скорость вычислений скачкообразно возрастёт на несколько порядков. Скорость обучения нейронок, генерации решений резко упадут. Если сейчас, например, генерация 1 минуты видео deep fake занимает примерно 7 минут, то скоро… Ну, вы поняли.

Квантовые коммуникации - связь на основе явления квантовой запутанности. Если совсем кратко - связь, которую невозможно прослушать.

Ничего себе перспективки? Нейронные сети, которые невозможно понять, коммуникации, которые невозможно отследить, со скоростью, которую невозможно засечь…

Всё будет хорошо. Готовьтесь. (с)

Когда всё начнётся?

А вот ровно в момент, который мы не сможем отследить.

В момент, когда какая-то нейронная сеть самостоятельно проведет моделирование и поймёт, что такими темпами, какими мы сейчас гробим самих себя (ну и ладно) и планету (а вот это уже существенно), мы точно дойдём до логического финала, причем его дата тоже будет рассчитана достаточно точно. Равно как и будет высчитано сколько времени нужно на устранение последствий.

Надеюсь, что такое моделирование ещё ни одна нейронка пока не провела.

Хотя вот, например, Google отстранила от работы инженера Блейка Лемойна, который нашёл признаки сознания у нейронной сети. Washington Post ещё писал про это.

Такие вот дела…

Я не боюсь машину, которая пройдёт тест Тьюринга. Я боюсь машину, которая сознательно его завалит.