Чат-боты ChatGPT и CoPilot оттесняют привычные сервисы для разработчиков, такие как Stack Overflow

В то время как трафик на OpenAI ChatGPT растет в геометрической прогрессии, на Stack Overflow он неуклонно снижается, теряя часть своих позиций по мере того, как разработчики обращаются к исходным кодам за ответами на проблемы кодирования.

Так, в годовом исчислении трафик на Stack Overflow (stackoverflow.com) снижался в среднем на 6% каждый месяц с января 2022 г. и снизился на 13,9% в марте. В то же время
количество посещений страницы регистрации бесплатной пробной версии GitHub CoPilot увеличилось более чем в три раза с февраля по март 2023 г., превысив 800 тыс. показов.

Посещаемость веб-сайта сообщества Stack Overflow падает с начала 2022 г. Отчасти это может быть связано с сопутствующим развитием – введением помощника по кодированию CoPilot от Microsoft GitHub.

CoPilot построен на основе той же большой языковой модели OpenAI, что и ChatGPT, и способен обрабатывать как человеческий язык, так и язык программирования. CoPilot теперь включает в себя последнюю версию GPT-4 платформы OpenAI.

Плагин для широко используемого кода MS Visual Studio позволяет разработчикам использовать CoPilot для написания целых функций от их имени, вместо того чтобы запрашивать сообщество Stack Overflow или искать готовые ответы на этом сервисе – как большинство разрабов в мире делали всегда.

ChatGPT как инструмент кодирования

Вскоре после появления ChatGPT разработчики обнаружили, что одной из его полезных функций является создание подробных примеров кода и полных функций – с сопровождающим учебным содержанием, объясняющим, почему код работает, – в ответ на простой текстовый вопрос (промпт). Сразу же начались сравнения со Stack Overflow и прогнозы, что ChatGPT «убьет» Stack Overflow.

Между тем, Stack Overflow объявил о временном запрете на размещение контента ChatGPT на своем сайте, что считается нарушением стандартов сообщества, поскольку, по мнению руководства сайта, ответы ChatGPT на вопросы о кодировании слишком часто неверны. (Обновление: в своем блоге генеральный директор Stack Overflow Прашант Чандрасекар обсуждает, как его команда планирует в будущем объединить лучшее из технологий сообщества и генеративного ИИ.)

Традиция Stack Overflow заключается в том, что члены сообщества публикуют различные ответы на любой заданный вопрос о кодировании, обсуждают преимущества и компромиссы и голосуют за лучшее решение. На многие распространенные вопросы по кодированию разработчик найдет широко признанный лучший ответ. (Сам автор изначального вопроса волен отметить вариант ответа на него как «Проверено – Работает» (Зеленая галочка).

Пользователи ChatGPT пропускают дебаты и просто получают ответ, который может показаться более быстрым и эффективным. Ответ, который возвращается, может быть не совсем тем, что нужно разработчику, но часто достаточно близок, чтобы его можно было сформировать и настроить в виде работающего решения. Это не так уж отличается от процесса поиска ответа на чужой вопрос в Stack Overflow и адаптации его к вашим собственным требованиям.

CoPilot был предметом разногласий по поводу генерации кода на основе контента с открытым исходным кодом, без учета соответствующих лицензий на открытый исходный код (см. обзор Википедии), и эти вопросы также относятся к рекомендациям по кодированию, предоставляемым ChatGPT. Кроме того, вполне вероятно, что некоторые из накопленных OpenAI знаний о методах кодирования основаны на анализе контента как раз на Stack Overflow и подобных сайтах.

От копирования и вставки к промпт-инжинирингу

В течение многих лет Stack Overflow был настолько полезным ресурсом для программистов, что породил миллион шуток о том, что навыки создания кода в мировом масштабе заменяются копипастом из сервиса.

В то время как вопросы качества кода и интеллектуальной собственности вокруг генерации кода ChatGPT продолжают возникать, поворот от поиска и публикации вопросов на Stack Overflow, похоже, уже произошел.

Новый ленивый, но эффективный трюк с кодированием – предложить ChatGPT, CoPilot или Bing Chat написать для вас большие куски кода. При этом возникает понятие «промт-инжиниринга», так как, очевидно, в обращении с чат-ботом «правильно поставленный вопрос – больше, чем половина ответа».

Фактор «биомассы»

Падение числа людей, обращающихся к рекомендательным сервисам форумного типа, типичным представителем которых является Stack Overflow, в перспективе крайне негативно отразится на подобных сервисах. Ведь чем меньше компетентных членов комьюнити участвует в обсуждении, тем меньше польза от сервиса.

Пока ситуацию несколько выправляет тот факт, что на Stack Overflow фактически дежурят команды поддержки конкретных open-source фреймворков и коммерческих продуктов, платформ и сервисов. За последние годы каждый уважающий себя разработчик публичного ИТ-решения или средства разработки ПО считает обязательным поддержку профильного комьюнити. А SO – безусловный лидер в вопросах омниканальной поддержки. Фактически работа здесь – must-have для ИТ-команд. И, видимо, долгое время это будет оставаться так.

Но разработчики со стороны могут снизить активность на площадке, что приведет к эрозии сообщества и потере интереса к Stack Overflow уже и со стороны ответственной части разрабов. Пользовательский отток от социальных площадок всегда значим с точки зрения «потребительской ценности» этих площадок.  

Что же до чат-ботов – пока тут вроде бы нет прямой зависимости между числом пользователей и качеством ответов. Известно, что ChatGPT – это система без дообучения, и Copilot, использующий базовую модель OpenAI как составляющую, – тоже.

Вопросы к чат-ботам, ответы на них, пользовательская оценка качества ответа даже на уровне “работает ли предложенный ботом код или нет” пока официально не учитывается сервисом; пользовательские запросы не дообучают нейросетевую модель online. Обновление может происходить лишь периодически, когда разработчики модели переходят на новую версию.

Однако это так сейчас. Сама архитектура Transformers в принципе не отрицает возможности постоянного дообучения. Так, базовая языковая модель GPT, в принципе, реализует подобную возможность – это момент желания разработчиков конечного решения на этой основе: добавлять такую возможность в конкретный сервис или нет.

Таким образом, пока приток пользователей на Copilot и подобные бот-сервисы на их качество как будто не влияют, хотя не факт, что так будет всегда. А вот для Stack Overflow объем ответов и их оценок – значим в негативном смысле уже сейчас.