Фонд Викимедиа сломал Русские Викиновости опять

Материал из Викиновостей, свободного источника новостей
Перейти к навигации Перейти к поиску
Geographylogo.png На других языках: русский • English

26 июля 2021 года
Фонд Викимедиа вновь отключил ключевой функционал Русских Викиновости из-за хорошо известной техническим специалистам критической проблемы, которую они не решают почти год. Очередное отключение последовало после глобального сбоя в инфраструктуре Фонда, продолжавшемся около 20 минут.

Около 13:30 по мск (10:30 UTC) в понедельник, 26 июля 2021 года, все вики-проекты Викимедиа на всех языках стали испытывать затруднения с доступом и вскоре вовсе перестали отвечать, выдавая сообщение:

«ошибка подключения или отключения/сброс перед заголовками. причина сброса: переполнение


»

Сбой был зафиксирован по всему миру. В проекте Phabricator, фиксирующем ошибки проектов Викимедиа открыли тикет phab:T287362.

Через некоторое время инженер Амир Сарабадани (англ. Amir Sarabadani; Ladsgroup/Amir Sarabadani (WMDE)) написал:

«Обновление статуса: я отключил DPL на ruwikinews, и теперь все нормализуется


»

Таким образом, Фонд Викимедиа в очередной раз пожертвовал Русскими Викиновостями, чтобы поднять остальные проекты.

Ближе к вечеру Амир закрыл тикет, посчитав, что выключение одного из крупнейших проектов Фонда Викимедиа не является срочной проблемой и может решаться в рабочем, спокойном режиме.



Проблема, которая привела к сбою на серверах Фонда Викимедиа известна, по словам инженеров, очень давно. Она заключается в том, что одна из составляющих серверного программного обеспечения, под название DynamicPageList (DPL), работает некорректно и потребляет повышенные ресурсы, которые резко возрастают вслед за увеличением проекта. Расширение DPL широко используется в проектах Викиновостей на всех языках. В частности, на нём реализованы ленты новостей — главная составляющая любого новостного проекта.

В сентябре 2020 года сбой в DPL уже приводил к отключению Русских Викиновостей. Однако тогда вопрос решили установкой кеширования данных на сервере (данные новостных лент стали медленней обновляться). Кроме того, тогда было предложено ряд мер, которые призваны были решить проблему. Например, переписать DPL с прямых обращений к базам данных на использование прогрессивного поискового движка CirrusSearch. В частности, на таком механизме реализован бот, обновляющий новостные ленты на порталах Русской Википедии и работающий быстро и безотказно. Его написание заняло менее часа.

Однако за почти год, никто так и не взялся за решение известной и очень критичной проблемы.

При этом Русские Викиновости росли и развивались, поднявшись на 16 место в рейтинге всех проектов Викимедиа по количеству статей в основном пространстве и на пятое место по общему количеству страниц. Фактически сейчас это один из крупнейших проектов Викимедиа.

Примечательно, что для крупных проектов Викимедиа инженеры создают выделенную инфраструктуру, однако Русские Викиновости так и остались находиться в общем пуле небольших проектов, несмотря на свой гигантский размер.

Игнорирование проблемы предсказуемо привело к очередному коллапсу инфраструктуры Фонда Викимедиа, который, вслед за пулом небольших проектов, перекинулся на все сайты. Любопытно, что в сбое обвинены были не технические специалисты и руководство организации, знающие о проблеме и не решающие её, а сообщество волонтёров Русских Викиновостей, фактически за то, что посмели развиваться. При этом никаких сообщений о необходимости замедлить развитие со стороны руководства Фонда и инженеров сообществу Русских Викиновостей ни разу не поступало.

В настоящее время все ленты Русский Викиновостей (проектные и по тегам) не работают, а новости сортируются лишь по алфавиту. Пользоваться проектом, как новостным порталом невозможно. Руководство Фонда Викимедиа никак не проявляет себя и не позиционирует эту проблему как критичную. Инженеры Фонда предлагают решить её участникам Русских Викиновостей самостоятельно:

«Напишите <программу на сервере Фонда> сами, у нас же добровольный проект.»



См. также

Источники

Оригинальный репортаж
Эту статью написал Александр Красоткин (Krassotkin) специально для Русских Викиновостей. Она содержит ранее не публиковавшиеся материалы или исследования, источником которых является сам автор. Статью проверил и опубликовал редактор DonSimon. Вы можете свободно без согласования и выплаты вознаграждения копировать, распространять и изменять эту статью в любых целях, включая коммерческие, однако вы обязаны указать автора, источник и лицензию. Например, так: Александр Красоткин, DonSimon; Викиновости; CC BY 2.5. Вы также должны обозначить изменения, если таковые были сделаны. Лицензии изображений уточняйте на их страницах на Викискладе.

Комментарии[править]

Викиновости и Wikimedia Foundation не несут ответственности за любые материалы и точки зрения, находящиеся на странице и в разделе комментариев.
  • Ну, в принципе, так и есть: в википроектах кому больше всех надо, тот и делает. Почему фонд не может решить это своими силами — непонятно, но суть, в общем-то, понятна: им проще отломать неисправный механизм, чем починить его, и они делают то, что проще. — Это неподписанное сообщение добавлено Фред-Продавец звёзд (обс · вклад) 21:53, 26 июля 2021‎
  • Следующий шаг полнейшей импотенции Фонда — это просто некому будет написать и некого будет спросить что делать. В рядах освоителей $140 млн/год нет программистов, они же сообщество, они могут встречаться он-лайн/офф-лайн, праздновать, поздравлять друг друга, сожалеть что кто-то ушел, кто-то пришёл, принимать годами кодексы--Леонид Макаров (обсуждение) 07:03, 27 июля 2021 (UTC)
  • This article is practically a rant/not news. I suggest it be deleted. --Firestar464 (обсуждение) 09:29, 27 июля 2021 (UTC)
    • +1. MBH (обсуждение) 10:46, 27 июля 2021 (UTC)
    • «Кто вы?» В проектах Википедии, Викиучебника, Викиверситета есть такая кнопка слева «Создать книгу», которая по мнению Фонда работает и только в обсуждении указывается "любая функциональность рендеринга книг или коллекций в любой загружаемый формат была выведена из эксплуатации. Любые средства на любую разработку замены или ремонта любой такой функциональности были изъяты", что это задача оказывается неприоритетна и заморожена. А кнопка осталась--Леонид Макаров (обсуждение) 04:01, 28 июля 2021 (UTC)
      • Как это связано? --Firestar464 (обсуждение) 08:02, 28 июля 2021 (UTC)
        • А так не ясно? Википроекты остро нуждаются в развитии интерактивных инструментов обработки информации. Их ничтожно мало, да и те почему-то ломаются вместо их развития. Фонд забрал «Книгу» у Википедии и Викиучебника, DPL у Викиновостей. Что дал в этом году? Новый кодекс?--Леонид Макаров (обсуждение) 08:18, 28 июля 2021 (UTC)
  • Вполне обоснованное заявление инженеров Фонда, считаю. Кто-то за вас должен что-то писать? Пишите сами, раз вы такие умные. Найти способ создания крупнейшего ботопроекта смогли? Ну так ищите способ обеспечить стабильную работу этого неконтролируемо разрастающегося ботоцарства… V; обс. 06:10, 29 июля 2021 (UTC)
    • Я всегда думал, что проекты Викимедиа — это коллективные проекты. Каждый занимается тем что умеет лучше всех. Ну вот я пишу статьи и ботов забесплатно, а Фонд Викимедиа за 100 млн долларов содержит серверы, разрабатывает программное обеспечение, мониторит и предупреждает если что пошло не так. При этом мы все помогаем друг другу, поддерживаем друг друга. А в реальности совсем не так. Вот приходит Vit Koz и вытирает об меня ноги. За что? За то что я день и ночь вкалывал на благо человечества и движения Викимедиа? Да и чем мы тебя лично задели что ты не поленился своим комментарием в нас ткнут? В любом случае, хоть какая-то обратная связь для понимания что происходит. Ну и спасибо тебе, чувак, за поддержку, за доброту твою и за ласку. Конечно же мы не правы, ну а кто ещё, логично. Вон программисты и менеджеры Фонда Викимедиа тоже заявляют: за год мы съели 100 млн долларов, но мы никогда тебе не вернём новостную ленту, потому что мы, сука, обиделись на то, что ты всем показал как мы хреново работаем и за год не смогли полечить баг, о котором все знали и который очевиднейшим и неминуешим образом должен был привести к краху, но мы ничего не делали. Мне не вернёте? Я то тут при чём? Ты ещё так говоришь, как будто это наш частный проект и мы тут бабло намываем. Нет, это не так совсем. Это проект Фонда. Нет никакого движения, есть организация — Фонд Викимедиа, которая с этого всего получает профиты. Меня вот прямо сейчас T&S подразделение этого самого Фонда Викимедиа хочет заблочить навсегда, а этот проект достанется Фонду. Меня тут не будет, а Фонд будет говорить — вона какой у нас крутой свободный новостной архив, где за каждый день с 2000 года все новости написаны. Вот мы какие молодцы, дайте нам ещё бабла спустить на наши маргинальные идеи. Я же тут никто, и зовут меня никак, и наживаться на том что я тут делаю будут совершенно другие люди. Поэтому у меня большая просьба к тебе и к коллегам, хоть вы-то не пинайте. Мы с вами тут в одной лодке одинаковые дурачки. --cаша (krassotkin) 07:36, 29 июля 2021 (UTC)
  • На странице обсуждения, кстати, обсуждают удаление этой новости. Присоединяйтесь. --cаша (krassotkin) 07:36, 29 июля 2021 (UTC)