ZX-Art

Внимание! В связи с переездом сервера музыка пока не проигрывается. Её по-прежнему можно скачать в виде исходного файла, но хранилище MP3 пока недоступно до переезда сервера.

🪓 Поправлено сохранение архива работ в ZIP. По-прежнему могут быть таймауты при попытке сохранить слишком большое число работ за раз, но в целом эта функция была изрядно поправлена.
На очереди - сохранение софта в ZIP с результатами поиска.

⚒ Просмотрены группы начинающиеся на буквы H, G, F, E, D, C, B, A. Для понимания эффекта: например, на букву C было 450 записей, а после устранения дублей, пустышек, переноса авторов в авторы осталось 379.
Как появились дубли? Из-за разного написания в разных базах. Beermans, Beermanz, Beermans group, Beermen какой-нибудь еще. В Virtual TR-DOS, например, такого много - одни и те же группы написаны по-разному. Кроме того, была досадная ошибка в импорте, при которой названия со спецсимволами типа Roga&Kopyta Hacker's Group не искались корректно, образуя при каждом импорте дубликаты.
Как появлялись пустышки? Во-первых, из-за того, что однажды ZXDB взяли, и поменяли ID почти всех авторов у себя. В связи с этим мне пришлось грохнуть всю информацию об авторах из ZXDB и переимпортировать их заново. Во-вторых, тот же Virtual TR-DOS явно работает над ошибками, и некоторые некорректно написанные авторы оттуда исчезают, а на ZX-Art, соответственно, они оставались.
Откуда взялись авторы в группах? В импорте было слишком вольное допущение, что издателем может быть только фирма, поэтому неизвестные лейблы-издатели автоматически помечались как группы. Кроме того, в ZXDB некоторые авторы, похожие на фирмы, помечены как фирмы. У нас модно было обозваться Vasya Pupkin Software LTD, даже если ты просто писал фактро соседу по подъезду.

🔨 Поздравляю всех с завершением этого этапа, на данный момент вообще все списки групп и авторов просмотрены и вручную поправлены/объединены.
Расслабляться рано: теперь необходимо пройтись по всем-всем-всем продам и выловить дубли уже на этом уровне. К счастью, у таких дублей есть четкий признак, по которому их легко выловить: у них в 99% случаев нет скриншота, что очень сильно облегчает их поиск и делает эту затею вообще реальной.
Как образовались дубли продов? Разница в названии программ и ошибки в годе публикации.

🛠 Как только эта работа будет завершена, на ZX-Art впервые образуется золотой грааль спектрумизма - единая база людей и софта. Всех и отовсюду, какие только можно собрать.
Уже прямо сейчас, на ZX-Art есть всё, кроме прессы. Есть абсолютно все демки, есть все системные программы, есть все релизы с поуэта, есть весь ленточный софт из восьмидесятых. Есть даже Sam Coupe и ZX81.
Пока что еще есть некая инерция, из-за которой архив у многих всё еще не ассоциируется с самых огромным и универсальным архивом софта и игр, но некоторые из грядущих юзабилити-фич эту инерцию окончательно сломят.

🔧 После того, как будут окончательны сведены в единую базу разрозненные записи VTRDOS и ZXDB, я поспособствую тому, чтобы в ZXDB попали абсолютно все программы, созданные в странах бывшего Союза. Да, они не собираются хранить краки и ререлизы, но хотя бы архив оригинальных программ будет полностью доступен в ZXDB, а, вместе с тем, и во всех проектах, которые на него опираются. Диверсификация архивов скоро осуществится, единоличного владения спектрумовским наследием скоро не останется ни у кого. Разумеется, распространение будет реализовываться и через API самого ZX-Art. В очередной раз повторю: копируйте всё, софт, музыку, графику, списки авторов и групп, что угодно, организуйте свои копии и свои архивы так, как вам хочется. Беспрепятственное распространение - один из ключевых принципов ZX-Art, работа в этом направлении продолжается, и забирать информацию будет всё легче и легче.

🌔 Просмотрены группы на буквы m, l, k, j, i, дубли групп объединены, авторы превращены обратно в авторов.

🌓 Автор или его алиас могут теперь быть указаны издателем программы, раньше это было доступно только для групп.

🌒 Устранены логические недостатки в импорте с ZXDB, приводившие к ошибочному созданию групп вместо людей.

🌑 Исправлен импорт "комментариев" к релизам с ZXDB, которые на самом деле являются скорее версиями.

🌘 Удалены все пустые релизы без скачивания. Оказалось, что таких 11000 в базе, часть из них - какие-то ошибочные дубли.

🌗 Заново пересвязаны соответствующие релизы с базой ZXDB из-за того, что в ZXDB у релизов нет неизменяющихся ID, а порядковые номера, которые должны были по обещаниям авторов базы неизменными, предсказуемо всё-таки поменялись не так давно. В связи с этим скрипту пришлось заново перекачать каждый релиз, проверить его контрольную сумму и по контрольной сумме отыскать нужный релиз ZX-Art, заново создав связь в базе. К сожалению, нет гарантии, что разработчики ZXDB не провернут такой финт заново когда-нибудь. Добавить нормальный человеческий ID релизам они тоже отказываются.

🌖 Внедрена поддержка формата NXI - дамп памяти Next, отвечающий за Layer 2. К сожалению, универсального формата для хранения произвольной Next-графики не предвидится, поскольку там куча слоёв с кучей палитр и аппаратными спрайтами поверх. Сейчас идет обсуждение, в каком формате стоит хранить Next-графику, чтобы хотя бы сам Next её мог потом показать без потерь.

🌕 Реализована поддержка формата Sam Coupe SS3, представляющий собой hires 512*384 в палитре из четырех цветов, но под него пока не найдено работ.

🌚 Реализована поддержка EGA-подобного режима ATM, 256*192, цвет на пиксель из палитры в 16 цветов. К сожалению, графика под него есть, но её надо как-то заново выдирать, потому что имеющиеся на образах дисков SCR файлы не содержат в себе информации об использованной палитре.

🦴 Как вы, наверное, заметили, раз в неделю ZX-Art падает с ошибкой 500. Причина простая - превышен лимит по количеству используемых inodes на сервере, составляющий на данный момент 384 000.
Основные потребители: закачанные файлы (софт, скриншоты, картинки, музыка), кэш уменьшенных в размере картинок, кэш спектрумовских картинок. Кэши самоочищаются, выкидывая всё, что старше месяца, но объем информации уже таков, что самоочищение не помогает.
В связи с этим, нужно этот рост как-то взять хотя бы под минимальный контроль. Первый шаг: упразднен глобальный выбор палитры для спектрумовских картинок, а уже ссылки переведены на немного другой формат, чтобы поисковики из индекса не перегенерировали всё заново. Соответственно, все гигаскрины теперь делаются по схеме sRGB (базовые цвета из Pulsar, смешивание гигаскринов по формуле sRGB). Для тех авторов, кому критично смешивание по схеме Pulsar, теперь есть возможность задать для своих работ дефолтную схему. Кто желает переключить свои работы с sRGB на Pulsar - заходите, переключайте или, пишите свои пожелания в комментарии к профилям авторов и на moroz1999@gmail.com

🦴 В дальнейшем проблема сервера будет решаться как-то более кардинально заменой арендованной машины собственной, но этот вопрос займет изрядное время. Текущий сервер хорош своей доказанной надежностью и умеренной стоимостью. Апгрейд на полноценный VPS стоил бы порядка 2000 евро в год, и потому не рассматривается.

🦴 Помимо этого, между делом просмотрены и убраны дубли для групп на букву n, o, p, q, r, s, t.

🦠 На сервер с MP3 файлами поставлен Let's Encrypt сертификат. Это - временная мера, так как вопрос сервера для ZX-Art в любом случае ждет кардинального решения в обозримом будущем, но на данный момент это позволило опять включить поддержку HTTPS. Во время работы без HTTPS выяснился интересный факт: некий российский интернет-провайдер настолько нескромен, что напрямую встраивает свои баннеры прямо в тело открываемого сайта, ломая при этом верстку. Что тут сказать - капитализьм (c). С HTTPS такой трюк не пройдет, как и многие другие подобные трюки.
Поскольку по независящим от меня причинам сменился IP сервера, на распространение новых DNS записей может понадобиться некоторое время. В общем, в течение суток музыка должна опять заработать.

🍄 Исправлены и пересмотрены авторы, начинающиеся на буквы D, C, B, A.
Поскольку процесс исправления двигался от Z к A, засим исправление авторов можно считать законченным. Да, как и в любой базе, еще имеются ошибки и глупости, но основная вакханалия с дублями, недопереводами имён и перепутанными типами в авторах прекращена.
Всё, что нужно делать в отношении авторов в дальнейшем - следить после импортов, чтобы не возникало новых подобных ошибок.

🍄 Аналогичная работа начата для групп авторов. Пересмотрены группы на буквы: #, Z, Y, X, W, V, U, T. Поскольку групп на порядки меньше, чем авторов, дело двигается намного быстрее.

🍄 Сразу же возникла необходимость быстро превращать алиасы групп в полноценные группы, потому что во время импорта из ZXDB создалось некое количество ненастоящих алиасов по чисто техническим причинам.
Теперь алиас группы можно превратить в обычную группу в два нажатия кнопок.

🍄 Аналогично срочно потребовался инструмент по превращению группы в автора. Особенно такой проблемой грешит pouet:
https://www.pouet.net/groups.php?which=10008 - "группа" olly_bfox. Надо ли говорить, что во время импорта все эти оригинальные ошибки перекочевали на ZX-Art, где с ними ведется постоянная борьба и работа по поиску и исправлению.
Это тот самый случай, когда цепочка инструментов позволяет быстро решить такой случай. Сначала "группа" olly_bfox превращается в "автора" olly_bfox с сохранением всех связей с релизами, а потом автор olly_bfox сливается нажатием кнопки с уже имеющимся алиасом автора olly_bfox.

🍄 Исправлен небольшой баг с несовпадением колонок в группах.

Не болейте и сидите дома!

🦵🏻После очередного обновления Chrome появилась свежая проблема с проигрыванием музыки. Дело в том, что новый Chrome не разрешает сайту, загруженному через HTTPS, проигрывать музыку через обычное незашифрованное HTTP соединение.
Поскольку на сервер с MP3 файлами установить TLS сертификат пока что затруднительно, принято решение на полгодика переключить весь сайт обратно на HTTP.
В перспективе хостинг будет поменян, а от отдельного сервера с конверсией файлов можно будет отказаться.

🐤 Из публичного доступа убран просмотр бинарных файлов релизов через импровизированный hex viewer. Как эксперимент, это было любопытно, но кому это реально было нужно?
Основная проблема, которую они создавали, заключалась в том, что каждый такой файл имел свой линк, индексируемый поисковиками, причем таких линков было примерно полмиллиона. Во имя лучшей индексации и своевременных обновлений от просмотрщика пришлось отказаться, иначе поисковики были заняты индексацией заведомо белого шума вместо правильных и полезных ссылок на софт, картинки и музыку.
Просмотр текстов, бейсика и картинок оставлен, они полезны и желательны в поисковиках. Скачать любой бинарник из любого релиза можно по-прежнему, это не изменилось.

🐦 Переводы частоты инта, частоты муз.сопроцессора, раскладки каналов и типов чипа систематизированы и налажены. Теперь в мелодии не просто пишется никому не понятное "Частота AY: 1750000", а пишется куда более вменяемое "Частота AY: 1.75 МГц (Пентагон)". Теперь любой посетитель может увидеть бардак или неправильные настройки и указать на них.
Это моментально вскрыло следующую проблему:

🐤 У большинства авторов по умолчанию стояла частота процессора от оригинального ZX, а частота AY от пентагона. Я не уверен, как именно такое сочетание получилось на практике, но эта шиза однозначна требовала поправки.
В итоге для всех таких случаев (и только для них) автоматически и массово был выставлен:
* Пентагон для стран СНГ
* оригинальный ZX для всех остальных стран.
В связи с этим были в срочном порядке заново переконвертированы все mp3 файлы.

🐦 Пересмотрены авторы, начинающиеся с букв J,I,H,G,F. Порядок в базе авторов уже практически наведен, при этом групп в азе в разы меньше, и, в отличие от авторов, пересмотреть группы можно буквально за пару выходных.
Куда как сложнее пересмотреть все релизы и программы, избавившись от дублей, сделав скриншоты и внеся недостающих авторов, но и это, прямо скажем, не космический объем работы.
Можно прогнозировать, что уже летом 2020го года единая база всего спектрумовского софта будет впервые в истории наконец-то собрана и доведена до приличного состояния.

Что успело произойти на ZX-Art за январь? Давайте поглядим.

🥃 Добавлено большинство работ с прошедшего DiHalt Lite. В этот раз было принято решение подождать, добавит ли кто-то эти работы, и поглядеть, сколько времени это займет, если никого не просить об этом напрямую.
Спасибо tiboh и nq за добавление музыки, графики и недостающих дем, ждать долго не пришлось, эксперимент принес весьма обнадеживающие результаты.
С демами получился небольшой анекдот: демы были случайно импортированы с ZXAAA архива. Однажды утром обнаружилось, что ночью сама по себе запустилась синхронизация, и недостающая информация импортировалась безо всякого предупреждения. Встал закономерный вопрос: как такое возможно? Объяснение появилось быстро. В незапамятные времена, когда Алексей Алексеенко еще был договороспособным человеком, я помогал ему с установкой RSS-фида на сайт. Хостинг был у него допотопный, ООП не держал, поэтому фид располагался на ZX-Art (не удивляйтесь) и имел некий адрес типа zxart.ee/zxaaa. Впоследствии этот механизм поломался, и ненужная RSS-процедура была подчищена, а в индексе поисковиков где-то этот адрес сохранился. Прошли годы, я разместил по тому же адресу точку входа для ручного запуска синхронизации архива, и, видимо, какой-то бот изредка по этому сайту всё еще заходил, случайно запуская импорт вместо RSS. Поправлено, адрес теперь другой и менее предсказуемый.
Почему нельзя сделать полную автоматику? Потому что после каждого запуска нужно просматривать глазками информацию, которая импортирована от ААА, переводить на другие языки, корректировать, сливать дубли, превращать в группы неправильно созданных авторов.

🍷 В списке картинок в поиске по базе графики не работала полноэкранная галерея, это поправлено. Не за горами будет полный отказ от неё и переход на ту же галерею, что и в продах.

🍻 В выбранном проде теперь нормально работает галерея, комбинируя и PNG, и SCR файлы с масштабированием.

🥂 По многочисленным просьбам пересмотрена и поправлена по мелочам процедура сброса забытого пароля.

🍸 Значок реалтайма теперь показывается у всех компо, относящихся потенциально к FAST. Раньше было не так, была недоделка.

🍺 Поправлена мелкая, но назойливая проблема: в верхнем выпадающем меню в пункте "Пати" был двойной набор лет проведения пати.

🍻 Из быстрого поиска убраны назойливые крактро. Ранее весь список результатов быстрого поиска на любой запрос состоял на две трети из крактро, теперь же крактро показаны только в детальных результатах. Возможно, всю категорию стоит упразднить, и не хранить отдельные крактро для тех релизов, которые и так есть на сайте.

🍺 Наконец, закончена большая работа по обновлению веб-версии Unreal Speccy Portable. Спасибо @djdr0n за компиляцию свежей версии, после энного количества увлекательных часов, полных ковыряния и мучительного переписывания Javascript-лапши от emscripten, удалось исправить глюки с масштабированием холста, порчей DOM-модели, множественными обработчиками fullscreen-ивентов, и прочее и прочее.
Чем лучше новая версия?
1. Теперь сам эмулятор скоммпилен не в JS, а в WASM, что должно очень положительно сказаться на его скорости работы.
2. Теперь корректно перехватываются нажатия клавиш, особенно курсорных.
3. Теперь эмулятор снова работает в свежем хроме.

Еще раз всем спасибо, кто выкладывал обновления и тем самым давал возможность немного больше внимания уделять разработке новых фич и исправлению старых.

🌲От лица коллектива ZX-Art поздравляю всех с наступившим Новым Годом!
Давненько не было больших апдейтов, это связано с временным переключением интересов на разработку под реальный ZX Spectrum. Как только этот небольшой проект будет накоден, будут новые большие апдейты, а пока всё больше по мелочам:

🍷Обновлена синхронизация с Pouet, новый софт доимпортирован. На этот раз дублей было совсем минимум, большая часть софта и людей сама связалась с уже имеющимися релизами.
Вот так оно и должно работать!

🌚Запущена очередная синхронизация с 3А архивом. Бардак-бардаком, но там появляется много редкой информации по людям и группам, спасибо прежде всего тибоху. Дубли убраны, авторы пересмотрены, некоторые ошибки в базе найдены и исправлены.

🍷У авторов теперь показываются линки на профиль в Pouet. Ускользнула эта мелочь ранее из внимания, теперь поправлено.

🌚В Zx-Image библиотеке большое обновление: отрефакторен код работы с размерами и фильтрами. Раньше это всё зачем-то было объединено в метод setSize (не спрашивайте), а теперь это разделено на три метода: размеры отдельно, а постфильтры и префильтры отдельно.
Кто не знает, где её брать: https://github.com/moroz1999/zx-image
Спасибо Shadow Maker за волшебный пендаль, этот рефакторинг ждал своего времени примерно девять лет.

🍷В связи с этой доработкой отображение тройного размера выбранной картинки появилось и на ZX-Art для тех разрешений экрана, которые позволяют это отобразить без больших искажений.

🌚В базе авторов пересмотрены буквы K и L, работа в этом направлении постепенно движется.

🍷Немного цифр за год:
Число уникальных посетителей за месяц выросло с 6400 до 9717. Поэтому, если требуется реальный охват ZX-аудитории, то ZX-Art - однозначно ваш выбор.
Добавлено:
3840 релизов
2156 продов
523 автора и 173 алиаса
521 картинка и 201 мелодия
35 городов
Эти числа включают в себя и ручную работу, и автоматическую агрегацию, поэтому еще раз выражаю благодарность всем, кто вносил и корректировал информацию: без ваших усилий было бы много хуже.
В следующем году есть планы поработать основательно над модернизацией устаревшего UI и инструментарием по работе с архивами.

🌲Всем хорошего нового года, и да пребудет с вами z80!

🦷 Исправлена и пересмотрена буква M среди авторов. Какое-то безумное количество ошибок и дублей, такого еще ни в одной букве не встречалось. С почти двух тысяч авторов список похудел до полутора в итоге.

🦷 Все Alexandr, Aleksander, Alexander заменены в базе на стандартное Aleksandr. То же самое будет сделано с разновидностями Максимов, но здесь уже нужно вручную работать, чтобы не зацепить лишнего.

🦷 В информации о релизе теперь показывается тип релиза, который раньше можно было узнать только из хлебных крошек.

🦷 Из курьезов понимания наших западных коллег: замечен автор "N. Novgorod". В копилку к авторам "Morozovsk" и "Zagruvaetsq".

🦷 В информации о картинках и музыке теперь отображено оригинальное имя файла, использованное при закачке. Оно всё это время сохранялось в базу.

🦷 Налажена ld+json schema для музыки и картинок. Посмотрим, как это отразится в поисковой выдаче.

🦷 Разделены слипшиеся в единый релиз разнообразные пятнашки. Аналогичную процедуру предстоит проделать и с Battle City, Worms и Mortal Kombat.

🍺 Добавлена новая категория софта "Электронное письмо". В категорию перенесены соответствующие проды, которые раньше находились в демках.

🍺 Опробован инструмент разъединения релизов, были разобраны и разъединены Color Lines, коих оказалось просто неимоверное количество, выпущенное примерно в один и тот же год. Такая же проблема будет у мортал комбатов, у пятнашек.
Связанные с ними люди приведены в порядок, игры оскриншотены.

🍺 Внесены все релизы с Cafe 2019, пати было огромное и богатое на релизы, поэтому полный разбор всех работ занял часа четыре-пять, которые могли бы быть с пользой потрачены на фичи, но не судьба. Как говорится, у семи админов пати без релизов.
Это будет частично решаться автоматизацией наполнения работ с events.retroscene.org. Всё равно придется отдельно искать авторов, снимать скриншоты в самом лучшем формате, для музыки выбирать исходные файлы, для графики клеить гифки со стадиями, итд.
Можно подождать, пока работы не появятся на pouet, а потом их все затянуть скопом, но проблемы будут те же самые: скриншоты, невнесенные авторы, нет музыки и графики, только демо.
Или можно всё сливать с demozoo, но и там та же беда. Надо как-то автоматизированно потрошить файлы, вытаскивая только нужные форматы, ведь mp3 и png нам не подойдут.
Поэтому автоматизация едва ли ускорит процесс внесения работ даже на треть. Sad but true, но ручной деятельности не избежать.

🍺 Добавлены очередные недостающие типы компо для демо.

🍺 В базе откопаны 24 работы без категорий, из-за чего они показывались совершенно нигде в публичной части. Работы вытащены, ошибка исправлена, на досуге будут проверены другие потенцианльые способы залить проды без категорий.

🍺 Скриншоты продов теперь могут поддерживаются и в гигаскрине.

🍺 Исправлены до кучи всякие мелкие визуальные баги, вроде лишних пробелов и отсутствующих запятых в перечислениях.

Канал оповещений об событиях, изменениях и разработках на портале ZX-Art.
На данный момент идет работа над упорядочиванием авторов: буквы пересматриваются вручную одна за другой, дубликаты сливаются в единые профили, ошибочные попавшие в авторы группы конвертируются в группы.
15 букв из 26 пересмотрено, на данный момент идет работа над буквой N.
Дефолтная картинка с крестами у продов без скриншотов заменена по просьбе наших постоянных посетителей на более понятный вариант.