Инфокультура


Гео и язык канала: Россия, Русский
Категория: Технологии


Новости Информационной культуры. https://infoculture.ru

Связанные каналы

Гео и язык канала
Россия, Русский
Категория
Технологии
Статистика
Фильтр публикаций


К Дню архивов запускаем проект «Цифровой архив госфинансов и госуправления»

Фонд «Институт экономической политики имени Е.Т. Гайдара» и АНО «Информационная культура» запускают новый общественный проект «Цифровой архив госфинансов и госуправления», доступный по адресу finlibrary.ru.

Основная цель проекта — сохранить исторические источники о государственных финансах и госуправлении и сделать их доступными для экономистов, историков, исследователей, разработчиков и всех заинтересованных.

Портал «Цифровой архив госфинансов» создан для публикации электронных копий исторических документов и машиночитаемых данных, сгенерированных на их основе. Веб-интерфейс портала предоставляет доступ к первичным и систематизированным историческим источникам для обычных пользователей и наборам открытых данных и API для исследователей и разработчиков.

Источниками для проекта являются архивные документы, книги, визуализации и статистические сборники, размещенные на сторонних ресурсах или отсканированные силами команды проекта. Среди собранных документов можно найти Государственные бюджеты СССР и РСФСР, выпуски журнала “Проблемы экономики” и бюллетени Счетной Палаты РФ, документы департаментов Минфина XIX века, книги по истории Минфина России, бюджеты городов и многое другое.

Самый ранний государственный бюджет, доступный в базе данных проекта, датирован 1866 годом, а всего на данный момент собраны государственные бюджеты за 81 год.

Уже сейчас на портале доступно более 1000 электронных копий редких и уникальных материалов, а также несколько десятков машиночитаемых наборов данных, сформированных на основе оцифрованных и верифицированных сведений из таблиц, содержащихся в материалах-первоисточниках.

К концу 2024 года мы планируем расширить базу данных до 3 тысяч документов за счет поиска новых источников.

Будем рады пожеланиям и предложениям. Пишите на почту oparkhimovich@infoculture.ru (Ольге Пархимович) или в телеграм @k0shk. Более подробную информацию о проекте можно найти в анонсе: https://finlibrary.ru/s/finarchive/page/news.




Репост из: Ах, этот Минфин
День открытых данных: 6 марта с 11:00

6 марта с 11:00 в онлайн-формате пройдет ежегодный День открытых данных. В этом году будут представлены выступления об открытых данных в российской науке, об особенностях работы со статистикой внешней торговли, презентация нового проекта Dateno и многое другое.

В 12:45 расскажу о том, что происходит в области открытых госфинансов: повышается ли уровень финансовой открытости, доступ к каким наборам данных мы потеряли, что ожидать в ближайшее время и над какими проектами мы сейчас работаем.

Заспойлерю несколько скриншотов обновленной версии сайта проекта «Госзатраты», расскажу как мы собираем 5 тысяч исторических документов о госфинансах и как мы победили в конкурсе СПб «Твой Бюджет 2.0», по результатам которого Петербургские госорганы опубликуют в открытом доступе 150 тысяч страниц о финансах Петербурга за 100 лет.

Регистрация по ссылке: https://opendataday.ru/msk


Программа Дня открытых данных 2024: открытые данные для науки, статистика внешней торговли, госфинансы и многое другое

🗓 Дата и время: 6 марта, 11:00-14:30
💻 Формат: онлайн-трансляция

Опубликована программа российского Дня открытых данных. Темы выступлений:

1. Открытые данные для управления российской наукой: проблемы и возможности. Спикер Иван Стерлигов, советник проректора по науке НИУ ВШЭ.
2. Открыть нельзя закрыть: особенности работы со статистикой внешней торговли России. Спикер Алина Владимирова, руководитель направления сетевого анализа, Институт востоковедения РАН.
3. Презентация проекта Dateno — поисковика по открытым и общедоступным данным по всему миру. Спикер Иван Бегтин, директор АНО «Инфокультура».
4. Открытость госфинансов: вчера, сегодня, завтра. Спикер Ольга Пархимович, руководитель проекта «Госзатраты».
5. Презентация проекта ДумаБинго: Что мы можем сказать о работе Государственной думы, используя открытые данные. Спикер Александр Верещагин, аналитик проекта.
6. Тендерскоп: инструмент общественного контроля публичных закупок. Спикер Ирина Чарикова, руководитель проекта.

📍Регистрируйтесь на мероприятие и добавляйте его себе в календарь. Подробности на сайте: https://opendataday.ru/msk

Организатором Дня открытых данных в России выступает АНО «Информационная культура».


Репост из: Ах, этот Минфин
Изостатистика - одна из первых книг по инфографике

Так как мы решаем большую задачу «собрать бюджеты России за 100 лет», приходится часто искать новые источники исторических книг и документов. Одной из самых интересных находок стала книга И.П. Иваницкого «Изостатистика. Изобразительная статистика и венский метод», изданная в «Москве-Ленинграде» в 1932 году.

Изостатистика, как оказалось, примерно то же самое, что в современном мире называют «инфографикой», и что в книге зовется «количественной системой диаграммирования».

Книга описывает базовые принципы создания диаграмм, приводит большое количество примеров исторических инфографик и разбирает каждую из них.

К сожалению, книга черно-белая, но все равно уникальная.

Скачать книгу можно с сайта НЭБ (уникальный источник исторических книг): https://rusneb.ru/catalog/000199_000009_005073846/

#открытыеданные #инфографика #диаграммы


“Госзатратам” 10 лет!

4 февраля 2014, ровно 10 лет назад, был запущен проект “Госзатраты” (clearspending.ru) - один из первых в России информационно-аналитических проектов, направленных на повышение осведомленности граждан о состоянии, тенденциях, проблемах и рисках в сфере планирования и исполнения государственных расходов.

10 лет “Госзатрат” - это 10 тысяч уникальных посетителей в сутки (а за 10 лет - уже 16 миллионов), 53 миллиона просмотренных страниц и данные о 55 миллионах контрактов.

Вот уже 10 лет мы непрерывно скачиваем портала Госзакупок данные о госконтрактах, преобразовываем их и предоставляем разработчикам в формате API.

С 2014 по 2019 год мы активно проводили онлайн и офлайн-мероприятия – хакатоны и семинары по тематике госфинансов, команда проекта принимала участие в «Днях открытых данных».

С 2019 года по июль 2023 года наша команда разрабатывала проект СП РФ “Госрасходы” (spendging.gov.ru), поэтому “Госзатраты” оставались в режиме поддержки. Но, с учетом регулярно обновляющейся схемы данных портала госзакупок, работы нам и в этот период хватало :).

В конце 2023 года мы вернулись к активной разработке проекта и скоро представим вам новую базу данных и обновленный альфа-версию обновленного сайта проекта. Мы будем вести разработку в “открытом режиме”, поэтому у всех пользователей будет возможность протестировать и привыкнуть к новому интерфейсу, оставить обратную связь и предложения по новому функционалу. Предложения и комментарии можно будет оставлять в комментариях к этому посту или на почту oparkhimovich@infoculture.ru.

Также мы заранее анонсируем необходимость авторизации для использования API проекта, но у вас будет достаточно времени для регистрации и перехода на новую схему данных.

Благодарим всех наших пользователей, разработчиков, использующих API и открытые данные, поставщиков данных (Минфин России и Казначейство России, надеемся, что данные останутся доступными) и, конечно, команду проекта.


Присоединяйтесь ко Дню открытых данных 2024

6 марта приглашаем к участию в нашем ежегодном мероприятии для сообщества — «День открытых данных 2024».

Мероприятие пройдет в онлайн формате. Центральный фокус программы мероприятия этого года — открытые данные для сообщества. Мы планируем включить программу ваши доклады, презентации проектов и мастер-классы.

Оставьте заявку до 15 февраля, если хотите стать спикером и выступить на мероприятии, и мы с вами свяжемся: https://forms.gle/HMxjCkKi9cR3NYS77

Приглашаем разработчиков, ИТ-специалистов, дата-журналистов, гражданских активистов и других участников российского движения открытости.

Организатором Дня открытых данных в России выступает АНО «Информационная культура».

Подробности и регистрация: opendataday.ru/msk.


Репост из: Национальный цифровой архив
Какие цифровые ресурсы наиболее приоритетны для архивации в 2024 году? (можно несколько ответов). Если нет нужных вариантов напишите в чате @ruarxive свой вариант
Опрос
  •   Госсайты, госпроекты, государственные информационные системы
  •   Конференции, воркшопы, сайты мероприятий
  •   Сайты, телеграм каналы и сообщества политиков, политических партий
  •   Сайты музеев, галерей, архивов, библиотек
  •   Сайты и телеграм каналы негосударственных (независимых) СМИ и личных медиа
  •   Сайты и телеграм каналы государственных и зависимых от государства СМИ
  •   Всё что касается военного конфликта и его последствий (телеграм каналы, публикации)
  •   Сайты НКО, получателей грантов, получателей крупных госконтрактов
289 голосов


Репост из: Национальный цифровой архив
В марте в России запланированы выборы Президента РФ после которых, как минимум формально, должно быть отправлено в отставку текущее Правительство и собрано новое. Сейчас нельзя предсказать произойдет ли ротация министров и других должностных лиц или всё останется по прежнему, но мы планируем с января по март запустить архивационную кампанию по сохранению официальных сайтов Правительства и федеральных органов власти. Последний раз такая кампания масштабно проводилась в 2017 году перед сменой Правительства 2018 года.

Если Вы знаете какие-либо значимые сайты/онлайн ресурсы/телеграм каналы/сообщества, например, сайты кандидатов в Пр-ты, или иные агитационные ресурсы - напишите в чате @ruarxivechat, мы добавим их в приоритетный список для первоочередной архивации.

Архивацию мы будем проводить по следующим критериям։
- значимость/приоритетность
- риски исчезновения контента
- наличие технологий сбора цифровых материалов
- сложность барьеров в сборе материалов

К примеру, сайт Правительства РФ (www.government.ru):
- имеет высокий приоритет
- средний риск (ранее контент переносили на сайты archive.government.ru и др.)
- может быть заархивирован стандартными технологиями веб-краулинга (не надо писать парсерсы и специальные инструменты)
- устанавливает высокий барьер, поскольку стоит анти-DDoS система блокирующая доступ после определённого числа запросов в течение часа.

На первой стадии выделим первые несколько сотен сайтов / иных цифровых ресурсов, которые будут заархивированы и размечены по этим критериям.

А также предлагаю небольшой опрос по тому какие цифровые ресурсы приоритетно архивировать в следующем году (у каких из них наибольшие риски что они исчезнут).

#digitalpreservation #russia #elections #archives


Репост из: Barking store
50% от сегодняшней прибыли магазина (включая и интернет-магазин и оффлайн) направим в помощь беженцам из Нагорного Карабаха, сбор проводит фонд Этос @ethos_ua_yerevan. Также вы можете помочь, купив мерч Этоса здесь @market_ethos.

PS Поддержка беженцев важная тема всегда, но особенно актуальна в нынешнее время, в Москве мы рекомендуем помогать @refugee_help и @vtd.fond

PPS Процитируем пост Этоса, им можно по разному помочь — если есть такое желание, пишите @ethos_ua_yerevan

«При анализе объема необходимой помощи мы опираемся на данные 2020 года, и по консервативной оценке помощь может понадобиться от 17 000 до 50 000 человек.

Мы будем помогать беженцам гуманитарными наборами, одеждой и индивидуальными запросами (такими как лекарства и памперсы). Выдача будет проходить в офисе или в местах эвакуации.

Один продуктовый набор на семью из троих человек стоит 6000 AMD, бытовой набор стоит 4 300 AMD (суммарно — 27$ на семью). Сейчас, пока непонятен масштаб бедствия, мы планируем оказать помощь 600 семьям, на их закупку фонду необходимо собрать 6 200 000 AMD (16 200$).

Способы помочь нам:
📍Принести гуманитарную помощь лично или заказать доставку в офис по адресу Ереван, ул. Хоренаци, 30.
📍Сделать пожертвование, не забудьте написать нам, что вы задонатили на «Сбор для НК»
📍Поможет любая огласка, делитесь ссылкой на сбор со знакомыми и в соцсетях!
📍Если вы — представитель организации или инфлюэнсер, пишите на горячую линию для помощи с размещением продуктовых и донат-боксов и освещением сбора.
📍Нам нужны волонтёры для помощи руками на складе, раздачи гуманитарной помощи и листовок. Готовы помочь — пишите на горячую линию.»


Поддерживаем акцию помощи беженцам Армении⬇️


Репост из: Ах, этот Минфин
Петербургский «Горжилобмен» перепутал персональные данные очередников

Необычная ситуация развивается в Санкт-Петербурге с личным кабинетом очередников (граждан, ожидающих социальных выплат на приобретение жилья). В запущенном на днях сервисе «Личный кабинет» участникам категории «Семьи с детьми-инвалидами» после регистрации (с предоставлением номера учетного дела) отображаются данные совсем другой семьи и другой программы, включая ФИО, статус и учетный номер.

Есть и другая проблема - некоторые семьи с детьми-инвалидами видят целевую программу «Социальные выплаты семьям, трудоспособным детям-инвалидам», что, мягко говоря, вызывает большие вопросы среди участников программы.

Копирайт от 1927 года на сайте встречаю впервые, но в данном случае это мелочи.

После того как ФЗК (инициативная группа очередников Петербурга) озвучила проблему, СПбГБУ «Горжилобмен» быстро свой сервис прикрыл, сославшись на технические работы. Но ситуацию это, к сожалению, не меняет, и не отменяет вопросы о том, кто в Горжилобмене отвечает за персональные данные граждан и как обеспечивается их защита.

Хорошо бы найти разработчика данной системы (да и ее название), но, к сожалению, реестр ГИСов Санкт-Петербурга является довольно специфическим, и те системы, которые он отображает как «Исключена (переведена в архив)» могут оказаться вполне действующими. Такая ситуация не только с Порталом открытых данных СПб, но и с ОИС «Очередники Санкт-Петербурга», частью которой вполне может оказаться обновленный личный кабинет. Соответствующий контракт можно поискать среди контрактов Горжилобмена на Госзатратах (https://clearspending.ru/customer/03722001678/).


Репост из: Ivan Begtin
В качестве регулярного напоминания, хотя я в последние годы делаю проекты не только в России, но и в Армении, а также некоторые глобальные, но АНО Инфокультура от лица которого наша команда создавала проекты по открытости в России всё ещё действует и, несмотря на все ограничения, действовать будет дальше, как я надеюсь, во всяком случае.

Мы продолжаем и поддерживаем такие проекты как:
- Госзатраты [1] агрегатор всех государственных и муниципальных контрактов по 44-ФЗ. 223-ФЗ, 94-ФЗ и ряда постановлений Пр-ва РФ. Все доступно для поиска, доступно как открытые данные. Мы продолжим развивать его и дальше
- Открытые НКО [2] портал прозрачности НКО в России. Хотя российское Пр-во начало скрывать данные по учредителям организаций НКО ещё с весны 2021 года, мы продолжаем обновлять данные, хотя и остальные возможности развития проекта ограничены.
- Простой язык [3] сервис определения простоты текстов на русском языке. Проект остаётся неизменным уже много лет, форма куда можно отправить текст и получить оценку его простоты в годах обучения. Мы думаем как его улучшать и развивать, регулярно приходят пользователи с разными запросами.
- Хаб открытых данных [4] негосударственный портал открытых данных. Из-за потоков спама нам пришлось отключить там свободную регистрацию, но сам хаб никуда не исчезает, думаем о его перезапуске. Может быть когда Минэкономразвития России опубликует обновлённый портал data.gov.ru на Гостехе мы специально обновим Хаб открытых данных чтобы показать всем какую хрень может сотворить министерство за 100500 денюх и насколько лучше можем мы сделать с минимальным бюджетом.
- Национальный цифровой архив России [5] наш проект по архивации сайтов, был более актуален когда шла совсем полная срань с ликвидацией сайтов многих российских "инагентов", менее критично сейчас, с одной стороны, с другой всё ещё актуально. Стало сложнее архивировать госсайты, они все обзавелись капчами и блокировкой любых не-российских IP адресов. Поэтому, в очередной раз, думаем о смене приоритетов и актуализации программы архивации. У проекта есть отдельный телеграм канал https://t.me/ruarxive, не стесняйтесь, подписывайтесь на него.
- День открытых данных в России [6] мы не проводили его в 2022 году, всё же провели в 2023 году и планируем в том же формате в 2024 году, по большей части онлайн. Госполитика в области открытых данных в России давно уже сдувается, а сейчас ещё и сталкивается с военной цензурой и общей "разрухой в головах" , но существует всё ещё сильное русскоязычное сообщество по открытости и только ради него мы это проводим.

Хотелось бы делать больше, но существующая политическая повестка этого не позволяет. Хорошо что получается сохранять то что есть, хотя и с ощущением что в любой момент может возникнуть политическое давление и даже это будет сложно сохранить.

Из России всегда можно поддержать эти проекты на странице Инфокультуры https://www.infoculture.ru/donation/ если от физ лица или напишите мне если хотите сделать это от юридического лица.

Ссылки:
[1] https://clearspending.ru
[2] https://openngo.ru
[3] https://plainrussian.ru
[4] https://hubofdata.ru
[5] https://ruarxive.org
[6] http://opendataday.ru

#opendata #russia #infoculture #opengov


Репост из: Ах, этот Минфин
Госзатраты. Перезапуск

К десятилетию проекта (которое состоится в начале 2024 года) мы планируем перезапуск общественного проекта «Госзатраты» (clearspending.ru) и будем рады фидбеку, пожеланиям и критике. Если вы давно пользуетесь сайтом, API или открытыми данными проекта, нам будут полезны ваши пожелания как по сайту, так и по содержанию баз данных и API. А если еще не пользуетесь, но интересуетесь финансовыми данными или мониторите госзакупки, можете написать о том, каких функций вам не хватает в сторонних проектах. Писать можно в комментарии или в лс (@k0shk), кому как удобнее.

За последний год аудитория нашего проекта составила почти 2 млн уникальных пользователей, надеемся, что с новой версией сайта и базы данных она продолжит расти.


Репост из: Ivan Begtin
Отличный открытый курс по анализу данных от Яндекса и Европейского университета в СПб Прикладной анализ данных в социальных науках на русском языке.
Для тех кто только начинает работать с данными или переключается в эту область из другой профессии, рекомендую. Особенно это полезно для тех кто работает с данными в академической среде.

У Яндекса, в принципе, хороший набор русскоязычных хэндбуков. Лично мне нехватает хэндбуков про данные, например, про data discovery. С другой стороны я подозреваю если подходить к делу серьёзно, то мне же самому такой хэндбук надо делать.

#education #studies #learning #dataanalysis #data


Репост из: Если быть точным
Правительство теперь официально может засекречивать любую статистику. Как минимум 14 ведомств уже это сделали – причем еще до принятия нового закона

В конце февраля Госдума приняла закон, позволяющий правительству приостанавливать публикацию любой государственной статистики. По факту этот процесс идет уже давно: мы рассказывали, что за первые полгода с начала военного конфликта с Украиной как минимум 10 ведомств закрыли свою статистику.

Теперь их стало еще больше. Мы насчитали 14 органов власти, которые частично или полностью ограничили доступ к своим данным. Некоторые полностью закрыли разделы со статистикой, другие – частично ограничили доступность.

Например, Минфин закрыл доступ к оперативным данным о доходах и расходах бюджета, но их все еще можно вытащить обходными путями – через виджет на сайте.

Из хороших новостей: в экономической статистике наметилась небольшая оттепель. ФТС частично возобновила публикацию данных по внешней торговле (которые и так можно было собрать), о планах вернуть обязательную отчетность банков заявил Центробанк.

С другой стороны, среди закрытых показателей больше всего было именно экономических. Так что сломить тренд на снижение доступности данных это не сможет.

👉 подробнее – на нашем сайте


Мы продолжаем пополнять наш проект Каталог каталогов данных (datacatalogs.ru)

На этот раз в него включены сервера геоданных и ГИС порталы России и Казахстана на базе продуктов Geonetwork и Geoportal։
- Сервер геоданных портала Новые инвестиционные проекты Минэкономразвития России https://mnp.economy.gov.ru/geoserver/web/
- Сервер геоданных портала Московский транспорт https://transport.mos.ru/geoserver/web/
- Информационно-аналитическая среда для поддержки научных исследований в геологии http://geologyscience.ru/
- Геопортал Калининградской области https://geoportal.gov39.ru/
- ГИС-портал Спутникового Центра ДВО РАН http://gis.satellite.dvo.ru
- ГИС-портал проекта Национальная инфраструктура пространственных данных Республики Казахстан https://map.gov.kz

#opendata #datacatalogs #datasets


Глеб Свечников, фронтенд-разработчик Инфокультуры, поделился подробностями разработки новой версии проекта https://datacatalogs.ru.

Вот, что Глеб рассказывает об обновлении фронтенд-части:

«Предыдущая версия этого проекта была сделана Softr и Airtable, но нам стало нужно больше возможностей и кастомизации, которые Softr не мог предоставить. Поэтому я решил использовать 11ty для обновления.

Задачи — добавить фасетный поиск и улучшить SEO для этого проекта. Пакет Airtable npm работает с экосистемой 11ty, поэтому интеграция с текущим источником данных была очень простой.
Следующим шагом я разработал фасетный поиск на чистом javascript, чтобы пользователь мог фильтровать и искать по нашей коллекции ресурсов и делиться конкретными результатами поиска (каждый объект имеет уникальную ссылку с параметрами URL).

Следующим шагом было добавление отдельной страницы для каждого ресурса, это очень простая задача для 11ty, которая может быть выполнена с pagination и permalink в кратчайшие сроки. Первоначальная генерация 200+ страниц заняла около 14 секунд (на Macbook Air M1). С помощью eleventyComputed вся необходимая информация была представлена в мета-тегах для каждой страницы.

Меня попросили пойти немного дальше и создать OG изображения. С помощью @11ty/eleventy-img и text-to-svg-path это было сделано. Первоначальная идея была довольно проста:
- взять текст, преобразовать его в svg;
- объединить текст svg с логотипом и фоном;
- затем конвертировать svg в статичное изображение jpg.

Проблема возникла с длинными названиями ресурсов и именами владельцев. Поэтому я написал набор правил, которые разделяют такие длинные строки. Не очень масштабируемый, но быстрый и легко расширяемый. В итоге результат получился неплохим.

Должен отметить, что генерация изображений OG занимает некоторое время сборки и оперативную память. Пока я пишу этот пост, нам нужно сгенерировать более 300 страниц, и процесс сборки занимает около 37 секунд (около 100 мс для каждой страницы). Агент сборки занимает около 4 ГБ оперативной памяти».

Источник: https://lnkd.in/eTwqxXyt

#opendata #datacatalogs #data #frontend #airtable #11ty #seo


Репост из: Чартомойка
Появилось расширение ChatGPT для Google Sheets. Его можно использовать много для чего, но меня больше всего заинтересовала возможность чистить датасет. См. видео с 1:35.

А еще можно генерить данные по образцу ;)

Хочется верить, что еще немного и всё будет делаться автоматически (но это неточно).

https://youtu.be/Mb6ufl4H5go?t=95


Мы продолжаем пополнять наш проект Каталог каталогов данных (datacatalogs.ru)

В этот раз в каталог были добавлены геопорталы в республиках Узбекистан и Казахстан։
- Общественный геопортал Кадастрового агентства Республики Узбекистан https://open.ngis.uz
- Геопортал Комитета по правовой статистике Генеральной прокуратуры Республики Казахстан https://gis.kgp.kz
- Геопортал компании Карачаганак Петролиум Оперейтинг Б.В. https://maps.kpo.kz
- Картографическая основа Управления Земельного кадастра и Автоматизированной информационной системы государственного земельного кадастра https://aisgzk.kz/aisgzk/ru/content/maps/
- Геоинформационный портал города Астана https://gis.esaulet.kz
- Геопортал Акционерного общества «Национальная геологическая служба» https://ngs.geology.kz

На этих порталах публикуются от десяти до сотен слоёв с данными и предоставляется доступ к данным через API сервисы ArcGIS на базе сервера которого они созданы.

Записи об этих порталах вскоре появятся в поиске каталога.

#opendata #datacatalogs

Показано 20 последних публикаций.