Ivan Begtin

Ещё одна мысль вслух о полезных функциях при публикации курируемых датасетов/дата продуктов и дата каталогов. У DuckDB есть опция подключения к базе данных находящейся в где-то в сети. Это выглядит как опция когда хочется распространять данные к которым полезно подключение через SQL, помимо других способов. Я в таком виде распространяю базы internacia-db в папке data/datasets лежит файл intenacia.duckdb к которому можно вот так подключиться напрямую. И в базе реестра порталов данных dataportals-registry в data/datasets лежит файл datasets.duckdb Это менее удобно чем parquet в части объёмов передаваемых данных поскольку файлы базы DuckDB менее компактны, но достаточно удобно и быстро для справочных и небольших баз данных. #opendata #datasets #duckdb #dataengineering

22 октября я буду участвовать в секции Legal Ops & Автоматизация в рамках Eurasian Data Protection Congress 2026 (EDPC). О чем я буду говорить? Как всегда о доступности и недоступности данных, в этом случае в юридической сфере, о том какие данные доступны, какие недоступны, в чем основные барьеры и что с этим всем делать. #events #privacy #opendata

Weather Ribbon (Погодная лента?) любопытная визуализация среднемесячной температуры по городам на основе данных за 1991-2020 годы. На сайте охват городов не такой уж большой, в основном развитые страны и крупные города. К примеру, Алматы там есть, а Еревана нет. Но интереснее сам подход к визуализации, она доступна с открытым кодом под MIT лицензией и можно применить то же самое к визуализации чего-либо ещё: уровня осадков, качества воздуха и так далее. А сам сервис работает на открытых данных NASA MERRA-2 и Open Meteo. #opendata #opensource #dataviz

Всем спасибо за пройденный ранее опрос, я сейчас веду работу по обновлению сайта ruarxive.org с наполнением ключевых страниц тем за что проголосовали в первую очередь. А заодно обновил сайт с отображением того какие данные собраны, в каком объёме и так далее. У сайта открытый код он построен на базе Docusaurus и организован изначально как база знаний. Как помочь: 1. Дополнить/добавить/исправить в содержании страниц 2. Отправить issue если нет возможности внести изменения самостоятельно, но есть понимание что нужно 3. Написать в @ruarxivechat идеи/предложения/критику/что угодно полезное По текущему статусу, сейчас не все еще заархивированные ресурсы проиндексировались, но работа идет и все будет. Можно обратить внимание что в последние годы архивация перестала быть регулярной и тут уже более сложный вопрос приоритетов который, я надеюсь, мы все вместе сообществом обсудим и регулярную архивацию возобновим. #digitalpreservation #opensource #knowledge

По поводу разного рода апокалипсических предсказаний про развитие ИИ, от самих компаний разработчиков фронтирных моделей, от экспертов и общественников. А я скажу про то что уже сейчас ИИ инструменты позволяют принести немало вреда человечеству, вопрос лишь в том в чьих руках оно находится. Одно из важнейших изменений которые появляются в нашей жизни - это усиление одного слабого человека. Это пока недостаточно заметно и понятно, потому что почти вся движуха вокруг ИИ сейчас собрана вокруг, или жадности (как нам побольше заработать на хайпе) или страхе (как нам не потерять работу/свою рыночную нишу/конкурентное преимущество) и так далее. ИИ инструменты пока еще только в процессе коммодификации, превращения инструменты повседневной жизни для всех и каждого. Пока что эти инструмент применяются в, преимущественно, бытовых ситуациях и они не используются (хочется надеяться!) теми кто находится в измененном состоянии сознания, под наркотическими средствами и так далее. Не используются, или пока не перешли в массовое использование профессиональными преступниками, наркокартелями и террористами. Но рано или поздно они начнут. И ИИ инструменты со снятыми ограничителями окажутся мощным мультипликатором. Так что я лично считаю что "событие X" когда преступление/терракт многократно усилятся из-за применения ИИ почти неизбежно. А вот каким оно будет, я бы гадал только в форме фантастических рассказов;) #ai #thoughts

Полезные ссылки про данные, технологии и не только: - Earth Observations and Machine Learning for Gridded Macroeconomic Data научная статья от группы исследователей из IMF с рассказом про результаты сопоставления официальной муниципальной статистики США и Канады и данных спутникового наблюдения, включая данные по уровню освещенности, уровню застройке, чем покрыта поверхность и так далее. Полезно для всех кто ведет экономические исследования и проверяет сопоставимость официальных и альтернативных данных - License-only versus Stewarded Open Source рассуждения Dries Buytaert, основателя open source проекта Drupal о том что такое "курируемый проект с открытым кодом" и чем он отличается от просто кода в режиме "вот вам по открытой лицензии и делайте что хотите". - LakeSail замена Apache Spark переписанная на Rust, как следствие быстрее и без доп нагрузки в виде JVM. Сохраняет Spark совместимое API так что миграция должна быть дешевле чем на другие инструменты. - helixfoundry инструмент для превращения документов и баз знаний внутри компании в связанную онтологию и подключения ИИ агентов. Работает на базе HelixDB и DuckDB. По мне так документации там недостаточно чтобы хорошо понять возможности, но в плане попробовать может быть интересно. #opendata #opensource #dataengineering #ai

Мне таки удалось достучаться до команды проекта экосистемы CKAN'а и они взяли из реестра каталогов данных Dateno данные по недостающим у них каталогам на базе CKAN и сразу увеличили число охватываемых ими каталогов с 700 до 1400. Это тоже не предел, они не проверяют геоблокировки, а очень многие каталоги заблокированы за пределами своих стран, но тем не менее уже прогресс. В чем существенные отличия их системы от реестра каталогов. Они делают акцент на мониторинге API CKAN'а на предмет версий и расширений и проверяют насколько эти порталы закрыты последними патчами. Иначе говоря мониторят свою промысловую базу тех кто разворачивает CKAN чтобы предупреждать если их инсталляции не обновлялись и могут быть взломаны из-за отсутствия патчей безопасности, к примеру. CKAN, действительно, большая экосистема, хотя и далеко не единственная в мире порталов открытых данных. #opendata #datacatalogs #ckan

В рубрике как это устроено у них SEGITTUR официальный портал статистики туризма в Испании. Предоставляет множество показателей в разрезе регионов страны, стран происхождения туристов, пассажиров в аэропортах и так далее. Данные помесячные со средней задержкой в 1.5-2 месяца, на 9 октября по основным показателям данные доступны за июнь-август. Можно увидеть что более всего туристов приезжает из Португалии и Франции, но многое ещё и от региона зависит. Внутри всё работает на PowerBI отображение статистики встроено серией дашбордов, а для тех кто хочет напрямую поработать с данными есть API. Испания не единственная страна с доступной статистикой по туризму, но одна из немногих кто предоставляет аналитику ещё и на данных сотовых операторов (а это же данные телекома). Ну и муниципальные показатели по городам тоже доступны. Полезно для самых разных задач, например, если хотите поехать куда-то где туристов поменьше (или наоборот, побольше). #opendata #datasets #spain #tourism #statistics

Я почти год назад писал про инструмент с открытым кодом filerepack для пересжатия файлов. Это такой мой очень давний пэт проект, порожденный изначально необходимостью регулярно пересжимать какие-то файлы потому что базовые инструменты слишком часто делали их чрезмерно большими их можно было пересжать в 1.5-2 раза без потери функционала, то есть без необходимости распаковки перед тем как использовать. Живой пример - это все файлы в современных форматах MS Office OOXML - .docx, .xlsx, .pptx и все из этого семейства. Во первых все версии MS Office сжимают ZIP контейнер, которыми эти форматы являются, довольно плохо и просто распаковать файл и запаковать с максимальным сжатием уже давало результат. Во вторых большая часть изображений в этих файлах поддаются эффективному сжатию без потерь и могут уменьшиться в диапазоне 10-75% и итоговый файл уменьшится весьма существенно. Как бы то ни было этот инструмент я делал давно и в нем было одно существенное ограничение - это то что старые форматы файлов MS Office (.doc, .xls, .ppt и др.) такому пересжатию не поддавались. Причина в том что они и ряд других форматов файлов придуманных Microsoft имели в своей основе Compound File Binary Format к которому есть очень ограниченное число открытых реализаций и большая их часть только на просмотр двоичных потоков внутри и не более того. При этом у меня в архивах файлов в этих старых форматах MS Office накопилось немало, всегда хотелось их пересжать. И тут я подумал, а почему бы не попробовать и скормил подробное ТЗ в Claude Code с помощью которого в итоге собрал версию которая умеет пересжимать теперь еще и эти файлы. Это было непросто, для пересжатия используется анализатор OLE файлов в виде Python кода и пересборщих в виде кода на Rust поскольку только в Rust'е есть реализация кроссплатформенной библиотеки записи Compound файлов. В итоге filerepack начиная с последней версии 0.4.0 умеет пересжимать основные старые форматы MS Office .ppt, .xls, .doc и это самое большое и самое сложное изменение в инструменте с момента его создания. Остальные правки по мелочи - поддержка большего числа форматов использующих ZIP как контейнер, поддержка большего числа файлов с данными и тд. Подробнее есть в документации включая примеры, руководства и так далее. Отвечая на важный вопрос "А зачем?" который очень важно задавать и другим и, обязательно, себе. Казалось бы цена хранения файлов снижается и нет нужды лишний раз заморачиваться еще и сжатием контента. Это и так и не так. Во первых многие файлы хранятся в облачных файловых хранилищах которые могут менять условия и стоимость хранения и с легкостью забиваются однотипными/похожими файлами и в этом случае лучше положить туда пересжатую версию этого файла и сэкономить на лишних расходах. Во вторых многие личные архивы хранятся в криптоконтейнерах. Например, я лично ничего из личной чувствительной информации не храню просто на дисках и складываю файлы в криптоконтейнеры ограниченного размера. У этого есть ряд плюсов для параноиков, но есть и минус, там нет динамического увеличения размера по мере наполнения файлами. Место надо предвыделить и если еще и этот криптоконтейнер где содержимое часто меняется и его надо бэкапить то чем меньше он тем лучше. Тут то вопрос про сжатие файлов становится актуальным, но так чтобы без потери функциональности. Есть и множество других кейсов использования, а это мои личные. Поддержка файлов в старых форматах MS Office всё еще экспериментальна, если надумаете ее попробовать и столкнетесь с ошибками, пишите мне, лучше всего в issues на Github. Там же можно писать если какие-то популярные форматы есть и еще не поддерживаются или их рекомпрессия работает с ошибками. Вообще же не могу вспомнить периода жизни когда я что-то не архивировал. Начиная с первых жестких дисков на 10МБ, дискетами на 360КБ. Все моё детство состояло из попыток что-то куда-то сжать чтобы не удалять потому что места всегда нехватало. Насколько проще стало все сейчас, но всегда найдется чем занять любые объемы хранения, так что сжимать файлы всегда актуально;) #opensource #compression #data

Разные мысли вслух и не только: 1. Насколько же стали распространены геоблокировки по сайтам. К примеру, пытаюсь открыть opendata.tashkent.uz из 4-х юрисдикций: Германия, Финляндия, Армения, Россия и везде запрет к доступу. Похоже блокируют все сети кроме узбекских. Очень похожая ситуация с доступностью сайтов в Иране, Китае, Вьетнаме, а с недавних пор и в России. Формально домен есть, де-факто сайт есть, но доступ получить все сложнее. 2. То что украинские БПЛА разбомбили ЦОД Яндекса поднимает сразу два важных вопроса: а) Есть ли рейтинг российских ЦОДов по БПЛА защищенности или по удаленности от мест боевых действий? б) Есть ли у Яндекса риск национализации перехода операционного управления государству как это было с владельцами критической инфраструктуры в других рынках? 3. Оказывается у СНГ есть геопортал cisgeo.info и его запустили в декабре 2025 г. Не то чтобы там много полезного, если честно. Внутри тот же движок что у nspd.gov.ru, вендора его я не знаю, но знаю что у них там внутри какой-та своя реализация OGC сервисов с кастрированной поддержкой функций таких как GetCapabilities. 4. В Узбекистане есть портал с метеоданными data.meteo.uz которому нехватает каталога данных, но есть API. И ещё в том же Узбекистане есть нац портал мониторинга качества воздуха, весьма приличный eko-nazorat.uz и тоже с API. В той же Армении не все так хорошо с метеоданными. #opendata #geoportals #datacatalogs #thoughts