💻 Tech-радар: Разбираем гигабайтные архивы 12 сервисов прямо в браузере на DuckDB-Wasm — без JSON.parse и бэкенда
**Takeout X-Ray v2.0: разбор гигабайтных архивов 12 сервисов прямо в браузере на DuckDB-Wasm**
Вышло статическое веб-приложение Takeout X-Ray — локальный инструмент для анализа личных выгрузок данных, работающий целиком в браузере. Изначально проект задумывался как «Spotify Wrapped» для старых переписок из Telegram (файл result.json), диалогов ChatGPT и истории браузера, однако быстро упёрся в два принципиальных ограничения, которые автор решил не нарушать: абсолютный ноль бэкенда и отказ от наивной схемы await file.text() с последующим JSON.parse(). Реальные экспорты аккаунта Telegram, архивы Google Takeout или папки с сессиями кодирующих ИИ-агентов легко весят 300–700+ МБ и содержат сотни тысяч объектов, поэтому материализация такого JSON одной строкой в куче V8 предсказуемо роняет вкладку браузера с Out-Of-Memory.
Технически Takeout X-Ray построен на DuckDB-Wasm с выделенным Web Worker и потоковыми парсерами. При выборе .zip-файла сначала запускается инспектор оглавления на базе @zip.js/zip.js, который за миллисекунды считывает только central directory в конце архива — медиафайлы при этом даже не читаются. В конфигурации явно отключены собственные веб-воркеры библиотеки через configure({ useWebWorkers: false }), чтобы не нарушать строгую политику нулевой сетевой активности после старта страницы и упростить работу в изоляции COOP/COEP. Выбранная запись отдаётся в парсер потоково через TransformStream без буферизации распакованного файла: ReadableStream выдаёт нативные 64-килобайтные чанки байтов прямиком в анализатор, а весь разбор данных и работа с SQL-движком изолированы в отдельном Web Worker, поэтому интерфейс остаётся на 60 FPS даже на тяжёлых архивах.
В версии v2.0 проект вырос из разбора трёх форматов в универсальный локальный комбайн для 12 сервисов и 13 форматов выгрузки: Telegram, WhatsApp, Discord, X (Twitter), Spotify, YouTube, TikTok, Chrome, ChatGPT, Claude.ai, а также локальных логов ИИ-агентов (Claude Code CLI и Antigravity). Если внутри одного файла Google Takeout обнаруживается сразу несколько сервисов — например, история Chrome и просмотры YouTube, — интерфейс не сливает их в общую кашу, а предлагает пользователю выбрать нужный срез.
Отдельная инженерная задача — определение типа выгрузки по первым байтам: используется скользящее окно проверки 64 КБ → 512 КБ → 4 МБ. Запас до 4 МБ понадобился из-за реальных архивов, где первые килобайты заняты списком контактов (в полном экспорте Telegram до ключа chats.list бывает больше 80 КБ метаданных) либо гигантским заголовком первого длинного треда в ChatGPT — окна в 16 КБ на таких файлах ошибочно признавали экспорт нераспознанным. Далее байты идут через потоковый TextDecoder('utf-8', { fatal: false }) в SAX-парсер @streamparser/json с флагом keepStack: false, который подписывается только на нужные пути вроде $.chats.list.*.messages.* или $.Browser History.*. Готовые объекты накапливаются батчами по 5 000 строк, превращаются в компактный NDJSON и регистрируются во временной виртуальной файловой системе DuckDB вызовом db.registerFileText — с гарантированным dropFile в блоке finally, иначе память внутри Wasm-модуля растёт линейно от размера входного файла.
Среди неочевидных сюрпризов реальных экспортов — устройство архивов ChatGPT и X (Twitter). В conversations.json сообщения хранятся не плоским массивом, а направленным ациклическим графом внутри словаря mapping, где ветки, оставшиеся после «Regenerate response» и редактирования промптов, продолжают висеть боковыми отростками; парсер идёт от указателя финального узла current_node вверх по ссылкам parent с проверкой на циклы, а разница Object.keys(mapping).length - visited.size даёт точную метрику, сколько раз пользователь перегенерировал ответы ИИ. Файлы data/tweets.js и data/like.js в архиве X — вообще не JSON, а JavaScript с префиксом window.YTD.tweets.part0 = [...], поэтому для них написан потоковый побайтный фильтр stripYtdWrapperStream, отслеживающий баланс скобок вне экранированных строковых литералов; попутно пришлось лечить баг связки Web Streams с @zip.js (TypeError: Invalid state: WritableStream is closed), переводя фильтр в режим «дренажа» остаточных байтов. А поскольку в like.js нет дат лайкнутых твитов, время восстанавливается из самого tweetId — это Twitter Snowflake, где старшие биты кодируют точное UTC-время вплоть до миллисекунды по формуле (BigInt(tweetId) >> 22n) + 1288834974657n.
Для пользователей это означает возможность анализировать собственные архивы размером в сотни мегабайт без загрузки на чужой сервер и без падения вкладки: данные не покидают браузер, а живое демо проекта доступно со встроенными синтетическими датасетами, исходники выложены на GitHub.
Категория: Технологии
Теги: #Технологии #Tech #IT #Искра
💻 Tech-радар: Разбираем гигабайтные архивы 12 сервисов прямо в браузере на DuckDB-Wasm — без JSON.parse и бэкенда
**Takeout X-Ray v2.0: разбор гигабайтных архивов 12 сервисов прямо в браузере на DuckDB-Wasm**
Вышло статическое веб-приложение Takeout X-Ray — локальный инструмент для анализа личных выгрузок данных, работающий целиком в браузере. Изначально проект задумывался как «Spotify Wrapped» для старых переписок из Telegram (файл result.json), диалогов ChatGPT и истории браузера, однако быстро упёрся в два принципиальных ограничения, которые автор решил не нарушать: абсолютный ноль бэкенда и отказ от наивной схемы await file.text() с последующим JSON.parse(). Реальные экспорты аккаунта Telegram, архивы Google Takeout или папки с сессиями кодирующих ИИ-агентов легко весят 300–700+ МБ и содержат сотни тысяч объектов, поэтому материализация такого JSON одной строкой в куче V8 предсказуемо роняет вкладку браузера с Out-Of-Memory.
Технически Takeout X-Ray построен на DuckDB-Wasm с выделенным Web Worker и потоковыми парсерами. При выборе .zip-файла сначала запускается инспектор оглавления на базе @zip.js/zip.js, который за миллисекунды считывает только central directory в конце архива — медиафайлы при этом даже не читаются. В конфигурации явно отключены собственные веб-воркеры библиотеки через configure({ useWebWorkers: false }), чтобы не нарушать строгую политику нулевой сетевой активности после старта страницы и упростить работу в изоляции COOP/COEP. Выбранная запись отдаётся в парсер потоково через TransformStream без буферизации распакованного файла: ReadableStream выдаёт нативные 64-килобайтные чанки байтов прямиком в анализатор, а весь разбор данных и работа с SQL-движком изолированы в отдельном Web Worker, поэтому интерфейс остаётся на 60 FPS даже на тяжёлых архивах.
В версии v2.0 проект вырос из разбора трёх форматов в универсальный локальный комбайн для 12 сервисов и 13 форматов выгрузки: Telegram, WhatsApp, Discord, X (Twitter), Spotify, YouTube, TikTok, Chrome, ChatGPT, Claude.ai, а также локальных логов ИИ-агентов (Claude Code CLI и Antigravity). Если внутри одного файла Google Takeout обнаруживается сразу несколько сервисов — например, история Chrome и просмотры YouTube, — интерфейс не сливает их в общую кашу, а предлагает пользователю выбрать нужный срез.
Отдельная инженерная задача — определение типа выгрузки по первым байтам: используется скользящее окно проверки 64 КБ → 512 КБ → 4 МБ. Запас до 4 МБ понадобился из-за реальных архивов, где первые килобайты заняты списком контактов (в полном экспорте Telegram до ключа chats.list бывает больше 80 КБ метаданных) либо гигантским заголовком первого длинного треда в ChatGPT — окна в 16 КБ на таких файлах ошибочно признавали экспорт нераспознанным. Далее байты идут через потоковый TextDecoder('utf-8', { fatal: false }) в SAX-парсер @streamparser/json с флагом keepStack: false, который подписывается только на нужные пути вроде $.chats.list.*.messages.* или $.Browser History.*. Готовые объекты накапливаются батчами по 5 000 строк, превращаются в компактный NDJSON и регистрируются во временной виртуальной файловой системе DuckDB вызовом db.registerFileText — с гарантированным dropFile в блоке finally, иначе память внутри Wasm-модуля растёт линейно от размера входного файла.
Среди неочевидных сюрпризов реальных экспортов — устройство архивов ChatGPT и X (Twitter). В conversations.json сообщения хранятся не плоским массивом, а направленным ациклическим графом внутри словаря mapping, где ветки, оставшиеся после «Regenerate response» и редактирования промптов, продолжают висеть боковыми отростками; парсер идёт от указателя финального узла current_node вверх по ссылкам parent с проверкой на циклы, а разница Object.keys(mapping).length - visited.size даёт точную метрику, сколько раз пользователь перегенерировал ответы ИИ. Файлы data/tweets.js и data/like.js в архиве X — вообще не JSON, а JavaScript с префиксом window.YTD.tweets.part0 = [...], поэтому для них написан потоковый побайтный фильтр stripYtdWrapperStream, отслеживающий баланс скобок вне экранированных строковых литералов; попутно пришлось лечить баг связки Web Streams с @zip.js (TypeError: Invalid state: WritableStream is closed), переводя фильтр в режим «дренажа» остаточных байтов. А поскольку в like.js нет дат лайкнутых твитов, время восстанавливается из самого tweetId — это Twitter Snowflake, где старшие биты кодируют точное UTC-время вплоть до миллисекунды по формуле (BigInt(tweetId) >> 22n) + 1288834974657n.
Для пользователей это означает возможность анализировать собственные архивы размером в сотни мегабайт без загрузки на чужой сервер и без падения вкладки: данные не покидают браузер, а живое демо проекта доступно со встроенными синтетическими датасетами, исходники выложены на GitHub.
Категория: Технологии
Теги: #Технологии #Tech #IT #Искра