Kurgan-Telecom Ru | Информационные технологии

OpenTelemetry постепенно становится универсальным пылесосом для телеметрии. Осталось только научить его аккуратно засасывать всё то наследие, которое приложения десятилетиями складывали в файлы. В этом переводе статьи разбирается как использовать filelog receiver на практике — от простого чтения JSON‑логов до продакшен‑сценариев с настройкой производительности. Ещё больше полезных материалов я публикую у себя в авторском телеграм‑канале Мониторим ИТ. Всегда рад новым подписчикам.

Даже в эпоху облачных приложений и распределенного трейсинга обычные файлы логов остаются одним из самых ценных источников достоверной информации в любой системе. От корпоративных приложений и пакетных заданий до NGINX, баз данных и локальной инфраструктуры — критически важная диагностическая информация по‑прежнему записывается на диск.

Получатель filelog в OpenTelemetry Collector позволяет интегрировать эти логи в современный конвейер наблюдаемости. Он непрерывно отслеживает файлы, анализирует их содержимое и преобразует необработанный текст в структурированные записи логов OpenTelemetry.

В этой статье показано, как использовать эти возможности на практике, от базового чтения файла до построения готового к эксплуатации конвейера, который корректно обрабатывает ротацию логов, восстанавливает работу после перезапуска и не теряет ни одной строки.

Прежде чем углубляться: если вы контролируете приложения, записывающие эти логи, наилучшим решением будет настроить их на вывод структурированных JSON‑логов, размещённых в одной строке. Чтобы получатель filelog в этом случае стал простым и удобным уровнем приема данных.

Значительная часть этой статьи посвящена ситуациям, когда такой вариант невозможен. В подобных случаях получатель filelog предоставляет мощные инструменты для анализа, структурирования и обогащения любых получаемых логов, превращая их в полноценные данные наблюдаемости.

Начнём!

В мае 17 % совокупного прироста всего мирового рынка акций пришлось лишь на две компании — Micron и SK Hynix, производителей микросхем памяти. Не 17 % прироста полупроводникового сектора, а 17 % вообще всего рынка, то есть всех публичных компаний во всех странах, вместе взятых. Такие данные приводит Acadian Asset Management. Под мировым рынком в отчёте компании понимается индекс MSCI All Country World Index, в который входят тысячи акций из десятков стран. При этом Micron и SK Hynix вместе весят в нём около 1 %. Иными словами, из каждого доллара, на который мировой рынок вырос в мае, примерно 17 центов принесли всего две эти акции.

Отсюда напрашивается неприятный вопрос: если весь мировой рынок акций способны тянуть вверх бумаги всего двух производителей чипов, о которых большинство людей даже не слышало (речь всё-таки не об Apple или Google), что будет с вашим портфелем, когда рынок развернётся вниз?

Поэтому сегодня мы разберёмся, насколько обычные инвесторы завязаны на ставку на искусственный интеллект, почему привычные тихие гавани могут не защитить, и сколько примерно денег исчезнет, если вся эта конструкция развалится.

Стик — это косметическое средство в форме твёрдого стержня, которое выдвигается из корпуса при повороте механизма. Это удобно, потому что не нужно лезть в банку пальцем, дозировать средство пипеткой или размазывать по ладони. То есть на практике меньше консервантов, больше стабильности.

Кажется, всё просто, но нет!

Эта штука ещё должна доехать через Сибирь во Владивосток, не повредиться, не замёрзнуть, не перегреться в солнечном Казахстане и так далее. 

Стик не должен деформироваться в упаковке, крошиться при нанесении, вытекать при нагревании или ломаться при обычном использовании. При этом он должен достаточно легко наноситься на кожу и делать это равномерно.

В нашем случае внутри стика должны были находиться не масла и воски, а сложная система с большим количеством воды. Когда мы у себя в лаборатории сели за разработку, выяснилось, что нас ждёт задача на грани издевательства. Средство должно сохранять твёрдую форму при хранении, но при нанесении на кожу — разрушать эту структуру и высвобождать воду. На поиск работающего решения ушло около двух лет.

За это время мы перебрали множество вариантов состава и технологии и немножечко сошли с ума. Казалось бы — зачем было проделывать этот путь, если можно было просто сделать крем?

Я успел побывать по обе стороны. Сначала несколько лет разбирал алерты в SOC — сидел на потоке срабатываний и решал, что из этого инцидент, а что шум. Потом ушёл в разработку и последние годы пишу сами детекты — те правила, которые генерируют эти срабатывания. И вот что забавно: пока не начал писать алерты сам, я был уверен, что понимаю про них всё. Оказалось — почти ничего.

Эта статья — про несколько вещей, которые выглядят совершенно по-разному в зависимости от того, с какой стороны экрана ты сидишь. Будет полезно и аналитикам, которые ругают «криворуких вендоров», и разработчикам, которые не понимают, почему их идеальное правило ненавидят в SOC.

Центр межотраслевой экспертизы «Третий Рим» представил доклад о построении новой модели российской экономики, обеспечивающей рост ВВП на 3% в год и подъем благосостояния в стране. Доклад был весьма положительно оценен многими экспертами, однако искусственный интеллект в лице нейросети Алиса AI считает, что «какой-то рост благосостояния возможен, но устойчивого и сбалансированного улучшения качества жизни … вряд ли получится». Алиса права.

По мнению авторов доклада, представленного к заседанию Совета при президенте по стратегическому развитию и национальным проектам 19 августа, потенциал значительной части действовавших ранее факторов роста экономики России в настоящее время почти исчерпан. Они предложили новую модель экономики, которая позволит выйти на рост ВВП в размере 3% в год, и должна быть построена на семи столпах.

Чисто экономическая модель экономики неадекватна реальности

Это опережающее развитие регионов и внутреннего туризма; автоматизация, ИИ и рост производительности; платформизация – снижение транзакционных издержек; создание инфраструктуры новой экономики; перестройка системы подготовки кадров; обеление экономики; опора на частные инвестиции и потребление.

Авторы модели полагают, что основанная на этих столпах российская экономика должна сделать не столько шаг вперед, сколько шаг вверх: перейти на новую траекторию развития, где экономический рост напрямую трансформируется в повышение благосостояния и качества жизни населения.

Предложения выглядят очень привлекательно, особенно рассуждения о переходе на новое качество жизни. Но есть вопрос: откуда взялись эти семь столпов? Где список всех столпов, на которых стоит экономика, и какое место указанная выше великолепная семерка занимает в списке? Если, допустим, взять ВВП, то имеются таблички, в которых подсчитано, какой вклад в них внесла промышленность, какой сельское хозяйство, и т. д. по убывающей. Хотелось бы оценить подобным образом и семерку (в той степени, в которой это возможно, разумеется).

ИИ уже умеет за минуты генерировать сотни строк кода, но скорость ревью от этого не выросла. Разбираем семь ошибок, из‑за которых AI Code Review пропускает реальные дефекты, создаёт ложное чувство безопасности и постепенно превращает проверку кода в формальность.

Каждое утро мне падает сводка по приложению. Сегодня в ней было: 27 сканов за сутки, из них 10 — с вердиктом “нет данных”. Тридцать семь процентов людей навели камеру на штрихкод и не получили ничего. Разбираю, откуда берётся эта дыра при базе в 112 тысяч товаров, почему OCR-фоллбэк отсекает 39 процентов пользовательских вкладов и где проходит граница между “принять с риском” и “отклонить и потерять данные”.

Сделал mmap-базу для 4 млн товаров и получил ~35k RPS. Поиск оказался настолько быстрым, что bottleneck пришлось искать уже после базы. В итоге оптимизировал JSON, получил ~1.8× прироста HTTP workload — и упёрся в w.Write.

Агенты пишут код быстрее, чем любой человек способен его проверять — поэтому знания, которые раньше хранились в головах разработчиков, теперь должны жить где-то ещё.

Практический разбор двух ключевых подходов к spec-driven development: как устроены их рабочие процессы, насколько они расширяемы и в каких местах и OpenSpec, и Spec Kit всё ещё оставляют вас один на один с агентом.

Рука промахивается на Ctrl+Shift+W — и окно с полусотней вкладок закрывается без вопросов. Единственное, что заставляет Яндекс Браузер переспросить, — активная загрузка. Так что теперь systemd кормит мой браузер загрузкой, которая не кончается никогда: 0,4 МБ памяти, 64 КБ на диске, один байт по loopback раз в пять минут. Как я до этого дошёл, почему не спасают настройки и расширения и как тесты чуть не убили то, что защищали, — под катом.

Стоит ли прямо сейчас перестать пользоваться ИИ?

Я ненавижу ИИ-инструменты. Что довольно смешно, потому что я буквально зарабатываю на том, что строю AI-автоматизации. Это моя работа. Но недавно я пережил кое-что, что заставило меня полностью пересмотреть отношения с этими инструментами. Я потерял ощущение цели, потерял интерес к работе и долго не мог понять почему. А потом случайно посмотрел видео о греческом слове, которого раньше никогда не слышал, — и наконец понял, что происходит.

Поздравляю всех, кто ещё жив и в состоянии меня читать – с момента публикации моей предыдущей статьи прошло больше месяца, а законы физики за это время так и не изменились! Если вы не удивлены, то зря, ведь в условиях Гиперхаоса им следовало бы меняться намного чаще. Конечно, всегда можно прибегнуть к дежурной фразе «если угодно будет Господу и живы будем», но в наши дни она уже мало кого удовлетворяет. Так что нам придётся искать объяснение, почему законы физики стабильны. Мы возьмём за основу спекулятивный материализм Мейясу, проведём его критическую деконструкцию, рассмотрим альтернативные представления о контингентности (возможности всего быть другим) и поможем Мейясу доказать способность математики обеспечивать доступ не только к Абсолюту, но и к частным свойствам контингентного мира, объективным по отношению к наблюдателю.

Как же сохранить рассудок в мире, где всё может радикально измениться в любой момент? Сможем ли мы доказать, что логическая аргументация и критическое мышление имеют преимущество над слепой верой, а учебники, научные статьи и диссертации являются более надёжным источником знаний, чем религиозные откровения или бред сумасшедших? Математика – объективное знание об отношениях между абстрактными объектами или социальный конструкт? Даёт ли она возможность, по выражению Гегеля, «зайти сзади», чтобы «застигнуть врасплох» пресловутую кантовскую «вещь» и узнать, какова она «в себе», а не «для нас»? Применима ли теория вероятности к такому событию, как изменение законов физики? Почему мир кажется таким устойчивым, если у него нет достаточного основания не быть другим? Давайте попробуем ответить на эти вопросы и понять хоть что-то, прежде чем исчезнуть в пучине Гиперхаоса.

Идея так называемого «мертвого интернета» витает в воздухе довольно давно (если мне не изменяет память, уже в 2014 году были робкие высказывания в поддержку этой теории), но с каждым годом голоса тех, кто считает ее реальной, становятся громче. И действительно, развитие ИИ, автоматизации, парсинга ресурсов способствует наводнению интернета ботами. Но так ли все критично, как кажется на первый взгляд?

Мы решили изучить, что происходит в современном интернете с точки зрения человеческого и ботового трафика и разобраться, так ли близок «мертвый интернет» или это все еще напоминает теорию заговора.

В первой части мы разобрали язык, компилятор и байткод SwiftII — Swift-подобной среды для Apple II 1977 года. Но чтобы на этой машине действительно писать код, одного интерпретатора мало: клавиатура без строчных букв и обратного слэша, дисплей без половины нужных символов, 64 КБ памяти, которые приходится переключать банками. Во второй части — как автор всё это обошёл (собственный редактор, файловый браузер, ввод через диграфы) и, отдельно, как весь проект собирался с помощью Claude Code и Codex: честный разбор, где ИИ реально помог, а где им пришлось управлять вручную.

«Playwright сейчас модный, Selenium старый, Cypress удобный». Именно так чаще всего звучит выбор фреймворка на планировании — и именно поэтому команды потом полгода разгребают последствия решения, принятого за один созвон.

Я сам проходил этот выбор не один раз, и каждый раз он оказывался сложнее, чем «взять модное». Дальше — разбор архитектуры, реальных ограничений и того, во что выбор фреймворка выливается через год, когда тестов становится не 20, а 2000.

На Хабре не так много информации об интеграции между различными СУБД, и я решил поделиться своим опытом построения информационной системы на базе Oracle, которая взаимодействует с PostgreSQL (PG). Статья состоит их двух частей: в первой описана конфигурация СУБД, а во второй описан кейс по получению и обработке данных. Надеюсь, этот материал сэкономит Вам время при решении подобных задач.

Плазменное кольцо в колбе ведёт себя почти как живой организм. Оно самостоятельно плавает по объёму колбы, реагирует на поднесение руки, отзывается на магнитное поле, и временами создаёт поразительной красоты визуальные спецэффекты.

Концептуально устройство простое до неприличия. Снаружи колбы стоит катушка в три витка, по ней течёт ВЧ ток на 13 МГц. Магнитное поле проходит сквозь стекло, наводит в разреженном инертном газе (ксеноне либо криптоне) вихревое электрическое поле и зажигает разряд. Наведённый ток замкнут по кругу, поэтому и разряд имеет форму кольца. Самое простое и короткое описание, которое я обычно использую: плазма в колбе работает вторичной обмоткой трансформатора, первичка которого намотана снаружи стекла.

Индуктивно связанная плазма известна с XIX века и давно используется в науке и промышленности в самых различных областях. Теперь ей нашлось совершенно новое применение, которому и посвящена эта статья.

Этот материал посвящён исследованию невидимой космической загадки с помощью DIY-радиотелескопа.

Если вы хотите узнать, что такое тёмная материя, учтите, что вы не одиноки. Астрономов занимает тот же вопрос. Однако им уже кое-что известно: масса этой невидимой субстанции значительно превосходит массу наблюдаемых ими звёзд и туманностей. К такому выводу их привели наблюдения за гравитационным воздействием этого загадочного вещества на другие космические структуры. Это положило начало исследованиям длиной в несколько десятилетий, цель которых — понять природу тёмной материи.

Разбираем сетевые драйверы Docker — bridge, host, overlay, macvlan, ipvlan — DNS, порты и плагины: от основ до продвинутых сценариев.

Привет, Хабр! Давайте на примере кейса с рекламой в ПВЗ Wildberries разберемся в двойном машинном обучении (DML) и методе псевдорандомизации (PSM). Вы в деле?

Меня зовут Платон Попов, я дата-аналитик в команде A/B-платформы RWB. В нашей команде я занимаюсь задачами из области причинно-следственного анализа (Causal Inference) и методами понижения дисперсии. 

В этой статье расскажу о самом кейсе и объясню, почему для него не подошёл классический t-тест. Покажу, как мы учитывали спутывающие факторы с помощью Propensity Score Matching (PSM), почему этого оказалось недостаточно и почему в итоге перешли к Double Machine Learning (DML). В конце сравним результаты и обсудим наш план выкатки метода оценки нерандомизированных экспериментов в промышленный масштаб.