Kurgan-Telecom Ru | Информационные технологии

Мой мозг скопировали идеально. Цифровая версия помнит всё, что помню я, и уверена, что бессмертна.

А я-то где?

Когда мы апгрейдим процессор или видеокарту и начинаем играть в привычную нам игрушку с новым железом, то увеличение производительности на некоторое количество процентов становится сразу же заметным. Например, увеличение производительности заметно уже с 5 процентов, если дело касается FPS в какой-то игре. 10 процентов — более заметно, 15 процентов — ещё заметнее. А увеличение производительности на 50 процентов не заметить практически невозможно. Примерно так же я смотрел на отрисовку интерфейса при компиляции Flutter-приложений в WebAssembly-код вместо JavaScript. Примерно по таким же ощущениям для большого проекта я получил ускорение, ну, примерно от 5 до 10 процентов. Хотя должен был получить 50. Поэтому я решил очень подробно исследовать данную ситуацию.

Я решил досконально проверить, насколько можно улучшить веб приложения переходом на компиляцию в WASM вместо JS, в отличии от официальных цифр у меня получились другие цифры и результат работы приложения их подтверждает.

После перехода на Wasm приложение может стать лишь немного быстрее. Я собрал отдельный Flutter-стенд, чтобы разобраться, откуда берётся этот результат: какие операции ускоряются, где выигрывает JavaScript и как вычисления связаны с плавностью интерфейса.

Стрела времени - все различия между прошлым и будущим - увлекательная тема, потому что она связывает повседневные явления (память, старение, причинно-следственные связи) с глубокими вопросами физики и философии. В её основе лежит тот факт, что энтропия со временем возрастает, а это, в свою очередь, можно проследить до особых условий в ранней Вселенной. Дэвид Уоллес - один из ведущих мировых философов, занимающихся основаниями физики, включая пространство и время, а также квантовую механику. Мы обсуждаем, как возрастание энтропии порождает стрелу времени и какие особенности ранней Вселенной делают это возможным. Затем мы неизбежно связываем эту историю с чертами многомировой (эвереттовской) интерпретации квантовой механики.

Дэвид Уоллес получил в Оксфордском университете степени доктора философии по физике и по философии. В настоящее время он занимает должность профессора философии науки имени У. А. Меллона, работая одновременно на кафедре философии и на кафедре истории и философии науки Питтсбургского университета. Он автор книги «Возникающий мультивёрс: квантовая теория согласно эвереттовской интерпретации» (The Emergent Multiverse: Quantum Theory According to the Everett Interpretation). Среди его наград - премия Лакатоса за выдающийся вклад в философию науки. Его последняя книга - «Философия физики: очень краткое введение» (Philosophy of Physics: A Very Short Introduction).

В ночь на 8 октября в Yandex Cloud потеряла электропитание зона доступности ru-central1-b — один из ключевых дата-центров облака. К утру компания сообщила, что работа дата-центра полностью остановлена. Жалобы на сбои начали поступать от пользователей самых разных сервисов: сайтов объявлений вроде «Авито» и «ЦИАН», банков, транспортных порталов, ритейла и других. Утром 9 октября были полностью выведены из строя несколько модулей ещё одного дата-центра Яндекса, в Калуге. На момент подготовки статьи срок восстановления оборудования не назван.

Для инженеров это повод ответить на неудобный вопрос: что будет, если площадка, где расположен прод, внезапно выйдет из строя на неопределённое время? Под катом разберём сценарии отказов инфраструктуры, архитектуру восстановления на независимой площадке и посчитаем RPO и RTO на модельном примере из 40 ВМ.

Дорогие читатели

Давно я не делился с вами новостями о своей текущей деятельности, и вот наконец настал момент восполнить этот пробел. Сегодня мы затронем увлекательную и важную тему — создание библиотек для Python.
В рамках нашего эксперимента мы пройдем путь от теоретических основ до практического применения. Мы детально разберем особенности разработки собственных библиотек и посмотрим, как абстрактные концепции превращаются в работающий инструмент.

Введение

Итак, все мы прекрасно знаем язык программирования Python. При его скачивании мы приобретаем лишь базовый комплект. Но когда мы подключаем библиотеки, Python превращается в по-настоящему хороший, многофункциональный инструмент.

Однако есть вопрос, на который почти никто не дает четкого ответа: а как вообще создаются библиотеки на Python? В рамках этой статьи я постараюсь поделиться больше своим опытом, чем комментировать целую «переблерту» вокруг этой темы.

1.Я захотел создать, но что это такое и как это едят?

Когда я начал изучать тему создания собственной библиотеки для Python, то в первую очередь обратился к GitHub — к репозиториям разных библиотек. К моему удивлению, некоторые из них были написаны довольно просто, а некоторые — заметно сложнее. И тогда у меня возникла мысль: а что, если создать свою библиотеку, которая будет хранить данные наподобие баз данных, но при этом удобнее и качественнее?

И тут я столкнулся с очередной причиной. Причина была в том, что на тот момент мне не хватало теории — понимания самой сути библиотек. И тут в дело вступил гонор: «Мне нужно создать базу данных!» Но для чего она необходима — представления у меня не было. Что она будет делать — тоже не было.

В 1972 году, когда Дон Валентайн основал Sequoia Capital, термину «Кремниевая долина» не было и двух лет.  Дон выбрал название «Sequoia», дерево, которое живет тысячи лет.

Сегодня компания возглавляет рейтинг венчурных фондов. О том, как Sequoia ищет и отбирает компании для инвестиций.

Первые подводные камни логирования: практика на примере Python‑коннектора в Airflow — цифры до/после, спорные кейсы уровней, карта логов как контракт.

В первой статье серии была таблица про то, как синтезированный голос прочитал целую книгу: роман Шамиля Алядина «Merdiven» («Лестница»), 16 глав, 15 444 слова, 1 ч 58 мин звучания. Во второй я обещал отдельно рассказать, что ломалось на длинной дистанции. Рассказываю.

Если коротко, голос держался ровно все два часа. Почти всё, что ломалось, сидело не в модели, а в обвязке вокруг неё: в нарезке текста на предложения, склейке коротких фраз, обрезке вдохов, извлечении текста из файла книги и разметке времени. А проверочный набор из 14 фраз, по которому я до этого сравнивал версии модели, ни одной из этих проблем не увидел, а в одном случае не смог отличить хорошую правку от вредной.

Оговорка, как и в прошлых статьях серии: названий моделей, источников данных, внутренних скриптов и параметров обучения и декодирования здесь не будет. Будут метрики, методика проверки и грабли.

Заказчик добавил новое условие, когда разработчики уже пишут код, а QA готовит тесты. Теперь нужно понять, какие части системы затронет изменение, сколько работы придётся переделать и можно ли сохранить срок релиза. На примере согласования заявок разберём, как провести анализ влияния изменений и подготовить оценку для обсуждения с командой.

Хижину на высоте 3 930 метров в Кыргызстане пришлось сделать шире, чем в чертежах. Причина простая: матрасы оказались на несколько сантиметров больше, чем рассчитывали. К этому моменту материалы уже лежали на леднике: их привёз вертолёт, а недостающее мы дотаскивали в рюкзаках. Я работаю в Postgres Professional и около двадцати лет хожу в горы. Сейчас вместе с друзьями строю здесь новую хижину для альпинистов. Пока мы утепляем стены и собираем электрику, на ней уже ночуют люди, а по ночам заглядывают куницы. Для них мы закрыли все щели, но куницы всё равно нашли путь.

Представьте следующую картину: вы в 9-10 классе сидите посреди аудитории с нейроинтерфейсом на голове, а перед вами в воздухе висит небольшой дирижабль. Вы закрываете глаза — винты начинают вращаться, и дирижабль летит вперед, открываете — и он останавливается. И это никакая не магия, это именно то, чему учились школьники в Летней STEM-школе Центральногоый университета в течение школьников на протяжении 5 дней в Летней STEM-школе.

Я хотел разработать собственный AI-процессор, нашёл openTPU, купил FPGA за $50 с 4ГБ памяти, подключил её к обычному мини-ПК и запустил на ней языковую модель.

Большой визуальный гайд по CSS Anchor Positioning: от базовой привязки элементов до создания прочных соединителей и цепочек якорей.

Привет, Хабр! Меня зовут Павел, я старший разработчик ML-платформы в Авито и последние полтора года занимаюсь MLOps. 

На прошедшей Kuber Conf я выступал с докладом про нашу платформу распределённого обучения, а теперь решил сделать на его основе статью для вас. Если вам комфортнее воспринимать такие доклады в формате видео — держите.

Под катом — о становлении нашей ML-платформы, распределённых вычислениях, реализации инфраструктуры и других полезных вещах. И главное — что это нам дало и чем может быть полезно вам.

ML-платформа Авито. Как всё начиналось

В те времена, когда в Авито работало не так много дата-сайентистов, они использовали разнородные инструменты. Главным из них был так называемый DevBox — выделенная машина, на которую специалист заходил по SSH, делал свои дата-сайентистские дела, обучал модели, собирал датасеты и прочее. Время шло, число спецов росло (равно как и отделов), и мы не придумали ничего лучше, как добавить ко всему этому ещё и LLM. У неё была своя специфика в плане инструментария, и в целом жизнь она не сильно облегчила.

Так началась эволюция нашего пути — от обычного доступа к машинам по SSH, когда коллеги полностью блокировали их и выполняли задачи вручную, до нашей полноценной cloud-native-платформы, которую мы назвали Aviflow.

Небольшая веб-студия в Тбилиси, множество встреч с клиентами и два года разработки сайтов — с 2016 по 2018 год.

Весной мне хватало подписки за 100 долларов для всех задач по моему пет-проекту. Идея полностью высадить пятичасовой лимит токенов выглядела как вызов. В самом начале лета я уже неплохо справлялся с этой задачей, а в августе лимитов стало хватать только на проработку технического дизайна решений, а до старта реализации приходилось ждать следующей недели. Запускал в работу и тратил весь недельный лимит примерно за 3 дня.

В cентябре у меня была подписка уже за 200$, но и её лимиты не выглядели недостижимыми. Друзья и коллеги рассказывали, что у них давно по максимальной подписке на Claude и GPT враз и планы купить даже третью!

Вливать дополнительные деньги выглядело тупиковым сценарием и я начал разбираться, как можно оптимизировать потребление токенов. Главная причина нашлась не в сложности выполняемых задач и объеме вычитываемого кода, а в банальном повседневном удобстве.

Недавно в статический анализатор PVS-Studio была добавлена поддержка JavaScript/TypeScript, и он на старте умеет искать ошибки, связанные с потоком управления. Причём тут граф потока управления, как мы его добавили и чем это полезно — читайте в этой статье.

В прошлых статьях я писал про свой путь в IT, а теперь хочу рассказать про свой проект, с кем еще не знаком, то давайте знакомиться.

Меня зовут Денис, я 22 года в IT: прошёл путь от разработчика до руководителя группы разработки. Много лет строю команды, наставляю людей и внедряю автоматизацию, в том числе на базе AI. Поэтому, когда моя супруга, коуч ICF и системный аналитик с 18-летним опытом в IT, показала мне, сколько времени у "помогающих" специалистов уходит на всё вокруг самой сессии, я сразу узнал знакомую картину - то с чем ежедневно сталкиваюсь в своей работе и пытаюсь автоматизировать: слишком много инструментов там, где нужен один. Так мы вместе начали делать 121ai.

Я собирался написать статью про Markdown. В процессе внутри документа оказался Doom.

Разбираемся, почему два пробела меняют перенос строки, обратные кавычки не всегда спасают таблицу, а один .md по-разному выглядит на Хабре и GitHub. Прямо в статье можно менять разметку в лаборатории, решать задания и проверять результат. Есть GIF, вложенные спойлеры, маленький квест и разбор того, как упаковать ресурсы Doom в Markdown — и что на самом деле запускает игру.

Работаю удалённо. Столкнулся с такой ситуацией. Пишет мне руководитель примерно следующее: "Смотри почту. Там HR мне написала, что по статистике у тебя было плохое рабочее время в отдельные дни. Нужны твои мысли как ответить."

Смотрю почту. Там график учёта рабочего времени. Где указано, что в отдельные дни у меня были показатели ниже, чем в другие дни. Да, у нас на рабочих ноутах стоит софт трегинга времени (в одном из документов при приёме на работу я видел про это). Только вот дни эти были почти 2 месяца назад.