Habr.com

Syndicate content Хабр
Все публикации подряд на Хабре
Updated: 1 hour 15 min ago

[Перевод] Оптимизация LLM: LoRA и QLoRA

Fri, 08/08/2025 - 15:28

С ростом сложности и масштабности современных языковых моделей, таких как GPT, потребность в эффективных методах их адаптации под специфические задачи становится все более актуальной. Однако традиционные подходы к тонкой настройке моделей часто требуют огромных вычислительных ресурсов и значительного времени.

В этой статье мы рассмотрим два подхода — LoRA и QLoRA — которые обещают значительно снизить затраты на обучение без потери качества модели. Мы разберем, как эти методы позволяют оптимизировать вычисления и память, а также как с их помощью можно эффективно адаптировать большие модели под разнообразные прикладные задачи.

Читать далее

Как гуманитарий создал сайт с нуля при помощи DeepSeek. Примеры рабочих промптов

Fri, 08/08/2025 - 14:57

История о том, как гуманитарий себе сайт навайбкодил. Внутри - примеры промптов, код и размышления на тему RLHF.

Читать далее

Фаззинг как основа эффективной разработки на примере LuaJIT

Fri, 08/08/2025 - 14:53

Представьте, что в основе вашего коммерческого продукта используется компонент с исходным кодом, который написан на смеси языка С и самописного ассемблера. Из-за слабой детерминированности поиск репродьюсеров сложен, а без репродьюсера мейнтейнер проекта заявляет: «Сделайте так, чтобы я про вас больше не слышал». Я расскажу, как мы построили процесс активной поддержки LuaJIT в СУБД Tarantool, сократили количество инцидентов в продакшене, сократили затраты на бэкпорт патчей из основного проекта и какую роль во всем этом сыграл фаззинг и его специфика.

Команда разработки продукта полностью отвечает за весь код этого продукта, в том числе за компоненты с открытым исходным кодом от третьих лиц. К сожалению, не все мейнтейнеры проектов с открытым исходным кодом готовы сотрудничать с разработчиками или их сотрудничество ограничивается жесткими рамками, что усложняет использование этих компонентов в коммерческих продуктах.

В СУБД Tarantool используется LuaJIT в качестве языкового рантайма, но в Tarantool используется не оригинальный проект, а его форк. Я расскажу, как мы прошли путь от пассивного использования кода LuaJIT к процессу поддержки форка, с которым количество инцидентов на продакшене установилось около нуля, сократились усилия по бэкпортингу патчей из основного проекта, а основной проект получил активных контрибьюторов.

Я рассмотрю специфику работы с проектом исходного кода на примере LuaJIT, расскажу, как устроено тестирование в нашем форке и какую роль там играет фаззинг. Расскажу о специфике фаззинга LuaJIT и о том, каких результатов мы в этом достигли за последние два года.

Читать далее

Оптический модуль инерциальной навигации

Fri, 08/08/2025 - 14:37

Современные робототехнические системы, дроны и автоматизированные устройства требуют точного определения перемещения в пространстве. Один из ключевых компонентов для этой задачи — Оптический модуль инерциальной навигации, такой как MTF02. Этот компактный и энергоэффективный сенсор позволяет устройствам "чувствовать" движение даже без GPS или внешних ориентиров.

Читать далее

GIMP Script-Fu ООП. Небольшой рефакторинг объектной системы. Изюминка всего проекта

Fri, 08/08/2025 - 14:26

Библиотека функций к Script-fu

В принципе реализация представленная в файле obj4.scm и описанная ранее, меня вполне устраивала. Я реализовал там всё что хотел от объектной системы: определения классов и обобщённых функций, множественное наследование, статические поля класса. Но вот какое-то маленькое зёрнышко сомнения, мешало мене оставить этот проект. А всё ли я сделал для ускорения работы системы? И дело даже не в том, что какие то нехорошие люди из проекта GIMPа обрезали возможность для Script-fu загружать расширения, что не даёт возможности быстро рассчитать хеш-код символов(а то и вовсе заменить хеш-таблицы сишной реализацией). Нет. Для себя я спокойно перекомпилирую Script-fu и буду пользоваться всеми преимуществами предоставляемыми настоящей tinyscheme. Но что же можно сделать ещё, чтобы улучшить скорость работы ОО системы? А может и не только скорость.

Читать далее

Разбор/чистка Nuphy HALO 75 v2

Fri, 08/08/2025 - 14:25

Как разобрать неразборную клавиатуру NuPhy Halo 75 v2?

Что делать, если залил дорогущую, неразборную механическую клавиатуру сладким кофе? Выкинуть? Конечно нет, разобрать :-)

Разобрать ее

[Перевод] Профессиональная обработка ошибок в TypeScript

Fri, 08/08/2025 - 14:21

Ошибки происходят в любом приложении. Говоря об ошибках, первым делом отметим, что все они делятся на два типа: ожидаемые ошибки, обусловленные бизнес-логикой, и неожиданные ошибки. Это различие очень важное, поскольку стратегии обработки ошибок первого и второго типа значительно отличаются.

Ожидаемые ошибки, связанные с бизнес-логикой — это «нормальная» часть эксплуатации системы. О таких ошибках в системе должно быть заранее известно пользователям, а вы должны быть способны эти ошибки исправлять, если они возникнут.

Пример ожидаемой ошибки, обусловленной бизнес-логикой — попытка получить объект из хранилища больших неструктурированных данных (blob storage) с последующей необходимостью обработать случай «объект не найден». Другой пример связан с регистрацией пользователя, когда клиент пытается взять себе логин, который уже занят. В принципе, это ожидаемая ситуация и, если она произойдёт, мы вернем пользователю качественное сообщение об ошибке.

Неожиданные ошибки — такие, которые можно себе представить, но просто их не ожидаешь в условиях нормальной эксплуатации системы. Теоретически, можно было бы попробовать смоделировать все возможные ошибки, но это титаническая работа, сама по себе не слишком полезная. Как правило, не существует способов качественно обрабатывать такие ошибки или как следует после них восстанавливаться.

Читать далее

Когда тебя увольняют из IT: как уйти по-человечески, не сжечь мосты и не остаться крайним

Fri, 08/08/2025 - 14:17

Спросите любого разработчика, кто хотя бы раз пережил “развод” с компанией, и он вам не расскажет ни одной сухой истории. Тут почти всегда эмоции, стресс, иногда даже паника, а иногда просто усталость и ощущение, что мир за окном стал чуть холоднее. Вроде бы всё официально: уведомления, расчёт, передача дел. А на деле появляется миллион нюансов, которые никто не описывает в регламентах.

Читать далее

Установка RabbitMQ и Kafka через Docker

Fri, 08/08/2025 - 14:15

RabbitMQ и Kafka — два популярных инструмента для обмена сообщениями в распределённых системах. Но их установка и настройка может занять часы. В этой статье мы поднимем оба брокера за считанные минуты с помощью Docker, разберём основные параметры и проверим, что всё работает.

Читать далее

Сокращение бесплатных возможностей в онлайн-сервисах в августе

Fri, 08/08/2025 - 14:10

Столкнулся на практике с тем, что в двух используемых мною онлайн-сервисах Чатра и Кайтен в августе сократили возможности на бесплатных тарифах. Может быть, это не простое совпадение, а массовый тренд конца лета 2025-го? Кто-то еще с чем-то подобным сталкивался?

Читать далее

Самодельные французские радиолампы 1920-х годов. Часть 4. Вакуумный триод

Fri, 08/08/2025 - 14:01

Финально-десертная часть эпопеи М. Н. Минье — французского коллеги-любителя из прошлого, в своё время и своими невеликими возможностями (часть 1) изловчавшегося делать практические усилительные лампы, пусть и невысоких достоинств, для своего радио. Основа основ для таких работ — вакуумный насос для откачки собранных приборов, сделан им самостоятельно — стеклянный, ртутно-капельного типа (часть 2), позже дооснащённый простейшим индикатором разрежения — разрядной трубкой (Гейслера) (часть 3). Попутно освоен необходимый ряд стеклодувных операций и простые учебно-тренировочные лампы накаливания. При этом мастерская нашего энтузиаста (попробуем себе это представить!) не оснащена сетевым электричеством и горючим газом, для горячей работы со стеклом применена самодельная горелка-февка на жидком топливе и с подачей воздуха подобием ножных мехов.

Читать далее

Новый приказ ФСТЭК: что нужно знать разработчикам Al-сервисов для госсектора

Fri, 08/08/2025 - 13:55

Привет! Меня зовут Андрей, я руковожу отделом продуктов клиентской безопасности в Selectel. С 1 марта 2026 года в России начнут действовать новые требования к безопасности AI-систем в госсекторе. ФСТЭК утвердила Приказ №117 — первый документ, который официально регулирует создание и внедрение AI-решений на базе LLM в государственных информационных системах. Под катом разберемся, что изменения значат для рынка и как к ним подготовиться.

Читать далее

Java vs Kotlin: у кого больше преимуществ в 2025 году

Fri, 08/08/2025 - 13:53

В 2018 я впервые познакомился с Kotlin, и он мне практически сразу понравился. Да и как можно не полюбить язык, названный в честь тотемного животного всех программистов? Шучу, на самом деле в честь острова.

Я уже несколько лет пишу бэкенд на Kotlin. До этого писал на Java, но переход совершил практически одномоментно, потому что тогда мне  казалось, что Kotlin закрывает множество минусов Java и привносит более простой и лаконичный синтаксис.  Но при этом я стараюсь следить за тем, как развивается Java.

Читать далее

Процессоры с самой мощной встроенной графикой в 2025 году

Fri, 08/08/2025 - 13:51

Найти более компромиссный компромисс, чем встроенная графика, задачка еще та. С одной стороны, какой-никакой GPU вроде бы есть. А с другой, поиграть на такой сборке чаще всего можно только с большими оговорками. И рассчитывать на кардинальные изменения ситуации явно не приходилось. Энергопотребление классических видеокарт росло семимильными шагами и надеяться, что производители смогут уместить всю эту мощь в маленьком кристалле, было попросту глупо. Тем не менее, попытки предпринимались, и в последние пару лет ситуация начала выправляться. AMD выпустила APU с 40 вычислительными блоками, Apple довела количество графических ядер до 80, а Intel наконец добавила аппаратный рейтрейсинг в свои встроенные решения. Так что к 2025 году на рынке действительно стало можно найти процессоры с интегрированной графикой, которые почти не уступают дискреткам.

Сразу предупреждаем: в этой статье приводятся не только традиционные десктопные процессоры, которые можно просто купить и использовать в своей сборке. Здесь есть и более специфические решения вроде Apple Silicon и AMD Strix, которые поставляются только в сборе. 

Читать далее

Обзор 10 лучших аналогов Лайтрум на компьютер: личный опыт

Fri, 08/08/2025 - 13:40

Lightroom остается стандартом для работы с изображениями. Если вы, как и я, хотите попробовать что-то новое — этот обзор для вас. Хотя я не отказался от ПО полностью, но нашел 2-3 аналога Лайтрум на компьютер, которые теперь использую в зависимости от задачи.

Тестировал по ключевым параметрам, среди них качество RAW-конвертации, организация фото, стоимость и средства коррекции. Добавил профессиональные продукты, бесплатные варианты — выбрать есть из чего.

Читать далее

Цикл ПИ. Брак на производстве: неподготовленный персонал и неисправное оборудование

Fri, 08/08/2025 - 13:21

Продолжаем реагировать на прекрасное интервью с Дмитрием Пищальниковым. Расскажем про последние два фактора, которые могут быть причиной брака на производстве. Первый пост (про сырье и техпроцесс) тут. Продолжаем разговор!

Читать далее

APL: математика на стероидах, о которой никто не говорит

Fri, 08/08/2025 - 13:11

В 1957 году, когда компьютеры программировались на машинных кодах и ассемблере, канадский учёный Кеннет Айверсон задумался: как сделать описание алгоритмов столь же строгим, как математические формулы, но при этом ещё и сделать интерактивном исполняемым? Да-да, интерактивный язык в 60-х, задолго до пайтона, перла и тикля.

Так родился APL — сначала как академический инструмент для описания алгоритмов в книгах (например, в его работе "A Programming Language" 1962 г.), постепенно эволюционировавший в исполняемый язык.

Но причём здесь 2025-й год спросите вы?

Data Science: APL опередил NumPy/Pandas на 40 лет — матричные операции здесь вшиты в ядро.

Обучение: Лучший способ понять SVD или преобразование Фурье — записать их в APL.

Прототипирование: Проверить идею можно быстрее, чем ChatGPT сгенерирует ответ.

Почему об этом мало говорят? 

Читать далее

Выбираем лучший ультраширокий монитор летом 2025: история о том, как я заставил ИИ спорить с самим собой

Fri, 08/08/2025 - 13:05

Доброго времени суток, друзья! Мое утро на днях началось не с кофе, а с того, что мой старый верный товарищ, ультраширокий Xiaomi Mi Curved Gaming Monitor 34", который мне еще года четыре назад подарил лучший друг, приказал долго жить. Вдвойне обидно.

Симптомы классические: черный экран, мигающий светодиод, и чтобы его запустить, нужно пошаманить с вилкой. Судя по всему, накрылась плата T-CON. А поскольку работа не ждет, нужно было немедленно приступать к поиску замены.

И да, сразу оговорюсь: мой финальный выбор — гиперспецифичен. Он подойдет вам, только если вы, как и я, белый гетеросексуальный мужчина среднего класса ищете ультраширокий монитор от 34 дюймов, черный и обязательно со встроенной эмбиент-подсветкой. Однако, я надеюсь, что само исследование рынка и детальный разбор моделей будет полезен любому, кто сейчас находится в поиске или рассматривает один из упомянутых вариантов. Моя цель — дать вам не рыбу, а удочку, которой я сам и воспользовался.

Читать далее

Инженерное лидерство в эпоху AI: почему 72% продуктивности теряется и как с этим бороться

Fri, 08/08/2025 - 13:00

Парадокс века: исследование METR с участием 16 опытных разработчиков показало, что AI-инструменты увеличили время выполнения задач на 19%, хотя сами разработчики были уверены, что экономят 20% времени. Если вы тимлид или менеджер, внедряющий AI в команде — эта статья сэкономит вам месяцы экспериментов и поможет избежать типичных граблей, на которые наступили 80% компаний в 2025 году.

Читать далее

Безопасник, перелогинься! Гид для тех, кто хочет из ИТ перейти в ИБ

Fri, 08/08/2025 - 12:20

Для таких высококонкурентных сфер, как ИТ, карьерное развитие невозможно без непрерывного обучения. Внутри этой концепции есть два тренда: Upskilling, то есть углубление и расширение имеющихся навыков, и Reskilling — смена карьерного трека. Причины задуматься о переквалификации могут быть разными — кто-то теряет интерес к своей сфере, кто-то упирается в потолок: не предвидит роста на нынешнем месте работы, а интересных оферов не получает. Рынок труда перегрет джунами, и шансы на трудоустройство выше либо у очень опытных специалистов, либо узких экспертов в перспективных нишах. Рескиллинг — как раз способ такую нишу занять.

Кибербез — стремительно растущий сегмент, где айтишнику не придется начинать с нуля. Самые актуальные направления внутри информационной безопасности — наступательная кибербезопасность (Red Team), оборонительная кибербезопасность (Blue Team), эксплуатация средств и систем ИБ (Security Engineering), безопасная разработка (DevSecOps), соответствие требованиям регуляторам (Compliance). Сегодня в этих нишах востребованы специалисты, особенно с уровнем выше начального.

Читать далее

Who's online

There are currently 1 user and 3 guests online.