[recovery mode] Как в Node.js контролировать потребление памяти при обработке сетевых запросов

[Перевод] Пакетная обработка данных на современных GPU По большому счёту, самая первая и самая важная оптимизация, которую можно применить к любой современной системе машинного обучения, заключается в том, чтобы реализовать в этой системе пакетную обработку данных (batching). Для того чтобы получить резу...

[Перевод] Построение архитектур для обработки данных в режиме реального времени при помощи Apache Kafka, Flink и Druid Командам, которые занимаются обработкой данных (поступающих пакетными партиями в рабочих потоках) сложно соответствовать современным требованиям по обработке данных в режиме реального времени. Почему? Потому что пакетный поток данных – от доставки данных до их дальнейшей о...

Кратко про экосистему RAPIDS для работы с данными на GPU Привет, Хабр!RAPIDS — это open source библиотека экосистема, состоящая из нескольких библиотек, разработанная NVIDIA, которая предоставляет набор инструментов для выполнения всего цикла обработки данных и аналитики на GPU. RAPIDS была создана с целью того, чтобы ускорить а...

FineBI: Обработка данных для начинающих пользователей Хабр, привет!На связи команда Business Intelligence GlowByte. Да-да, те самые неугомонные, которые создали самое крупное русскоязычное сообщество FineBI, проводят обучения, собирают дайджесты и ежегодно организуют масштабные конференции. Меня зовут Александр, я руководи...

Особенности обработки native events в React.js В данной статье рассматриваются особенности, которые связаны с обработкой нативных событий (native events) в React-приложениях. Существует проблема частичной потери контекста функционального компонента при обработке нативных событий, которые навешиваются на элементы с помощь...

Сказание о static и неименованном пространстве имен для функции в C++ Команда разработчиков получила от руководства задание срочно написать приложение для обработки пользовательских данных. Руководитель быстро декомпозировал задачу на две и поручил одной команде сделать модуль подготовки данных, а другой - реализовать сами расчеты.// Все персо...

[Перевод] Обработка ошибок в web apps не должна быть такой сложной В процессе работы с Go я столкнулся с ещё одной проблемой — обработкой ошибок в хендлерах. Как можно сделать этот процесс удобным и эффективным для 150+ обработчиков? Как обеспечить консистентность и поддержку при обработке ошибок? Разумеется, мои поиски палочки-выручалочки ...

Linux отказался от общеизвестно небезопасного протокола Windows Протокол Remote Network Driver Interface Specification (RNDIS) компании Microsoft был отключен в ядре Linux из-за присущих ему уязвимостей. Изначально протокол RNDIS был создан для того, чтобы производители оборудования могли добавлять сетевую поддержку в USB-устройства, не ...

Потоковая обработка данных: анализ альтернативных решений Всем привет! Я Алексей Пономаревский, разработчик решений для платформ сбора и обработки больших данных.Два года назад мы в ITSumma создали решение для потоковой обработки данных с помощью Apache Spark и базы данных Greenplum — spark-greenplum-connector. Это многофункциональ...

Cisco TRex на практике В этой статье описывается процесс работы с программным генератором сетевого трафика TRex. Этот инструмент предназначен для генерации различных типов сетевого трафика и анализа данных в режиме реального времени. Trex поддерживает работу на уровнях MAC и IP, позволяя пользоват...

Простыми словами про обработку текстовых запросов пользователя в Телеграмм ботах на java Тем, кто так или иначе уже сталкивался с разработкой Telegram-ботов на java, известно, что бот должен уметь отправлять запросы Telegram-серверу и получать от него обновления (updates). В настоящее время существует два способа получения обновлений:- использование LongPolling ...

MERGE и её улучшение производительности с помощью work_mem С выходом PostgreSQL 15 мы застали появление долгожданной команды MERGE, которая позволяет реализовывать эффективные способы синхронизации обновлений.Суть MERGE заключается в ее универсальности: она позволяет объединить операции INSERT, UPDATE и DELETE в одном запросе, автом...

Пакетная обработка файлов в nanoCAD Для работы с проблемными файлами создано множество инструментов, позволяющих устранять те или иные проблемы. Но что делать в случае, когда файлов, подлежащих очистке или восстановлению – огромное количество? Неужели каждый из них придется открывать вручную и обрабатывать отд...

Маршрутизация обращений: автоматизация в ИТ-поддержке с помощью ИИ и языковых моделей Передовые технологии ИИ могут не только ускорить, но и значительно повысить качество обработки обращений. Я занимаюсь в НЛМК генеративным искусственным интеллектом и расскажу, как нам совместно с ИТ‑вендором Аксеникс удалось преобразовать подход к&nb...

Перфокарты против перфокарт: война систем до появления iOS и Android Первая система для обработки больших объемов данных появилась в конце 19 века. Американский инженер Герман Холлерит создал ее для того, чтобы обрабатывать результаты переписи населения США. Компания Холлерита — первый ИТ-стартап — нашла частных инвесторов и государственные з...

Создаем экосистему из хаоса: как синхронизировать команды и управлять постоянно растущим продуктовым портфелем Привет, хабр! Меня зовут Алена, я системный аналитик.В статье поделюсь опытом выстраивания экосистемы продуктов и настройки слаженной работы между плохо знакомыми продуктовыми командами. Расскажу, когда и как использовать матрицу ролей, чтобы уменьшить время на постанов...

Отправка и обработка HTTP запросов в PostgreSQL Эта статья о том как отправлять и обрабатывать HTTP-запросы непосредственно из/в PostgreSQL. Автор расскажет о том, что такое асинхронное уведомление в PostgreSQL, и наглядно продемонстрирует, как с его помощью можно взаимодействовать с внешними системами из самой СУБД. Чита...

Exception Handling: сквозь мультивселенные интероперабельности В любой программе периодически возникают исключительные ситуации, которые необходимо обрабатывать. В большинстве случаев обработка ошибок не вызывает вопросов, но ситуация становится сложнее, когда среда вашего исполнения представляет собой сэндвич из интерпретируемого и н...

Эволюция обработки данных: от MapReduce к стриминговому движку Yandex Query Language (YQL) — универсальный декларативный язык запросов к системам хранения и обработки данных, разработанный в Яндексе. А ещё это один из самых нагруженных сервисов: YQL ежедневно обрабатывает около 800 петабайт данных и 600 000 SQL-запросов, и эти показател...

Приглашаем на Ozon Tech Community BI Meetup Всем привет!Меня зовут Дмитрий, я руководитель группы разработки инструментов BI. Стоит ли говорить, что данные вокруг нас и, если мы не умеем с ними работать, то мы не можем функционировать как бизнес вообще? Наша команда платформы данных старается обуздать десятки пет...

Фильтры Ansible: превращаем сложное в простое Используя Ansible в качестве инструмента автоматизации, часть приходится сталкиваться с задачей обработки и фильтрации структурированных данных. Как правило, это набор фактов, полученных с управляемых серверов, или ответ на запрос к внешним API, которые возвращают данные в в...

Как использовать Spring в качестве фреймворка для Flink-приложений Всем привет, меня зовут Александр Бобряков. Я техлид в команде МТС Аналитики, занимаюсь Real-Time обработкой данных. Недавно мы начали использовать фреймворк Apache Flink, и я решил поделиться на Хабре своим опытом внедрения этой технологии в наши продукты в цикле статей. В ...

Microsoft разрабатывает серверное оборудование для ИИ, чтобы снизить зависимость от NVIDIA Агентство The Information сообщает, что Microsoft разрабатывает новую сетевую карту, которая должна повысить производительность серверного чипа Maia AI и снизить зависимость компании от решений NVIDIA. По информации источника, руководит проектом Прадип Синду (Pradeep Sindhu...

Cloud Spark от VK Cloud — простой доступ к инструментам анализа больших данных Cloud Spark — облачный сервис на основе Managed Kubernetes и Apache Spark для распределенной пакетной и потоковой обработки данных, работы с Machine Learning и аналитикой.  С помощью сервиса вы можете структурировать данные из разрозненных источников для создания аналитич...

Уязвимости на GitHub: в библиотеке Ruby, которую скачали 250 000 раз, модулях для электронных замков и популярных играх В конце марта в блоге GitHub вышла статья, как защищаться от уязвимостей типа RepoJacking. В первых строчках автор советовал использовать пакетные менеджеры типа NPM и PyPI, чтобы киберугроза этого вида «не угрожала пользователю напрямую». Можно было бы вздохнуть с облегчени...

Что нужно знать о gRPC системному аналитику Всем привет! Я Ирина Матевосян, системный аналитик в направлении продуктового и системного анализа в отделе Tinkoff Mobile Core. Мы разрабатываем общие библиотеки, которые используют все мобильные приложения экосистемы Тинькофф. Расскажу о протоколе gRPC. На Хабре много...

[Перевод] Азы больших языковых моделей и трансформеров: декодер В этом материале мы поговорим об устройстве компонента‑декодера в системах машинного обучения, построенных по архитектуре «трансформер», уделив особое внимание отличию декодера от энкодера. Уникальной особенностью декодеров является то, что они ...

[Перевод] Управление памятью в Linux Управление памятью (memory management) является важной подсистемой операционной системы Linux, которая обеспечивает эффективное использование ресурсов физической и виртуальной памяти. В Linux управление памятью в основном подразумевает обработку запросов к памяти от про...

Построение пайплайна обработки данных в реальном времени с использованием Python Привет, Хабр!Обработка данных в реальном времени стала важной составной частью современного мира. Бизнес, исследователи, разработчики и многие другие специалисты сталкиваются с необходимостью обрабатывать потоки данных в реальном времени, чтобы принимать решения быстрее и б...

Обзор релиза Apache Ignite 2.16.0 Apache Ignite — это высокопроизводительная распределенная база данных с открытым исходным кодом, предназначенная для хранения и распределенной обработки больших объемов данных в кластере узлов. В СберТехе есть команда, которая занимается ее развитием...

[Перевод] Введение в цифровую обработку сигналов Эта статья дает общее представление о том, что такое ЦОС (цифровая обработка сигналов), как она работает и какие преимущества может предложить. Цифровая обработка сигналов включает разработку алгоритмов, которые могут быть использованы для улучшения сигнала определенным обр...

Максимизируем продуктивность: Создание ИИ-секретаря с Whisper и ChatGPT Приветствую! Меня зовут Григорий, и я главный по спецпроектам в команде AllSee. В современном мире искусственный интеллект стал незаменимым помощником в различных сферах нашей жизни. Однако, я верю, что всегда нужно стремиться к большему, автома...

SDR приемник GPS на микроконтроллере В этой статье я расскажу о том, как я делал самодельный SDR GPS приемник на микроконтроллере. SDR в данном случае означает, что приемник не содержит готовых GPS-модулей или специализированных микросхем для обработки GPS сигналов - вся обработка "сырых" данных выполняется в р...

Актуальные методы проверки работоспособности больших и высоконагруженных сетей. Протоколы мониторинга Привет, Хабр!В данной статье мы рассмотрим актуальные методы проверки работоспособности сетевого оборудования. Конкретно в этой статье мы поговорим про протоколы мониторинга. Статья является переваренным опытом компании Netopia, которая занимается разработкой программного о...

FUSE: как написать свою файловую систему Меня зовут Максим, я ведущий разработчик в VK. Занимаюсь инфраструктурой доставки электронной почты в проекте Mail.ru. Наша команда разработала и довела до эксплуатации файловую систему (ФС) на FUSE в рамках проекта распределённой почтовой очереди. В проекте требовалось реал...

Продюсеры и консьюмеры с Apache Kafka в Python Салют, Хабр!Apache Kafka - это распределенная платформа потоковой обработки, предназначенная для построения систем обработки данных. Kafka позволяет публиковать, подписываться, хранить и обрабатывать потоки данных в реальном времени. Все это дает нам очень высокую пропускную...

Обработка результатов статистических наблюдений с помощью толерантных интервалов Здравствуйте, уважаемые читатели!В статье хочу поделиться личным опытом использования толерантных интервалов для обработки результатов статистических наблюдений, привести некоторые примеры и дать краткое описание процедуры расчета с реализацией на языке Python. Может быть, к...

Установка MS SQL Server на Linux В этой статье я научу вас устанавливать Microsoft SQL Server 2022 на Linux и мы развернем тестовую базу данных от Microsoft в операционной системе Linux.Мы будем использовать пакетным менеджером Yum для Linux дистрибутивов: RedHat (RHEL), CentOS, Scientific Linux и DPKG (Deb...

Разработка алгоритмов обработки данных в реальном времени на Python Привет, Хабр! С появлением больших объемов информации и необходимостью обработки данных в реальном времени, разработчиками все чаще приходится создавать эффективные алгоритмов обработки данных, способных обеспечивать высокую отзывчивость и мгновенное реагирование на измен...

Разработка высокопроизводительного кеш-слоя на основе Redis в телеграм-боте Мгновенность процессов стала золотым стандартом. Пользователи требуют мгновенных результатов, и телеграм-боты не являются исключением. Без кеширования данных, боты могут столкнуться с серьезными задержками при обработке запросов. Кеш-слои в теботах - это ключевой инструмент,...

Как ошибки проектирования при разработке на Symfony могут привести к перерасходу ресурсов и замедлению работы системы Сегодня хочу рассказать о том, какие ошибки можно допустить на начальном этапе создания e-commerce проекта в проектировании модели данных и в разработке веб-приложения. И, самое главное, как эти ошибки исправить: снизить потребление памяти в 1000 раз и кратно уменьшить нагру...

Урезанную для Китая Nvidia GeForce RTX 4090D «раскачали» до уровня GeForce RTX 4090 FE Ограничения, наложенные правительством США на оборудование для Китая, стали причиной появления китайской спецверсии GeForce RTX 4090, обозначенной буквой D. В ней Nvidia ограничила потребление и возможности разгона. Но, как оказалось, на рынке уже есть версии GeForce RT...

Амбициозный план: Google решила создать «карту вашей жизни» с помощью ИИ Проект Google «Ellmann» - это новая разработка компании, цель которого - использовать передовой искусственный интеллект Gemini для создания всеобъемлющей картины жизни пользователей путем обработки различных данных, включая изображения, видео и аудио.

Apple могут оштрафовать за сбор данных россиян Как сообщает ТАСС, компанию компанию Apple могут оштрафовать за сбор данных россиян. Мировой суд в Москве рассмотрит протокол в отношении компании Apple, которую обвиняют в нарушении российского законодательства. «В отношении Apple Inc. зарегистрирован протокол, с...

Плагин для анализа планов PostgreSQL в IDE JetBrains и его разработка Для пользователей explain.tensor.ru - нашего сервиса визуализации PostgreSQL-планов, мы создали плагин "Explain PostgreSQL" для всех IDE от JetBrains, теперь есть возможность форматировать запросы и анализировать планы непосредственно в IDE.Как использовать плагин и детали ...

Go на митап: обсудим sync.Pool, свой mini-k8s, паттерны и сообщения об ошибках 28 марта встречаемся на митапе по Go-разработке с инженерами из команд систем хранения данных и телекома YADRO, а также разработчиками из VK и AvitoTech. Эксперты расскажут, как: — снизить нагрузку на сборщик мусора,— сделать свой mini‑k8s,— написать библиотеку для...

Команда любого продукта должна уметь работать с пользователями? Меня зовут Виктор Попов, я — технический владелец продукта CI/CD в Samokat.tech. Мы с командой разрабатываем там комплекс CI/CD  инструментов. Это единый продукт, который должен удовлетворить потребности продуктовых команд. Правда, не так просто разобраться, а удовлетво...

[Перевод] Прекратите клепать базы данных В жизни каждого инженера-фронтендера наступает момент, когда осознаёшь: далее не обойтись без кэширования данных из API. Всё может начаться с самых невинных вещей: сохраняем предыдущую страницу с данными, чтобы кнопка «Назад» срабатывала мгновенно; реализуем простенькую логи...

Заметка про сохранение структур во flash памяти на STM32 При разработке проекта для микроконтроллера часто возникает необходимость сохранения данных во Flash-память перед выключением устройства. Глобальные структуры содержат информацию о настройках различной периферии, данные с внешних датчиков и прочее. В этом посте я хочу показа...

[recovery mode] Что есть реальность, или эффективен ли SCRUM Меня зовут Султанов, и я тимлид (тяжелый вздох). Стараюсь делать разработку эффективной. Иногда даже получается. Вместо предисловияAgile. Кругом Agile. Наверное не осталось людей, команд и организаций, которые работают не по Agile. Слово «SCRUM» прочно вошло в жизнь разрабо...

[Перевод] Прощайте, базы данных, да здравствуют векторные базы данных Революция в области искусственного интеллекта переформатирует все отрасли нашей жизни, с одной стороны обещая невероятные инновации, а с другой ー сталкивая нас с новыми вызовами. В безумном потоке изменений эффективная обработка данных становится приоритетом для приложений, ...

Обработка данных для RAG-систем Всем привет, меня зовут Андрей Шахов, я Python-разработчик и Lead Backend Developer в wpp.digital. ML-направлением, а точнее LLM в компании я начал заниматься только в конце 2023 года. Сейчас на задачи подобного рода у меня уходит примерно 40% рабочего времени.Решил начать п...

Symfony под капотом: Symfony Messenger и механизм повторной обработки сообщений при ошибках Привет! Меня зовут Ваня, последние несколько лет я занимаюсь backend-разработкой в Сравни. Моя команда разрабатывает интеграции с сервисами наших партнёров, код пишем на PHP и Symfony Framework.При работе с интеграциями мы часто имеем дело со сбоями в сторонних сервисах, и н...

Хакеры нацелились на Kodex: она проверяет запросы полиции на данные IT-гигантов Хакеры атаковали учетные записи на платформе Kodex, предназначенной для обработки запросов на получение экстренных данных (EDR) между правоохранительными органами и технологическими компаниями, говорится в разговорах между киберпреступниками, изученных 404 Media.

WinRAR CVE-2023-38831 10 июля 2023 года при исследовании распространения троянского ПО под названием DarkMe, специалистами из Group-IB была обнаружена раннее неизвестная уязвимость в WinRAR, которая касалась обработки zip-архивов. Данная уязвимость получила идентификатор CVE-2023-38831. С помощью...

Интеграция Keycloak в приложение Spring Boot 3 с использованием протокола OAuth2.0 В современном мире веб-разработки обеспечение безопасности пользовательских идентификаторов и управление доступом к ресурсам становятся все более важными задачами. Один из мощных инструментов, предоставляющих полноценное решение для этих задач, это Keycloak, современная сист...

Архитектурный паттерн для обработки больших данных: Kappa Привет, Хабр!Если вы уже знакомы с архитектурным паттерном Lambda, то сегодня мы поговорим о его ближайшем родственнике - Kappa. Когда речь идет о обработке больших данных, архитектурные паттерны играют самую важную роль. Ранее мы обсудили Lambda, который предлагает подход, ...

Как мы реализовали кнопку со свайпом на Jetpack Compose Привет, Хабр! Меня зовут Женя Мельцайкин, я работаю в команде мобильной разработки Контура.Мы разрабатываем экосистему для бизнеса, которая оптимизирует рутинные задачи: работу с маркировкой, проверку контрагентов, товароучет, документооборот, отчетность. И в одном из продук...

LLM'ы в преобразовании запроса на естественном языке в SQL (text2sql) Привет, Хабр! На связи участница профессионального сообщества NTA Марина Коробова.Данные занимают центральное место в информационном обществе. Именно информация является основой для принятия решений, развития бизнеса и научных исследований. Многие организации инвестируют огр...

Веселые уроки WinCC OA. Настройка сервера протокола МЭК 60870-5-104 Говоря сухим языком, МЭК 60870-5-104 – протокол телемеханики, предназначенный для передачи сигналов в систему верхнего уровня, регламентирующий использование сетевого доступа по протоколу TCP/IP. Чаще всего применяется в энергетике для информационного обмена между энергосист...

Безотказные очереди в RabbitMQ: Гарантированная доставка сообщений RabbitMQ - это открытая реализация протокола AMQP (Advanced Message Queuing Protocol), является мощным и гибким брокером сообщений. Он обеспечивает надежное и эффективное взаимодействие между компонентами системы, предоставляя разработчикам инструменты для создания гибких и ...

— Пакет брать будете? — Нет, я со скриптом. Сравнение софта на скриптах и готовых пакетных решений для сбора данных Продукты для сбора и инвентаризации данных делятся на два типа: софт, который собирает данные с помощью скриптов, и пакетные решения, которые собирают данные готовым программным кодом. В статье разбираем плюсы и минусы каждого варианта, а также окунаемся в краткую истор...

Россиян предупредили о мошенничестве через видеозвонки в мессенджерах Руководитель команды разработки приложения Gem Space, Ваге Закарян, отмечает, что мошенники все чаще используют видеоконференции для сбора личной информации о пользователях, такой как местоположение, доход и родственники. Эти данные затем могут быть использованы для различны...

Как благодаря переезду хранилища данных прокачать стек, архитектуру и скиллы команды Приветствую всех читателей! Меня зовут Николай Самсонов. Я являюсь руководителем платформы данных в команде Учи.ру. В своей работе часто сталкиваюсь с ситуацией, когда бизнесу нужны метрики и показатели здесь и сейчас, в то время как автоматизация получения и обработки тераб...

Топ-менеджер Samsung Патрик Хомет оправдал ИИ-обработку фотографий на Galaxy S24 Топ-менеджер Samsung Патрик Хомет в интервью Tech Radar прокомментировал использование компанией ИИ-алгоритмов при обработке мобильных фотографий. По его словам, пользователи просто неправильно воспринимают понятие реалистичности картинки, которой уже давно не существует как...

Неинвазивный мониторинг ЦОД: повышаем надежность и снижаем затраты В центрах обработки данных используется оборудование от разных вендоров, с различными встроенными системами мониторинга. Когда таких систем становится много, уследить за подобным «зоопарком» непросто.Но как сделать систему мониторинга, которая будет работать в любом автозале...

Поток входящих запросов: когда пора менять процесс обработки – на примере запуска первой линии технической поддержки Привет, Хабр! Меня зовут Дима, я руковожу отделом информационных технологий бэк-офиса в “Петрович-Тех”.Представьте: пользователи не могут начать работу в системе. Не испытывают сложности через день или неделю, а прямо на старте не имеют возможности начать пользоваться продук...

Как мы обеспечиваем безопасность прикладных API с помощью Platform V Synapse Привет, Хабр! Я Наталья Грачева, владелец продукта в СберТехе, ведущий руководитель ИТ-направления. Мы с командой развиваем продукт Platform V Synapse — децентрализованную платформу для задач интеграции. Я расскажу, почему важно обеспечивать безопасность API прикладных решен...

Apple создаст «черный ящик» для личных данных, используемых ее ИИ Apple разрабатывает технологию «Apple Chips in Data Centers» (ACDC) для защиты данных пользователей при обработке в облаке.

Apple и тут пойдёт своим путём. Все функции искусственного интеллекта в iOS 18 будут обрабатываться непосредственно на смартфоне Похоже, подход Apple к искусственному интеллекту на смартфонах будет отличаться от такового у конкурентов. Как сообщается, вся обработка данных для работы таких функций будет происходить непосредственно на смартфоне.  создано DALL-E Согласно данным журналиста Bloo...

Бизнес-правила в действии: семь лет развития и усовершенствования Business Rules Engine Привет! Меня зовут Владислав Кучинский. Я начинал свой карьерный путь в IT с разработки на С++ и Java, а сейчас являюсь руководителем группы Platform Event Management в компании Bercut. Сегодня я расскажу историю создания платформы Business Rules Engine (BRE) Bercut – систем...

Введение в Apache Flink: осваиваем фреймворк на реальных примерах Всем привет, меня зовут Александр Бобряков. Я техлид в команде МТС Аналитики, занимаюсь Real-Time обработкой данных. Недавно мы начали использовать фреймворк Apache Flink. Эту технологию выбрали, так как она (в отличие от Apache Spark) относится к true-стримингу и позволяет ...

5 способов писать эффективный код на Go: от названий переменных до архитектуры Если вы задумывались, какие практики использовать, чтобы писать код на Go быстро и качественно, этот материал для вас. Руководитель группы разработки подсистем Геннадий Ковалев и эксперт по разработке ПО Даниил Подольский обсуждают пять способов повысить эффективность разраб...

Делаем разработку на Rust еще более потной с помощью git Rust же создавали, чтобы держать программиста в ежовых рукавицах? Так почему бы не заставить git скооперироваться с Rust и не издеваться над программистом на пару?На самом деле статья не сколько про Rust, сколько про git, поэтому если вы не особо знакомы с Rust, не смущайтес...

Prompt engineering — путь к эффективной работе с ChatGPT Привет, Хабр! Меня зовут  Илья Козырёв, я — CTO и сетевой Co-Founder в Raft. Много работал в консалтинге в сфере ритейла и фармацевтики, имею экспертизу в обработке данных, специализируюсь на ML/AI. А ещё я — участник опенсорсного продукта по обработке данных Apache Bea...

Внутри микроконтроллера Рассмотрим новинку отечественных ученых - ультранизкопотребляющий 32-разрядный микроконтроллер. Отличительными особенностями этой разработки является сочетание производительности, функциональности и потребляемой мощности.Микросхема К1921ВГ015 представляет собой СБИС 32-разря...

Автоматизируем сеть Яндекса с Милошем: сервис конфигураций оборудования Задумывались ли вы о том, как изменить конфигурацию сразу на нескольких сетевых устройствах? Что, если нужно сделать это на всей сети с сотнями и тысячами единиц оборудования? А что, если приходится делать это каждый месяц на железе от пяти разных производителей? Очевидное р...

Интеграция LLM в корпоративное хранилище данных В данной статье рассматриваются способы интеграции Large Language Models (LLM) в корпоративные системы хранения данных. Основное внимание уделено использованию LLM для автоматического извлечения информации из текстовых данных с последующим формированием SQL-запросов. В рамка...

Как мы переносили базу Clickhouse между географически удаленными дата-центрами В конце прошлого года мы писали о сложном переезде нашего собственного сервиса в новый дата-центр в Детройте. Среди прочих задач мы переносили Clickhouse. Напомню, что речь идет о нагруженном сервисе, который обслуживает десятки серверов, принимающих сотни тысяч запросов с н...

Calypso: Схема данных MongoDB на Scala Чтобы применять Domain-Driven Design, DDD Aggregate и Transactional outbox на MongoDB, наша команда создала open source библиотеку calypso для работы с BSON.Публикация для тех, кто стремится к современным практикам разработки и разделяет наше влечение к Scala 3.Готовы к откр...

Как обновление BIOS может повысить производительность процессоров Intel Core 14 (non-K) и снизить их температуру Сегодня, когда вычислительная мощность процессоров уже не растет семимильными шагами, как раньше, все стремятся выжимать ее из своих сборок по максимуму любыми возможными способами. Особенно это касается новейших решений, от которых ждешь наивысшей скорости обработки данных ...

Call Activity vs SubProcess: В чём отличие? Приветствую моих читателей! Меня зовут Екатерина. Ранее 3.5 года я администрировала bpm-систему, сейчас вот уже более двух лет я работаю системным аналитиком и развиваю нашу собственную bpm-систему. В данной статье хочу рассказать о дилемме, с которой столкнул...

Как оптимизировать код на С для x86-процессоров: подсистема кэша и памяти, инструкции AVX-512 Меня зовут Андрей Бакшаев, я ведущий инженер-программист в YADRO. Моя команда занимается разработкой и оптимизацией математических библиотек под архитектуру x86. До этого я 15 лет работал в Intel. Значительная часть моих задач заключалась в том, чтобы реализовывать некоторые...

Пингвин расставил сети: работа сети в Linux Всем привет! С вами снова я, Аргентум! Сегодня я продолжу нашу серию статей об ядре Linux.В этой статье мы будем изучать способ организации сети в мире серверов и то, как она эволюционировала от использования традиционного сетевого стека ядра Linux к виртуализации сети с исп...

[Перевод] Как утереть нос NumPy с помощью двумерного БПФ Двумерное преобразование Фурье — один из важнейших алгоритмов компьютерной науки этого столетия. Он нашел широкое применение в нашей повседневной жизни — от фильтров Instagram до обработки MP3-файлов.Наиболее частой реализацией, используемой рядовым пользователем, иногда даж...

HTB PC. Манипулируем протоколом gRPC при взломе сервера Для подписчиковВ этом райтапе я познакомлю тебя с протоколом gRPC компании Google, затем обнаружим и проэксплуатируем SQL-инъекцию для SQLite. При повышении привилегий используем уязвимость в сервисе pyLoad.

Ученые разработали чип для телекоммуникаций и искусственного интеллекта Команда из Лаборатории фотоники (PRL)-iTEAM Политехнического университета де Валенсии и компании iPRONICS создали чип для телекоммуникаций, центров обработки данных и инфраструктуры, связанной с системами искусственного интеллекта. Этот чип является первым универсальным, про...

Основные функции Apache Tomcat Привет, дорогие читатели! Apache Tomcat — это открытое программное обеспечение, реализующее спецификации Java Servlet, JSP и Java WebSocket, предоставляя таким образом платформу для запуска веб-приложений, написанных на языке Java. Разработанный и поддерживаемый Apache Softw...

АвтоВАЗ интегрирует отечественную ОС «Аврора» в российские автомобили: грядёт цифровая экосистема Lada АвтоВАЗ, Научно-производственное предприятие «Итэлма» и «Ростелеком» создадут новую цифровую экосистему для автомобилей на базе российской операционной системы «Аврора». Соответствующее трёхстороннее соглашение подписано представителя...

Как работает дедупликация данных в потоке Kafka-to-Kafka? Всем привет, меня зовут Александр Бобряков. Я техлид в команде МТС Аналитики, занимаюсь Real-Time обработкой данных. Мы начали использовать фреймворк Apache Flink, и я решил поделиться на Хабре своим опытом внедрения этой технологии в цикле статей.В предыдущей части «Как исп...

Tarantella — распределённое key-value хранилище в рекламных технологиях VK Привет, Хабр! Меня зовут Виктор Лучиц, я руководитель группы backend-разработки в департаменте рекламных технологий VK. В этой статье я расскажу вам про Tarantella — наше key-value хранилище, которое мы используем в рекламных технологиях. Из материала вы узнаете о том, ...

Как создать сервис по оценке транспортной доступности новостроек при горящих дедлайнах Привет, Habr! Меня зовут Руслан Габдрахманов, я руководитель команды разработки информационных систем в «МосТрансПроекте». Сегодня расскажу, как мы создавали городской сервис «Узнай про ЖК», упрощающий выбор квартиры или жилья.  Читать далее

Axiom Space вознесет данные к звездам с запуском «орбитального дата-центра» Axiom Space готовится совершить невероятный скачок в области облачных вычислений: она представила планы по созданию первого в мире орбитального центра обработки данных, запуск которого намечен на 2027 год. Техасская компания планирует совершить беспрецедентный скачок в облас...

Знакомство с SSH Как гласит википедия, «SSH — сетевой протокол прикладного уровня, позволяющий производить удалённое управление операционной системой и туннелирование TCP-соединений (например, для передачи файлов). Схож по функциональности с протоколами Telnet и rlogin, но, в отличие от них,...

Как Яндекс создал свою шину данных, чтобы передавать сотни гигабайт в секунду 10 лет назад сотни серверов Яндекса работали на Apache Kafka®, но в этом продукте нам нравилось далеко не всё. Наши задачи требовали единой шины для передачи всех видов данных: от биллинговых до журналов приложений. Сегодня объёмы дост...

Гибкость ― это важно: как мы «расхаркодили» поля в карточке устройства и какие возможности это дает нашим пользователям Привет! Команда продукта «‎Инферит ИТмен» в этой статье делится небольшим, но очень важным для нашего софта релизом. Мы всегда ориентируемся на запросы наших пользователей и дорабатываем фичи в продукте, которые реально нужны клиентам. Одним из таких запросов была возмо...

Pixel 8 Pro снимает видео, а затем искусственный интеллект в ЦОД Google его улучшает. Представлена функция Video Boost Компания Google представила сегодня свои новые смартфоны Pixel 8 и Pixel 8 Pro, но, как обычно, интересны не только сами аппараты, но и программные решения. Одно из них — Video Boost.  Эта функция стоит отдельного внимания, так как она и реализована необычно...

В России создали лазерный станок для обработки деталей газотурбинных двигателей По сообщению руководителя Департамента инвестиционной и промышленной политики Москвы Владислава Овчинского, столичный разработчик лазерных систем и оборудования — компания «Лассард» — по индивидуальному заказу Объединённой двигателестроительной к...

Дизайн-система: от страдания к звездам Наша дизайн-команда “Инферит Клаудмастер” создает интерфейс, который будет не только удобными, но и привлекательными для пользователей. Для того чтобы усовершенствовать процессы взаимодействия между командами, создающими продукт, пользователями и продуктом, мы внедрили дизай...

Tcpdump на разных уровнях Утилита Tcpdump знакома любому сетевому администратору, с ее помощью мы собираем трафик для последующего анализа. Типичная история – собираем траффик, приходящий на нужный интерфейс и затем уже анализируем его Wireshark. Подход практичный, ведь Wireshark Действительно очень ...

Что делать, если у команд дисконнект: как строить взаимодействие на разных уровнях с помощью Канбан-досок Рабочие команды постоянно коммуницируют друг с другом, чтобы выполнять запросы бизнеса. Если взаимодействие выстроено неправильно, задачи сыплются хаотично, сотрудники не понимают, что важнее, — в итоге рушатся процессы, а бизнес получает результат позже, а иногда и хуж...

Сонары, роботы и чем флейта лучше гитары Несколько лет назад мне довелось посетить университет Харви-Мадд, в котором работали Дэвид Харрис и Сара Харрис, авторы известного учебника "Цифровая схемотехника и архитектура компьютера". Cлучайно зашел в комнату, в которой сидела группа студентов и лежало нечто, напоминаю...

[Перевод] Идиоматическая обработка ошибок в Rust Вы забудете о необработанных исключениях, если научитесь обращаться с ошибками, как это принято в Rust Обработка ошибок – важнейшая часть любого языка программирования, а в Rust предлагается для этого уникальный мощный подход. Rust, в отличие от многих других языков программ...

Kandinsky Video 1.1: обновленная модель генерации видео В ноябре прошлого года наша команда представила свою первую разработку в области генерации видео по тексту – модель Kandinsky Video, основанную на модели генерации изображений Kandinsky 3.0, по которой мы недавно выпустили обновление – версию 3.1 (о чем можно почитать здесь)...

[recovery mode] Создаем чат-бота на Python: Полное руководство В этом полном руководстве от DataTech Community мы шаг за шагом рассмотрим процесс создания чат-бота на Python. Откройте для себя мощь NLTK и TensorFlow в обработке естественного языка и машинном обучении, чтобы создать интеллектуального помощника, способного общаться и отве...

Протоколы семейства TCP/IP. Теория и практика В сети можно найти огромное количество материала о том, как функционируют сети на базе стека протоколов TCP/IP, а также как писать компьютерные программы с сетевыми возможностями. При рассмотрении компьютерных сетей часто углубляются в описание физических основ и структур ...

Обзор Протокола ISO-TP [ISO 15765-2] Как известно канальные CAN пакеты могут быть размером максимум 8 байт. Одновременно с этим, с более высоких уровней модели OSI могут поступить запросы передать огромные пакеты  [ jumbo frame(ы) ]. Как же разрешить это противоречие? Эту ситуацию призван распетлять проток...

Как менять команды, не увольняясь из компании. Культура горизонтальной мобильности в Контуре Меня зовут Настя Миронова, я менеджер разработки в Контуре и уже около двух лет  руковожу командой Рейнджеров – это разработчики без своего продукта, такие мобильные инженеры. Команда появилась в конце 2020 года, и за это время мы постоянно исследуем, чем можем помочь п...

Распределенная трассировка с Jaeger и Clickhouse Привет! Меня зовут Филипп Бочаров, я руководитель центра мониторинга и наблюдаемости в МТС Digital. Мы делаем распределённую трассировку, чтобы контролировать качество наших сервисов и предотвращать аварии. В этой статье разберём, как добиться понятной и прозрачной работы от...

Intel назначила Джастина Хотарда руководителем группы ЦОД и ИИ Intel назначила Джастина Хотарда руководителем группы центров обработки данных и искусственного интеллекта

Как мы определили веса алгоритмов ранжирования крупнейших маркетплейсов на открытых данных Привет, Хабр! Меня зовут Владислав Абрамов, я аналитик в команде разработки компании Easy Commerce. Перед нами стояла задача создать алгоритм, который определяет влияние характеристик карточки товара на поисковую позицию в крупнейших российских маркетплейсах. Большинство из ...

Плагин для анализа планов PostgreSQL в Eclipse и DBeaver, и его разработка Для пользователей explain.tensor.ru - нашего сервиса визуализации PostgreSQL-планов, в дополнение к плагину Jetbrains мы создали еще один - с возможностью форматировать запросы и анализировать планы в Eclipse IDE и DBeaver. Читать далее

Ozon Tech Community 1C Meetup Как сделать жизнь 1С разработчика проще? У нас есть ответ.Всем привет, меня зовут Евгений, я руководитель группы разработки финансовых систем 1С. Приглашаю вас на Ozon Tech Community 1C Meetup, 10 октября в Санкт-Петербурге.На встрече обсудим целую палитру тем: от подходов п...

Python Multiprocessing. Обмен данными между процессами. Передача объектов пользовательских классов Параллельное программирование — сложный, но очень полезный навык для программиста. Оно позволяет эффективно использовать мощности современных компьютеров с несколькими ядрами и процессорами. Это особенно важно при решении сложных задач, например, в и...

Язык программирования R для статистической обработки данных Гибадуллина Д.А  Гибадуллина Дарья Анатольевна/ Gibadullina Daria Anatolievna- студент второго курса бакалавриат Уральского филиала Финансового университета направления бизнес-информатика Аннотация: Язык программирования R имеет широкое применение в области ст...

Tilda и чат-бот: пример интеграции Привет, друзья! Сегодня мы поговорим о том, как  добиться эффективной обработки заказов, оформленных на сайте стандартного интернет-магазина на Tilda. Я на примере своего проекта (интернет-магазин карликовых кроликов) расскажу, почему менеджерам неудобно работать с заяв...

Сервис проверки пользовательских файлов «powered by pytest»: нужно повозиться, но оно того стоит Возникла задача проверки нескольких типов пользовательских документов Excel. Проверка должна покрывать такие аспекты как корректность шаблона (наличие ожидаемых страниц, колонок таблиц) и корректность данных (присутствие обязательных значений, корректность значений точки зре...

Совет руководителям Привет!Меня зовут Андрей и я руковожу IT-подразделением. Около 5 последних лет я работаю в Яндексе с командами от единиц до сотен инженеров. Так сложилось, что команд я потрогал много и разных: некоторых руководителей от времени перемещают по частям компании и зонам ответств...

«13-летний путь исследования операционной системы». Xiaomi HyperOS основана на Android и собственной системе Vela Xiaomi официально сообщила, что конференция по запуску новых смартфонов Xiaomi 14 и операционной системы Xiaomi HyperOS состоится 26 октября. Основатель, председатель и генеральный директор Xiaomi Лэй Цзюнь также опубликовал статью «13-летний путь исследования опе...

Миграция пеликанов в облака: как реализовать сложный орнитологический проект на базе облачной платформы. Часть 1 ML-технологии помогают значительно сократить ручной труд, повысить точность и скорость расчетов. Но, чтобы использование ML было результативным, важно правильно выстроить весь пайплайн работы с данными и развернуть его в удобной для пользования среде. Последнее особенно ва...

Сбер открыл разработчикам доступ к ИИ-ассистенту Giga Code для аналитики Команда Сбербанка открыла российским разработчикам доступ к специальному помощнику Giga Code на базе искусственного интеллекта, позволяющему провести аналитику кода и оценку трудозатрат. Об этом рассказал старший вице-президент, руководитель блока «Технологическое...

Представлен универсальный процессор X-Silicon CPU/GPU, ядро которого может выполнять любые задачи Компания X-Silicon представила открытую архитектуру C-GPU, которая сочетает процессорное ядро RISC-V с векторными возможностями и ускорения GPU в одном чипе.  создано DALL-E Платформа C-GPU X-Silicon нацелена на такие сегменты, как автомобильный рынок и рынок встр...

Обзор языка Crystal Привет, Хабр!История Crystal начинается в 2011 году, когда команда энтузистов решили создать язык, который бы исправил некоторые из тех ограничений и проблем, с которыми они сталкивались, работая с Ruby. Они мечтали о языке, который бы позволял писать код, легкий для пониман...

[Перевод] Обзор статьи «StreamDiffusion: конвейер для интерактивной генерации в режиме реального времени» StreamDiffusion — это новый диффузионный конвейер для интерактивной генерации изображений в режиме реального времени, позволяющий добиться более высокой производительности для прямых трансляций и других подобных сценариев. Он заменяет традиционное последовательное шумоподавл...

database/sql: плохой, хороший, злой Многие Golang-разработчики  пробовали работать с БД в Go, и у каждого — свои боли. В этой статье разберём библиотеку database/sql как безотносительно конкретной СУБД, так и применительно к YDB. Рассмотрим трудности эксплуатации при использовании драйвера database/sql на...

[Перевод] Обслуживание HTML из MS-DOS Отсутствующий в MS-DOS стек протоколов TCP/IP всегда был поводом для жарких дискуссий – и это при том, что изначально его поддержка в ОС не планировалась вовсе. И дело вовсе не в том, что MS-DOS он был бы не по силам. TCP/IP на момент разработки DOS еще не был реализован сам...

Добавление своих команд для CLI в Joomla 4 и Joomla 5 с помощью плагина В Joomla, как и во многих других PHP фреймворках и движках, уже довольно давно (с версий 1.7.x) существует возможность работы с помощью CLI. С его помощью обычно решают те задачи, решение которых в веб-интерфейсе Joomla нецелесообразно из-за возможных ограничений веб-сервера...

Async iterator timeout в Python Представим следующую задачу: у нас есть микросервисная архитектура, в которой сервисы взаимодействуют через брокер сообщений, или через gRPC. Так или иначе, оба варианта предоставляют полнодуплексный канал связи, через который один сервис может отправлять множество сообщений...

[Перевод] Механизм перезапускаемых последовательностей (Rseq) при работе с TCMalloc ❯ Кэши для отдельных ядер процессора В TCMalloc кэши для отдельных ядер процессора реализуются при помощи перезапускаемых последовательностей (man rseq(2)) под Linux. Эту возможность ядра разработали Пол Тёрнер и Эндрю Хантер из Google, а также Мэтью Дезнойерс из EfficiOS....

«Тинькофф» представил экосистему ИИ-помощников На бизнес-форуме «Мир возможностей» в Дубае глава Центра технологий искусственного интеллекта компании «Тинькофф» Виктор Тарнавский объявил о запуске экосистемы из шести персональных ИИ-помощников.

Как мы увеличили скорость обработки сервисных сообщений в 10 раз и еще 3 кейса про масштабирование проектов Сформировать 400 000 документов за рабочий день, одновременно загрузить информацию о тысячах доменов, в 10 раз увеличить скорость обработки данных сайта, обеспечить стабильность интернет-магазина при росте посещаемости — решать такие задачи помогает гориз...

Как повысить узнаваемость бренда? О продвижении бизнеса через корпоративный блог расскажут специалисты РБК Компании 21 ноября в 19:00 команда проекта РБК Компании проведёт бесплатный вебинар, участники которого узнают, как публиковаться на РБК и делиться экспертизой и опытом компании с многомиллионной бизнес-аудиторией.

Получаем спутниковые координаты GPS/ГЛОНАСС с помощью модуля SIM868 на Repka Pi Сегодня уже трудно найти человека, который не знает, что такое навигатор и GPS-координаты. В этой статье мы расскажем о том, как встроить функции навигатора в устройство, собранное на базе микрокомпьютера Repka Pi. Для получения координат мы будем использовать модуль GSM/GPR...

Асинхронная работа с файловой системой в Vert.x Vert.x – это экосистема для создания реактивных приложений на JVM, которые могут масштабироваться и обрабатывать огромные объемы данных в реальном времени. Это полиглоттная платформа, поддерживающая не только Java, но и Kotlin, Groovy, Scala, и еще js. В контексте статьи раб...

Обеспечение бесперебойной работы ЦОДов. Опыт МКБ Центры обработки данных (ЦОДы) играют ключевую роль в банковской индустрии — они контролируют проведение всех операций, хранят и обрабатывают огромный объем информации: данные клиентов, отчеты и финансовые документы. В 2022 году ...

Трудности перевода. Мигрируем учетные системы после переезда на отечественную СУБД Привет! Меня зовут Дима Татаринов, я занимаюсь бэкенд-разработкой в К2Тех. Мы живем в эпоху «великого переселения» СУБД с SQL Server, IBM DB2 и Oracle на отечественную СУБД Postgres Professional или аналоги. Подобные проекты «паровозиком» цепляют за собой потребность в модер...

Security Week 2351: фантомные корпоративные учетки в экосистеме Google На прошлой неделе исследователь Дилан Эйри из команды Truffle Security обнародовал детали уязвимости в протоколе OAuth компании Google. Ошибка в логике системы авторизации угрожает прежде всего компаниям, которые используют для совместной работы инфраструктуру Google Workspa...

То есть Qualcomm сделала 12-ядерный Arm-процессор, который потребляет больше, чем 16-ядерный Core Ultra? Стали известны лимиты мощности для Snapdragon X Elite После вчерашних новостей об обмане Qualcomm уже вовсе не факт, что она изменит рынок ПК со своими SoC Snapdragon X, но компания точно уже вляпалась в скандал. И новые данные о высоком потреблении новых платформ подливают масла в огонь.  Компания никогда не заявлял...

TON Storage – прорыв в Web3 или провал? TON Storage - это часть экосистемы TON, изначально спроектированной командой Telegram, во главе с Павлом Дуровым. Она предоставляет возможность хранить, скачивать и делиться файлами децентрализованным способом.Напомню, что работа TON (Telegram Open Network) на несколько лет ...

DataOps Platform: из чего состоит наша платформа для работы с данными и как мы её создавали Привет, Хабр! Меня зовут Наджим Мохаммад, я руководитель продукта МТС. Вместе с моим коллегой, руководителем направления разработки платформы МТС Big Data Максимом Бартеневым сегодня мы  поговорим об эволюции платформ данных и нюансах работы платформы МТС для работы с д...

Венгрия может одобрить создание специального 5-миллиардного фонда для помощи Украине Ранее премьер-министр Виктор Орбан блокировал данных механизм поставок оружия украинским формированиям

[Перевод] Мой первый прототип поискового движка Я реализовал первый прототип собственного механизма поиска, который сокращённо назвал PSE (Personal Search Engine). Создал я его с помощью трёх скриптов Bash, возложив всю основную работу на sqlite3, wget и PageFind. Браузер Firefox вместе с Newsboat сохраняют полезную инф...

Intel Core i5-13450HX и GeForce RTX 4060 Laptop в 4,5-литровом корпусе — всего за 690 долларов. Мини-ПК Mechrevo iminiG поступил в продажу В Китае стартовали продажи нового мини-компьютера местного бренда Mechrevo — устройство называется iminiG. Компьютер построен на базе 10-ядерного процессора Intel i5-13450HX, а за обработку графики отвечает dGPU GeForce RTX 4060 Laptop c потреблением до 140 Вт. З...

TechCrunch: Скомпрометированы данные миллионов пользователей Facebook, Google, WhatsApp и TikTok Утечка данных в компании по обработке SMS оставила миллионы пользователей Facebook, Google, WhatsApp и TikTok уязвимыми перед хакерами.

SALMONN — универсальная модель для всех типов аудиоданных Человек без труда воспринимает речь на фоне тихой музыки и звуков окружающей среды. Более того, прямо во время разговора он может мысленно подпевать и реагировать на звуки. До недавнего времени нейросети так не умели. Одни были заточены на распознавание речи, другие — на обр...

Apple догонит рынок? Свой аналог ChatGPT в iOS может появиться уже в следующем году Компания Apple, похоже, наконец-то примкнёт к гонке генеративного искусственного интеллекта уже в следующем году.  Аналитик Haitong International Securities Джефф Пу (Jeff Pu) утверждает, что Apple может внедрить генеративный ИИ в iOS 18, которая выйдет ближе к ко...

QNAP Systems представляет новую корпоративную NAS систему TS-765eU Компания QNAP Systems анонсировала производительную стоечную систему TS-765eU форм-фактора 1U. Основанная на платформе Intel с процессором Atom x7405C, система предлагает мощные возможности хранения и обработки данных с минимальным энергопотреблением.

В Сибири откроется центр обработки данных из космоса В 2024 году на базе Сибирского государственного университета геосистем и технологий (СГУГИТ) откроется пилотный региональный центр компетенций по использованию результатов космической деятельности. Инициативу запустило Роскосмос. Центр будет специализироваться на обрабо...

Об одном способе реализации архитектуры крупного Flutter-приложения Привет! Меня зовут Олег Скирюк, я лидирую контент-разработку в одной из команд билайна. Сам я перешёл в мобильную разработку из веба три года назад, после чего собрал и обучил одну из первых Flutter-команд в компании. Вместе с этой командой мы постоянно экспериментируем и пр...

Ansible + SoT или Ещё раз про динамический inventory Ansible используют почти все, и мы не исключение. В отделе сетевой инфраструктуры мы с его помощью автоматизируем доставку конфигураций на коммутаторы и маршрутизаторы. Наша сеть постоянно расширяется, внедряются новые фичи, которые тянут за собой новые плейбуки и роли, но о...

[Перевод] Почему B-деревья быстрые? B-дерево — это структура, помогающая выполнять поиск в больших объёмах данных. Она была изобретена более сорока лет назад, однако по-прежнему используется в большинстве современных баз данных. Хотя существуют и более новые структуры индексов, например, LSM-деревья, ...

Не тимбилдингом единым: как наладили коммуникации в команде с помощью базы знаний Объем задач растет, как снежный ком, а разработчики и аналитики переводят друг на друга стрелки, потому что никто не понимает, что от них хотят. Обстановка обостряется до предела и грозит превратиться в поле битвы. Такая ситуация произошла несколько лет назад, когда работать...

Как сделать Spark в Kubernetes простым в использовании: опыт команды VK Cloud Сегодня Spark — отраслевой стандарт среди инструментов обработки данных. Его часто используют в связке с Hadoop, однако Hadoop не очень подходит для работы в облаке. Альтернативой может быть Kubernetes, однако самостоятельно его настраивать и конфигурировать очень сложно. ...

Tesla создаст в Китае дата-центр для обучения своего автопилота Tesla планирует построить в Китае собственный центр обработки данных (ЦОД) для обучения своего автопилота, чтобы разрабатывать полностью автономные электромобили.

«Нелокализованное необходимо локализовать» или как «ЛАНИТ-Интеграция» создала автономную ИТ-инфраструктуру События последних лет развернули ведение бизнес-процессов у подразделений международных компаний на 360 градусов. Не секрет, что многие зарубежные организации отключают свою ИТ-инфраструктуру от российских дочек, что ставит отечественный бизнес под угрозу. Есть и другая стор...

Самый простой и подробный гайд по конкурентным коллекциям в C# Когда несколько потоков обращаются к общим ресурсам, должна быть обеспечена потокобезопасность, чтобы избежать повреждения данных и неожиданного поведения. Конкурентные коллекции в C# предлагают встроенные механизмы для обработки конкурентного доступа, что делает их мощны...

Как создать чат-бот поддержки, который сэкономит вам миллионы Привет, Хабр. Я Антон Лазарев, руководитель группы автоматизации ИТ-процессов. Хочу поделиться с вами небольшой, но поучительной историей о процессе разработки и внедрения одного из самых любимых инструментов наших пользователей для общения с поддержкой. Поделюсь результатам...

Бесшовность 2.0: как работает шардирование в Сбере Если у вас не просто большая компания, а целая экосистема с разными сервисами, IT-инфраструктура должна обеспечивать бесшовность. Клиенты и сотрудники могут входить в систему с разных устройств, но изменение информации в одном канале должно отображаться в других, а целостнос...

Правильная работа с базой данных на Python Эта статья рассчитана в большинстве своём на новичков. Тут мы поговорим о том, как не упереться в лимиты подключений к базе, и чтобы приложение в продакшн не упало. Читать далее

И снова про SIEM Решение класса SIEM уже давно стали неотъемлемой частью любой серьезной системы информационной безопасности. В этой статье мы поговорим о том, что такое SIEM, для чего они предназначены и как можно использовать решения с открытым исходным кодом.Итак, SIEM (Security informati...

Как спектральный анализ улучшает оценку задач и снижает стресс в команде разработки Привет! Меня зовут Илья, я руководитель команды индивидуальных интеграций CDEK. В рамках этой статьи хочу поговорить о спектральном анализе — инструменте для аналитики и прогнозирования задач команд разработки. По итогу мы с вами разберемся, ког...

В Новосибирске создадут комплекс для обработки генетических данных В пресс-службе Института цитологии и генетики (ИЦиГ) СО РАН сообщили, что ИЦиГ совместно с Институтом вычислительной математики и математической геофизики (ИВМиМГ) СО РАН объединяют усилия для разработки информационно-программного комплекса, который обработает большие генети...

Можно выделить браузеру только 1 ГБ ОЗУ. Функция работы с оперативной памятью браузера Edge появилась в бета-версии ПО Компания Microsoft вывела функцию ограничения потребления оперативной памяти в браузере Edge из сборки Canary в обычную бета-версию программы.  фото: Microsoft Судя по всему, в ближайшее время стоит ожидать появления этой функции в финальной сборке Edge. Напомним,...

В Spotify запустили генерацию ИИ-плейлистов по текстовому запросу Команда музыкального потокового сервиса Spotify представила новую функцию для пользователей платной подписки Spotify Premium. Сервис AI playlists позволит создавать с помощью нейросетей плейлисты на основе текстового запроса.  По задумке, это будет очень удобно дл...

Google открыла всем пользователям доступ к обработке фотографий с помощью ИИ Даже подписка для этого больше не нужна.

Sentiment Analysis Bot на Rasa 3.1 Начну с того, что последние 3 месяца я стажировалась в лаборатории искусственного интеллекта ООО "ОЦРВ" в группе обработки естественного языка. За это время успела поучаствовать в разработке системы сентимент-анализа для компании. В этой статье расскажу как вижу эту задачу я...

[Перевод] Почему Facebook* не использует Git Я работаю над созданием Graphite, источником вдохновения для которого стал внутренний инструментарий Facebook. Когда я решил создать стартап с друзьями, то никогда раньше не слышал о Mercurial, хотя всегда страстно любил инструменты разработчика. Мой предыдущий опыт разработ...

384-ядерный китайский процессор в 2,5 раза быстрее самого мощного серверного CPU AMD. Раскрыты параметры Sunway SW26010 Pro Китай довольно активно развивает собственные процессоры, причём для разных сегментов. Sunway SW26010 Pro, вероятно, один из самых впечатляющих.  создано DALL-E Это серверный процессор, который является старшим братом для CPU Sunway SW26010, вышедшего ещё в 2016 го...

Эксперимент: создаем цифровых двойников Ленина и Николая II Идея этого эксперимента возникла во время подготовки поста про сервис Heygen для моего телеграм-канала про нейросети. Казалось, что задумка проста и гениальна. Мне, как любителю истории, очень хотелось узнать ответы на целый ряд вопросов непосредственно из уст Императора. Но...

Стилер из торрентов: как скачивание пиратской программы привело к заражению сотен тысяч пользователей В конце лета 2023 года наш SOC с помощью системы мониторинга событий ИБ MaxPatrol SIEM зафиксировал аномальную сетевую активность. После этого привлекли нас, команду по расследованию инцидентов (PT CSIRT). Как выяснилось, пользователь одной из российских компаний был скомпро...

Начинаем продолжать: обработка исходников с помощью ИИ в оффлайне В этой статье я расскажу про расширение «Continue» для VSCode, помогающее обрабатывать исходные коды и просто текст любым ИИ, в том числе бесплатным и запущенным локально; а так же покажу, что умеет делать локальный вариант ИИ уже сейчас.  Читать далее

Построение OLAP-запросов с использованием аналитических функций Привет, уважаемые читатели Хабра! Сегодня мы вас познакомим с OLAP и аналитическими функциями.OLAP, или Online Analytical Processing, представляет собой технологию для анализа и извлечения данных из больших наборов информации. Это позволяет производить сложные агрегации, рас...

Моделирование реализации модуля Быстрого Преобразования Фурье (БПФ/FFT) и сравнение с аналогичным ядром от Xilinx При разработке сложно-функциональных блоков (СФБ) цифровой обработки сигналов важным этапом является моделирование алгоритма работы. Этот этап может занимать существенное время, откладывать запуск написания RTL и, как результат, увеличивать общее время разработки. Поэтому в...

Книга «Искусство Agile-разработки. Теория и практика гибкой разработки ПО» Привет, Хаброжители! Большинство компаний, разрабатывающих ПО, якобы используют Agile, но на самом деле не понимают, что это такое Agile. Хотите повысить гибкость своей команды? В книге вы найдете четкие, конкретные и подробные рекомендации о том, что, как и почему следует...

Предварительная обработка данных для машинного обучения В данной статье рассмотрим пример предобработки данных для дальнейшего исследования, например, использование метода кластеризации. Но для начала проясним, что из себя представляет машинное обучение и из каких этапов оно состоит. Читать далее

Полное руководство по Suricata: основы и важные команды ВведениеSuricata — это многофункциональная и мощная система обнаружения вторжений в сеть (IDS), система предотвращения вторжений (IPS) и инструмент мониторинга сетевой безопасности (NSM). Разработанная Фондом открытой информации безопасности (OISF), Suricata известна своей в...

Microsoft закрыла подводный центр обработки данных после 11 лет работы В 2013 году Microsoft анонсировала эксперимент под названием Project Natick underwater data center (UDC). По сути, он был создан для того, чтобы проверить, можно ли установить и запустить центры обработки данных под водой в океанах. После ряда небольших тестовых запусков вес...

Как перезапускать PySpark-приложение и зачем это может понадобиться Сегодня все крупные компании сохраняют и обрабатывают большие объёмы информации, причём стремятся делать это максимально эффективным для бизнеса способом. Меня зовут Мазаев Роман и я работаю в проекте загрузки данных на платформу SberData. Мы используем PySpark, который позв...

Какие ML-платформы нужны бизнесу, и кто их может сделать Привет, Хабр! Меня зовут Виктор Кантор, я директор Big Data МТС. Около 14 лет я работаю с технологиями, связанными с Machine Learning, Big Data, Data Science. Но есть одна проблема, с которой я постоянно сталкиваюсь. Например, поставлена задача, которую нужно решить при помо...

YTsaurus SPYT: помогаем планировщику Apache Spark быть ещё эффективнее В больших распределённых системах многое зависит от эффективности запросов: если на гигабайте данных неоптимальный запрос может выполняться за миллисекунды, то при увеличении массива в тысячи раз, сервер начнёт кряхтеть, пыхтеть и жаловаться. Чтобы избежать этого, помогут зн...

Как программируются кассовые аппараты? Привет, Хабр! А вы когда-нибудь задумывались, каким образом ваша покупка на угловой заправке или в супермаркете превращается в акт, сохраняющийся в электронной памяти кассового аппарата? Эти устройства - настоящие живые свидетели каждой транзакции, но как они работают внутри...

Сетевая форензика с помощью ZUI В процессе расследования инцидентов в сетевой области традиционно применяют такие инструменты как Wireshark, Zeek, Suricata. Каждый из указанных инструментов обладает своими достоинствами и недостатками, соответственно было бы целесообразно использовать их в связке из единог...

Между буквой и духом законов: как международной компании защитить ПДн клиентов и избежать санкций Большинство международных компаний ходит по тонкому льду — когда твои сотрудники и пользователи разбросаны по всему миру, хранение и обработка их персональных данных становится сложной юридической проблемой. Если пытаться досконально вникнуть в законы сразу всех стран, можно...

Обзор библиотеки drake в R Drake предлагает систематический подход к построению и управлению зависимостями в проектах, автоматизируя процесс обработки данных и анализа. С помощью drake можно отслеживать изменения в коде и данных, автоматически перезапуская только те части анализа, которые были изменен...

Первый случай интеграции OpenAI как технологий, так и персонала приобретаемого стартапа: покупка Rockset  OpenAI приобрела Rockset, стартап в области корпоративного поиска и аналитики данных, в рамках своей крупнейшей сделки по приобретению на сегодняшний день. OpenAI, известный как разработчик чат-бота ChatGPT, намеревается интегрировать технологию Rockset в свою пла...

Microsoft и OpenAI потратят 100 миллиардов долларов, чтобы избавиться от зависимости GPU Nvidia Компании работают над новым центром обработки данных для искусственного интеллекта, который, как ожидается, будет введен в эксплуатацию в 2028 году.

Нужен ли продакт в ML-команде? Мнение изнутри Пять лет назад из обычного продакт-менеджмента я перешла в команду с дата-сайентистами. И весь процесс моей работы сильно изменился. Раньше после определения потребностей пользователя я приходила к команде разработки с готовой задачей и дизайн-макетами. А после разработ...

Визуализация общественного транспорта TL;DRЯ написал тул для генерации постеров с маршрутами общественного транспорта, разные цвета для разных видов транспорта, толщина и прозрачность линий соответствуют количество поездок на сегменте маршрута. Репозитарий тут: https://github.com/dragoon/citylinerОколо 10 лет на...

Aqueduct: Как мы экономим железо для МЛ-вычислений Привет! Меня зовут Олег Бугримов, я руковожу разработкой в команде Data Science SWAT в Авито. Мы занимаемся инженерией для машинного обучения. Одно из направлений - это оптимизация продового инференса. Наша задача чтобы модельки работали быстро и не потребляли безумное колич...

Японские производители автомобилей протестируют центр обработки данных на топливных элементах Компании будут работать над разработкой электростанции, используя топливные элементы, снятые со своих электромобилей

Путин набирает 87,31% голосов по итогам обработки 99,7% протоколов Путин набрал почти 88% голосов и приступит к новому шестилетнему сроку

Новый китайский аналоговый процессор в 3000 раз быстрее GPU A100 от Nvidia. Что это за чип и для чего он нужен? Именно это преимущество нового чипа указывают в статье, описывающей новое изобретение, китайские разработчики. Команда ученых из университета Цинхуа создала аналоговый фотоэлектронный чип. По мнению самих разработчиков, этот чип способен вывести отрасль машинного зрения на ...

[Перевод] Повышение эффективности SQL-запросов: советы и рекомендации В статье представлен ряд советов и методов, которые помогут читателям оценить производительность своих SQL-запросов и улучшить ее при необходимости. Здесь будут рассмотрены некоторые ключевые аспекты оптимизации запросов для SQL Server, чтобы помочь пользователям сделать их ...

«Диспетчер задач» Windows 11 получит поддержку NPU от AMD Стало известно, что в ближайшее время «Диспетчер задач» в Windows 11 получит поддержку нейронных процессоров (Neural Processing Unit, NPU) от компании AMD. Этот блок включён в состав новейших процессоров от Intel, AMD и Qualcomm и призван ускорить обработку задач искусствен...

Как мы автоматизировали VDS и пытались не сгореть, часть 2: сетевые вопросы Всем привет! Меня зовут Владимир и я тимлид команды по развитию и поддержке продуктов DDoS-Guard, таких как: хостинг, VDS и выделенные серверы. Сегодня я продолжу тему алкоголика инженера @analog_cat про горение, автоматизацию и не только. Расставлю все точки в сетевом вопро...

Мифы и реалии «Мультимастера» в архитектуре СУБД PostgreSQL. Часть. 1 Привет, Хабр! Недавно мы делали доклад на конференции HighLoad 2023 — «Мифы и реалии Мультимастера в архитектуре СУБД PostgreSQL». Мы — это Павел Конотопов (@kakoka) и Михаил Жилин (@mizhka), сотрудники компании Postgres Professional. Павел занимается архитектурой построения...

Kubernetes Networking: сервисы, Ingress и Network Policies Когда я впервые столкнулся с задачей масштабирования сложного приложения в Kubernetes, то был полон оптимизма. Однако вскоре стало ясно, что управление сетевым трафиком и безопасностью в такой динамичной среде — это непросто. Наше приложение начало страдать от потерь пакет...

[Перевод] Тестирование с помощью Compose В последние годы в разработке Android наметился заметный сдвиг в сторону декларативных UI-фреймворков, и последним дополнением к этой экосистеме стал Jetpack Compose. Декларативные UI-фреймворки предлагают структуры контроля, с помощью которых можно менять способ отрисовки п...

SETI@Home, или Как миллионы людей искали следы внеземного разума SETI@Home — краудсорсинг-проект для обработки данных радиотелескопов, запущенный в 1999 году, и первый масштабный проект в сфере распределенных вычислений в принципе. В этом посте мы подробней расскажем предысторию проекта, в котором на протяжении более 20 лет в разное время...

Микросервисы на основе событий с Kafka Streams и Spring Boot Всем привет! Это моя первая статья на Habr, так что не судите строго за стиль, а вот по содержанию буду рад любой конструктивной критике. Статья основана на публикациях Confluent о том, как можно реализовать микросервисную архитектуру на основе событий с помощью Kafka Stream...

Test Driven Development в Embedded, или Как увеличить производительность команды на 37% Современное развитие в области встроенной разработки и электроники с учётом бизнес-процессов ускоряется, часто следуя принципам Agile и Scrum. Применение этих методик требует осторожности из-за длительного производственного цикла встроенной разработки, который затрудняет быс...

Sapeon разработала новый полупроводник без памяти для обработки центров данных Sapeon X330 начнет массово производиться в первой половине 2024 года

Вы — новый руководитель. Как успешно пройти адаптацию в сложившемся коллективе? Обычно компаниям выгодно взращивать линейных руководителей, а не нанимать. Это помогает создать команду менеджеров и тимлидов, которые глубоко погружены в специфику проектов, разделяют культуру компании, и одновременно с этим даёт возможность для естественного карьерного раз...

Представлены системные требования перезапуска Call of Duty: Modern Warfare 3 Игра не требовательна к железу, в минимальных рекомендациях указано 8 гигабайт оперативной памяти и 2 гигабайта видеопамяти.

Полное краткое руководство по grammY — JS-библиотеке для создания Telegram-ботов Привет! Меня зовут Арсений, я сеньор фронтенд-разработчик. В этой статье хочу рассказать про основные механизмы библиотеки grammY и разобрать стартовый набор файлов бота, обработку ошибок, виды обработчиков событий, контекст обновлений, работу с разными видами клавиатур и м...

Из разработчиков в архитекторы: как и зачем мы обучаем архитекторов в МТС МТС стала одной из самых популярных цифровых экосистем России. Чтобы этого достичь, мы прошли огонь, воду и цифровую трансформацию. У нас бы точно не вышло реализовать её без квалифицированных людей, горящих своим делом и готовых двигать технический прогресс вперёд.Если хоро...

ПЛК Mitsubishi: как разобрать сетевой протокол и найти уязвимости в устройстве без использования прошивки Нас окружают умные устройства. Внутри каждого — микросхемы и прошивки с программным кодом, который содержит уязвимости. Представьте, что в руки исследователя безопасности попадает устройство с недокументированным сетевым протоколом. Возникают задачи: разобрать протокол, науч...

Генерация документации из моделей с помощью Pydantic Привет, меня зовут Роман Брылунов, я QA Automation в команде сервиса транспорта 2ГИС. Мы автоматизируем сервисы транспортных сценариев, таких как построение маршрутов для разных видов транспорта, построение пешеходных маршрутов, решение задачи коммивояжера. Основная часть на...

Tesla договорилась о запуске FSD в Китае, обеспечив обработку данных пользователей на территории страны Ничего пересылать в США не потребуется.

Яндекс запустил в «Букмейте» виртуального рассказчика: аудиоверсия для 13 000 книг Команда Яндекса представила полезное нововведение для своего подписного книжного сервиса «Букмейт». Теперь пользователи смогут в режиме реального времени слушать книги, у которых нет заранее созданных аудиоверсий. На данный момент она доступна для 13 000 кни...

В мобильную ОС «Аврора» интегрируют ИИ В российскую мобильную ОС «Аврора» будет интегрирован искусственный интеллект (ИИ), пишет издание «Коммерсантъ» со ссылкой на Ростелеком, который владеет разработчиком этой ОС «Открытая мобильная платформа». Компания отмечает, что вне...

Учёные создали процессор, которому не нужна оперативная память Исследователи разработали новаторский процессор, который представляет собой интегрированную чип-систему для векторно-матричного умножения и дискретной обработки сигналов.

Micron разрабатывает 128 ГБ модули RDIMM на основе монолитных чипов DRAM объёмом 32 Гб Компания Micron объявила о разработке модулей DDR5 RDIMM объёмом 128 ГБ. Эти модули создаются на основе монолитных 32 Гб ядер DRAM и предназначены для растущих потребностей центров обработки данных, включая искусственный интеллект и базы данных в памяти.

Трансляция графических HANA Calculation View в SQL, или как переехать так, чтобы ничего не поменялось Повинуясь всеобщей тенденции и следуя духу времени, мы в Норникеле переводим расчёты нашего хранилища на уровень БД. Так мы ускоряем обработку данных и формирование отчётности, да и система работает стабильнее. Но пока мы оптимизируем и переносим "классический" код в базу, з...

Яндекс анонсирует новую линейку нейросетей YandexGPT 3 Яндекс представил новую линейку нейросетей YandexGPT 3, включающую YandexGPT 3 Pro и возможность дообучения пользователей. Новые модели обеспечивают улучшенную обработку сложных запросов и точное следование формату ответов, что делает их полезными для решения реальных задач ...

Как создавать аттестованные системы — на примере инфраструктуры Selectel Ежегодно российские компании создают десятки тысяч информационных систем на базе инфраструктуры провайдеров. Облачные технологии активно развиваются в разных отраслях. В том числе, их используют для обработки персональных данных и других задач, подпадающих под требования ФС...

Как мы своими силами коммутаторы чинили Привет, Хабр! В 2016 году мы в Selectel начали закупать коммутаторы производителя Е. Планировали за несколько лет ввести в работу несколько сотен устройств — и это оправдалось. Сегодня в продакшене работает больше 300 коммутаторов. Данная модель позволила нам реализовать ...

Вызов пользовательских функций в API Gigachat Недавно в документации к API GigaChat появился раздел, посвящённый работе с функциями, аналогично тому, как это реализовано в ChatGPT. Идея заключается в том, что модели передаётся информация о доступных ей функциях, и в зависимости от запроса пользователя модель может ...

Одноплатный ПК LattePanda Mu оценен в 190 долларов Сетевые источники сообщают о выходе нового одноплатного ПК LattePanda Mu, который довольно неожиданно основан на 4-ядерном процессоре Intel Processor N100 с тактовой частотой до 3,4 ГГц и TDP 6 Вт. Размеры новинки составляют 60:69,6 мм, что сравнимо с габаритами кредитной ка...

Принцип работы утилиты ping в Linux Что такое ICMP протокол и с чем его едят? Что такое сетевая модель OSI? Как послать ICMP пакет на сайт и получить ответ? Как работает утилита ping на linux? Все это вы узнаете здесь. Читать далее

Четыре метрики, изменившие мой проект Привет, Хабр! Я Федор Щудло, team lead и fullstack-разработчик. Всего я в разработке 15 лет, из них 11 в роли team lead. Три года назад я сменил работу и занялся проектом, состояние которого можно описать кратко: ему 25 лет.За этот долгий срок проект пережил несколько слияни...

[Перевод] Как использовать Fetch API в Node.js, Deno и Bun Получение данных с помощью HTTP-запроса — это фундаментальное действие веб-приложений. Возможно, вы делали такие вызовы в браузере, но Fetch API поддерживается в Node.js, Deno и Bun. Читать далее

gRPC Привет, Хабровчане!Для тех, кто не в курсе, gRPC - это открытый фреймворк от Google, который был представлен миру в 2016 году. Основываясь на протоколе HTTP/2, gRPC использует Protocol Buffers в качестве языка описания интерфейса. Основная идея gRPC заключается в создании ун...

Как управлять сотнями sidecar-контейнеров без боли и сожаления При использовании дополнительных контейнеров в Kubernetes важно развернуть их так, чтобы сократить количество YAML-кода и при этом не лишить платформенные команды возможности публиковать sidecar'ы без запроса на обновление приложение. Для этого подходят Sidecar Injector'ы — ...

Книга «Python для сложных задач: наука о данных. 2-е межд. изд. » Привет, Хаброжители! Python — первоклассный инструмент, и в первую очередь благодаря наличию множества библиотек для хранения, анализа и обработки данных. Отдельные части стека Python описываются во многих источниках, но только в новом издании «Python для сложных задач» вы...

Когда слабый контролирует сильного: у OpenAI есть идея по обузданию мощных ИИ-моделей недалёкого будущего Компания OpenAI с момента своего основания занимается разработкой ИИ-систем, чтобы те приносили пользу человечеству. По плану так должно происходить даже в том случае, если ИИ станет умнее своих создателей. Внутри компании есть несколько команд. Одна из них занимается разраб...

Наш публичный детектор голоса стал быстрее в 3 раза (*), качественнее, устойчивее и теперь работает на 6 000 языках Мы уже рассказывали про наш детектор голоса на Хабре тут, тут и тут. Кратко опишу, что стало лучше в этот раз: Поддержка 6 000+ языков;Общий рост качества на 5-7%;Существенно повышена устойчивость на шумных данных;TorchScript (*) стал в 3 раза быстрее, а...

Наблюдаемость качества разработки: от субъективных суждений к объективным данным Привет, Хабр! Я — Алексей Диянов, технический директор Nedra Digital. Мы — IT в нефтегазовой отрасли. Компании чуть больше трёх лет. Мы быстро выросли как в численности персонала, так и в количестве проектов, но не избежали классических проблем в виде трудностей внутренней к...

Простой способ обработки качественных исследований Данная статья может оказаться полезной начинающим менеджерам, аналитикам и дизайнерам. В ней рассказано о подходе, который поможет структурировать и упорядочить информацию, полученную из различных источников, таких как “one to one” встречи, глубинные интервью и другие подобн...

Европейские компании собираются размещать дата-центры в космосе и к 2050 году создать обширную сеть Общая мощность размещённых в космосе центров обработки данных должна достигнуть 1 гигаватта.

Яндекс выпустил свои первые устройства умного дома с поддержкой Matter Команда Яндекса объявила о начале продаж первых устройств умного дома, которых поддерживает новый протокол Matter. Первыми ласточками стали светодиодная лента и розетка. Как отмечают в пресс-службе, они помогут создать атмосферное освещение и добавить управление голосом...

Книги, специализированные Книги по теме: Астрономия, Вычислительная геометрия, Обработка естественного языка, Искусственный интеллект Читать далее

Microsoft прекращает разработку подводного ЦОД Компания Microsoft останавливает проект Natick по созданию подводного центра обработки данных.

[Перевод] 6. Nix в пилюлях: Наша первая деривация Медленно, но верно мы добрались до шестой пилюли, посвящённой пакетному менеджеру и чистому функциональному языку Nix.Попробуем создать нашу первую деривацию. Читать далее

Интернационализация от i до n: как мы переводим интерфейсы в Фантехе Яндекса Привет! Меня зовут Александр Поляков, я руководитель команды i18n-разработки в Фантехе Яндекса. Мы помогаем сервисам компании выходить на международные рынки, а именно решаем задачи, связанные с интернационализацией и локализацией интерфейсов.В этом посте расскажу:• какие им...

Метрики Эффективности Команд. Data driven подход к улучшению эффективности команд и бизнес результатов Как понять эффективность команд? Как узнать можем ли мы перформить лучше и экономить ресурсы? Многие поднимают эти вопросы в компаниях.Последние несколько лет я активно занимаюсь вопросом внедрения метрик эффективности в компании и команды и с многими компаниями мы прошли бо...

Протокол защищенного обмена для индустриальных систем CRISP: поддержка в устройствах Рутокен Приветствую уважаемую публику Хабра от лица условно анонимного представителя компании «Актив», занимающейся производством небезызвестных средств аутентификации и электронной подписи. В этой статье хотелось бы рассказать об одном из менее известных направлений деятельности по...

Samsung будет выпускать новейшие чипы Quasar, конкурирующие с Nvidia Подразделение Samsung по контрактному производству чипов получило нового заказчика в лице канадского стартапа под названием Tenstorrent, который занимается разработкой чипов с технологиями искусственного интеллекта. Tenstorrent входит в число стартапов, пытается состави...

Эволюция системы разработки на SQL Мы — SQL команда Срочного рынка Московской Биржи, занимаемся разработкой и сопровождением бэкофиса торгово-клиринговой системы Spectra с момента ее возникновения. Срочный рынок Московской Биржи — это более 500 фьючерсных и 30000 опционных инструментов, несколько миллионов сд...

Основы репликации в Kafka Привет, Хабр!Репликация в Apache Kafka - это механизм, который обеспечивает доступность и надежность в обработке потоков данных. Она представляет собой процесс дублирования данных с одной части темы в другие, называемые репликами. В этой статье рассмотрим основы репликации в...

Книга «SQL. Pocket guide, 4-е изд.» Привет, Хаброжители! Если вы аналитик или инженер по обработке данных и используете SQL, популярный карманный справочник станет для вас идеальным помощником. Найдите множество примеров, раскрывающих все сложности языка, а также ключевые аспекты SQL при его использовании в ...

Разработка универсального ПЛК для домашних агрегатов Некоторое количество оборудования в домашнем хозяйстве имеет довольно похожую структуру. В нем есть мотор, пользовательский интерфейс в виде кнопок и дисплея, управление подсветкой и местным освещением, электромеханические элементы в виде замков, соленоидов, клапанов, реле и...

Как приручить нейросеть и сделать новогодний гид? Вызовы, с которыми я столкнулся при создании Telegram-бота Мне нравится создавать Telegram-ботов и экспериментировать с нейросетями, поэтому часто объединяю их в своих в своих проектах. Коллеги заметили мое хобби и предложили разработать новогоднего гида Selectel, который будет генерировать персональные предсказания и советы на 202...

HyperLogLog в PostgreSQL HyperLogLog принадлежит к категории вероятностных структур данных, которые позволяют аппроксимировать количество уникальных элементов в больших наборах данных с удивительно низким потреблением памяти. HLL использует логарифмическую память.В PostgreSQL HyperLogLog предоставля...

Стартап Blaize привлёк $106 млн для своих ИИ-чипов Blaize Inc., перспективная компания в области разработки чипов искусственного интеллекта, совершила значительный прорыв, привлекая $106 000 000 финансирования. Это событие произошло менее чем через полгода после объявления Blaize о планах выхода на биржу через слияние с...

Ученые представили диск, похожий на DVD, который может хранить в 4000 раз больше данных, чем Blu-Ray Шанхайские специалисты создали новый тип диска, способный хранить сотни тысяч гигабайт данных, или более 40 000 DVD-дисков.

Облачная трансформация ИТ инфраструктуры современной компании. Практический опыт Х5 Group Привет, меня зовут Максим Осорин, я руковожу Х5 Облаком в Х5 Group. Хочу рассказать про то, как мы трансформируем ИТ инфраструктуру крупнейшего в стране продуктового ритейлера. Зачем это нужно, как мы это делаем, с какими сложностями сталкиваемся и как их преодолеваем.Данная...

Российская компания создала ИИ-ассистента для анализа данных Российская компания Sitronics Group разработала новый продукт — ИИ-ассистента, способного обрабатывать и категоризировать голосовой и текстовый контент, а также генерировать информацию по запросам. Платформа значительно ускоряет обработку данных и поиск необходимой информаци...

Большая иерархия в SQL запросе + PostgreSQL Сначала запрос адаптирован для работы в PostgreSQL 15.6.Затем работа запроса проверена на достаточно объемной иерархии - в качестве источника данных использована структура архива jdk-master.zip из OpenJDK 22 Читать далее

«Серёга, диктуй код из смс»: как мы ускорили проверку гипотезы с помощью эксперимента Привет! Меня зовут Алина Бузинова, я менеджер продукта Отелло, сервиса бронирования отелей от 2ГИС.Ключевой принцип развития молодого продукта — скорость доставки полезных решений. Но не каждая фича — полезная, и не каждая полезная фича — дешёвая. Планировать шестимесячную р...

[Перевод] Аутентификация по протоколу SAML с помощью OpenAM на примере Yandex Cloud В данной статье описывается, как настроить вход по технологии единого входа (SSO) по протоколу SAML в Yandex Cloud через Access Management платформу с открытым исходным кодом OpenAM. Читать далее

[Перевод] Dataloader 3.0: Новый алгоритм для решения проблемы N+1 При реализации Cosmo Router, open-source замена Apollo Router, мы столкнулись с проблемой поддержания нашего кода для решения проблемы N+1. Реализация маршрутизатора для федеративных служб GraphQL в значительной степени зависит от возможности группировать вложенные запросы G...

Как в РСХБ разработали средство генерации SQL-запроса для упрощения задач по тестированию Привет, Хабр! Меня зовут Андрей Околелов, я работаю ведущим инженером в Блоке обеспечения и контроля качества выпуска изменений ПО в РСХБ. В банковской сфере я работаю с 1992 года, с 2018 основная деятельность — тестирование банковских прил...

Смена профиля без PIN-кода: зайти в онлайн-кионотеатр Kion теперь можно по биометрии Команда Kion, входящая в экосистему МТС, объявила о полезном обновлении онлайн-кинотеатра. Пользователи мобильных приложений для Android и iOS теперь могут войти в свой профиль с помощью распознавания лица Face ID и отпечатка пальцев Touch ID. Иллюстрация: Kion В резул...

Топ Необходимых Bash-Команд для Разработчика [Шпаргалка] Bash - самый распространенный командный интерпретатор в UNIX-подобных системах, предоставляет возможность выполнения практически любого действия через терминал. Не все операции можно выполнить через графический интерфейс, в то время как Bash дает возможность полного контроля...

В огне не горит, в воде не тонет: новый вид связи может работать практически везде. Но и это не все На днях стало известно о том, что команда китайских ученых из Нанкинского университета создала новый тип связи. Она основана на разных спектрах света, передавая информацию как в воде и воздухе, так и в космическом пространстве. Подробности разработки — под катом. Читать да...

Сетевой мультитул для ИТ и ИБ специалистов: zero-skill создание Telegram чат-бота с помощью ChatGPT Привет, Хабр! Меня зовут Руслан, я – инженер по сетевой и информационной безопасности в компании-интеграторе STEP LOGIC. Решаю различные задачи, связанные с настройкой и поддержкой сетевого оборудования в компьютерных сетях, работаю над проектами, требующими планировани...

Четвёртое наблюдение о командной строке и путях в файловой системе В недавно опубликованной статье «Три наблюдения о командной строке и путях в файловой системе» были рассмотрены некоторые особенности интерпретации командной строки оболочками в операционных системах Windows и Linux. Первое наблюдение было о том, что командные оболочки SH/BA...

Как связать кредиторов и заемщиков с помощью смарт-контрактов? Обзор кредитного протокола Compound V2 В статье мы рассмотрим, как организовано кредитование в DeFi: что такое кредитные протоколы и как работает один из самых популярных протоколов  – Compound. Вместе со мной вы пройдете весь путь сквозь кодовую базу протокола, начиная от предоставления ликвидности, займов ...

[Перевод] Bash Auto Completion в Linux Пользователи взаимодействуют с Linux при помощи многочисленных команд, вводимых в командной строке. Учитывая разнообразие этих команд и их параметров, не так просто запомнить все наизусть.Однако в Linux предусмотрена удобная функция автодополнения для Bash. Этот инструмент, ...

TechPowerUp: AMD сняла ограничения по разгону памяти видеокарты Radeon RX 7900 GR Компания реализовала данное решение с помощью новейших драйверов Adrenalin 24.3.1 WHQL

Как создать shader в Flutter для эффектной анимации в приложении? Hola, Amigos! Меня зовут Сергей Климович, я Mobile Team Lead агентства заказной разработки Amiga. В мире мобильной разработки Flutter выделяется своей гибкостью и простотой в создании красивых пользовательских интерфейсов. Однако, чтобы добавить дополнительные визуальные эфф...

Масштабные изменения в C# 14.x и дальнейшие планы развития .NET Масштабные изменения в C# 14.x и дальнейшие планы развития .NETПока разработка .NET 9 идет полным ходом, Microsoft приоткрыла нам завесу дальнейших будущих масштабных изменений в экосистеме .NET. Компания поделилась своим видением развития новой версии платформы .NET и C# в ...

Дополнительная обвязка K8s и самописные компоненты в Kubernetes: для чего и кому нужны Познакомим вас с надстройками Kubernetes в платформе dBrain, большая часть которых - наши собственные разработки для отслеживания пограничных состояний кластеров K8s. Читать далее

Полная неуязвимость? Как устроены защитные механизмы macOS (и при чем тут маркетинг) Подход Apple к информационной безопасности приводит к тому, что некоторые пользователи Mac не обращают внимание на то, что происходит с их компьютерами. В этом посте я старался разобраться в основных механизмах защиты macOS от вредоносных программ и выделить их недостатки, н...

Эволюция Traffic Engineering. Основы, распределённый и централизованный расчёт туннелей, магия PCE Как оптимизировать путь данных внутри чёрного ящика под названием «сеть» и гарантировать необходимый уровень сервиса пользователям своего приложения? Эта задача может волновать не только сетевых инженеров и архитекторов, но и разработчиков, и DevOps-команды. Для глубокого по...

«Щас спою»: чат-бот ChatGPT научился писать музыку и песни Американская компания OpenAI объявила о выпуске интересного обновления генеративной системы искусственного интеллекта, ChatGPT. Как сообщили на официальном сайте, ChatGPT теперь способен генерировать оригинальные мелодии по запросу и описанию пользователей.  Сгене...

Indigo, протокол DeFi на основе Cardano, вошел в топ-10 всей экосистемы DeFi Протокол DeFi на основе Cardano Indigo на короткое время занял место среди 10 лучших протоколов децентрализованных финансов (DeFi)

Онлайн-конференция: тренды, кейсы и технологии в медийной рекламе Онлайн-конференция: тренды, кейсы и технологии в медийной рекламе 11 декабря 11-00 - 13-00 Приглашаем на трансляцию маркетологов, рекламодателей, digital-экспертов, представителей агентств и других специалистов. Будут интересные темы: — Реклама на Авито: ожидание...

Как мы перевернули подход к созданию интерфейсов ОС В мире очень немного дизайн-команд, которые занимаются разработкой дизайна операционных систем (Apple, Google, Huawei, Microsoft и т. д.). И это дает таким командам уникальную возможность создавать дизайн-решения, которые могут стать трендсеттерами на рынке. При этом у всех...

Инструкция по настройке RAG-системы для тех поддержки клиентов Retrieval Augmented generation - генерация ответа с использованием результатов поиска. RAG-архитектура - это подход к созданию приложений, в которых большая языковая модель без дополнительного обучения отвечает на вопросы с использованием информации из внутренней базы знаний...

SK Group инвестирует $74,8 млрд в производство чипов для ИИ-ускорителей Южнокорейский конгломерат SK Group объявил о планах вложить 103 трлн вон (около $74,8 млрд) в производство чипов памяти HBM, оптимизированных для использования с ИИ-ускорителями. Компании группы также инвестируют в развитие центров обработки данных для наращивания возможност...

История создания агрегатора для фриланс бирж Привет, читатель, хочу поделиться своей историей по разработке проекта для сбора фриланс заказов, на данный момент с русских фриланс бирж, реализованных на языке джава, то есть агрегатор. Разработка проекта была начата 15.10.2022. Данная статья будет интересна следующим: опт...

ИИ поможет контролировать компьютер силой мысли Ученые создали систему управления компьютером с помощью силы мысли. Разработка использует искусственный интеллект для анализа мозговых волн, считываемых при помощи безболезненной электроэнцефалографии.

[Перевод] Всё ещё используете If/else валидацию в Spring 6.0+ / SpringBoot 3.0+? Чтобы избежать влияния несанкционированных параметров на ваш бизнес, в ваших веб-сервисах должна быть реализована проверка параметров на уровне контроллера! В большинстве случаев параметры запроса можно разделить на два следующих вида:— POST и PUT-запросы, использующие reque...

Учебно-развлекательный проект «Мобильная платформа». Управление жестами руки Учебно-развлекательный проект "Мобильная платформа", который использует управление жестами руки для управления роботом. В ней подробно рассматриваются технические аспекты сборки платформы, программирование Arduino и обработка жестов с помощью Python и библиотеки mediapipe. ...

Аутентификация в Kubernetes через Gitlab'овские JWT токены Представим ситуацию, что мы деплоим по push-модели. В качестве платформы для запуска деплоя у нас используется Gitlab: в нём настроен пайплайн и джобы, разворачивающие приложения в разные окружения в KubernetesКакой бы инструмент мы не использовали (kubectl, helm), для манип...

Hippotable — анализ данных прямо в браузере Сегодня я расскажу про hippotable — удобный инструмент для анализа данных. Мне часто нужно поковыряться в датасете среднего размера (1–100 Мб), чтобы ответить на довольно простые вопросы. Ни один из существующих инструментов (bash, google sheets, jupyter + pandas) не показал...

Apache Flink: динамическое определение выходного топика в Kafka Всем привет, меня зовут Александр Бобряков. Я техлид в команде МТС Аналитики, занимаюсь Real-Time обработкой данных. Мы начали использовать фреймворк Apache Flink, и я решил поделиться на Хабре своим опытом внедрения этой технологии в цикле статей.В предыдущей статье — «Apac...

QA инженер и дизайн Современные технологии меняют жизнь человечества, предлагая огромное количество различных возможностей. Появляется всё больше и больше разнообразных платформ и устройств, с помощью которых можно легко выполнять различные действия. Разработчики предлагают широкий ассорти...

Китай на пути к технологической независимости: представлена однокристальная система Unisoc T765 Компания Unisoc представила новейшую однокристальную систему Unisoc T765 с поддержкой сетей 5G для мобильных устройств среднего ценового сегмента. Unisoc T765 производится по нормам 6-нм техпроцесс EUV, мобильная платформа получила два больших ядра A76 с частотой 2,3 ГГ...

WireGuard Воскрес Спешим к сообществу с радостной новостью - заблокированный WireGuard можно реанимировать с помощью нашего клиента AmneziaVPN!Многие из вас слышали, что в России и некоторых других странах блокируются VPN, работающие на протоколе WireGuard. Теперь есть решение, чтобы он снов...

Владимир Путин побеждает на выборах Президента России с рекордным результатом По итогам обработки почти 80 % протоколов при рекордной же явке.

Padding vs SizedBox. Что выбрать для вёрстки отступов Column и Row Здравы будьте! С вами на связи руководитель Flutter-направления Mad Brains Николай Омётов. В этой статье я проведу разбор особенностей вёрстки отступов с помощью Padding и SizedBox и расскажу, что выбрала наша команда для создания единого стиля кода. Читать далее

Как с помощью ChatGPT реализовать раскраску во flutter Сегодня мы рассмотрим, как реализовать раскраску для растровых изображений с помощью алгоритма flood fill. Посмотрим, что уже есть на pub.dev, заглянем немного в теорию этого алгоритма, реализуем его на dart с помощью ChatGPT и применим во flutter приложении. Читать далее

CADLib API: От API к прямой работе с базой данных модели через SQL-запросы Рассмотрим вариант расширения стандартного CADLib API в части выборки объектов с некоторыми параметрами из базы при помощи SQL-запросов на примере получения всех файлов публикации, в которых встречаются объекты коллизий. Подобную задачу мы решим сперва вручную при помощи тол...

Дашборд управления бизнесом (P&L) в Metabase за 5 дней Один из важнейших инструментов в моей работе — дашборд с данными о прибылях и убытках компании P&L (он же БДР, он же отчет о финансовых результатах). Он помогает контролировать рентабельность бизнеса, эффективность отделов компании, прогнозировать прибыль и строить гипот...

Подход, который помог нам точно оценить трудозатраты на разработку дизайн-системы При планировании проекта команде дизайна приходится отвечать на много вопросов. Главные — что делать, как долго и сколько это будет стоить. Ответы есть не всегда и точно не у дизайнеров, которые занимаются отдельными задачами и не видят картину в целом. Меня зовут Александр...

Как голосовой робот МегаФона помогает пассажирам авиакомпании NordStar? МегаФон создал голосового робота-консультанта, который помогает пассажирам авиакомпании NordStar контролировать время вылета и прилета самолетов. Внедрение технологии сократило время обработки запросов в периоды нестабильной погоды в северных регионах страны (а это большинс...

SHMT удваивает скорость обработки данных и вдвое снижает энергопотребление компьютеров Команда исследователей из Калифорнийского университета разработала метод, позволяющий удвоить скорость вычислений, сократить энергопотребление и эксплуатационные расходы компьютерных систем.

[Перевод] Как получить плашку совместимости со Steam Deck, не покупая Deck Пару месяцев назад Steam выложил в Steamworks инструмент для разработчиков, позволяющий отправлять игры на сертификацию: Steam тестирует и проверяет игру, а затем решает, совместима ли она с Steam Deck. Так как я уже реализовал в своей игре поддержку геймпадов, то сразу прис...

Своё кастомное межсервисное взаимодействие с блекджеком и gRPC Привет, Хабр! Меня зовут Ильяс. Мы с командой делаем собственный Service Mesh в Ozon Tech, и в этой статье я расскажу, как можно за вечер реализовать свое супер кастомное межсервисное взаимодействие. К концу статьи мы с вами напишем современные алгоритмы балансировки, настро...

Пользователи недовольны: в Evernote тестируется ограничение в 50 заметок и 1 блокнот без платной подписки Команда популярного сервиса для создания и хранения заметок Evernote начала тестировать нововведение, которое сильно не понравилось его пользователям. Жалобы на Evernote появились в сети – пользователям предлагается выбор либо оплатить платную подписку, либо столк...

Google выпустила платную версию Chrome – с нейросетями и усиленной защитой Компания Google на прошедшем мероприятии Google Cloud Next представил свою новую разработку – версию браузера Chrome для корпоративного использования. Несмотря на множество особенностей новинки, главное, что привлекло к ней широкое внимание со стороны пользователе...

Отображение иерархии в SQL запросе В процессе тестирования одного курса по SQL на stepik.org встретилась задача, из которой сочинилась другая, более интересная: Необходимо с помощью одного SQL запроса с использованием обобщенных табличных выражений отобразить иерархию, в соответствии с иллюстрацией выше Читат...

KISS your website или как написать уважаемый сайт на аутсорсе, глава первая Добрый день. Меня зовут Тимофей, я фронт-тимлид в диджитал-продакшене ДАЛЕЕ. В данном цикле статей я поделюсь подходами и инструментами фронтенд-разработки на аутсорсе, которые помогут создать качественный продукт без кошмарного instant-legacy и значительно облегчат жизнь ко...

Настройка протокола OSPF на оборудовании Cisco и HUAWEI В прошлой статье мы рассмотрели основные моменты настройки сетевого оборудования HUAWEI и остановились на статической маршрутизации. В сегодняшнем топике речь пойдёт о динамической маршрутизации по протоколу OSPF совместно с маршрутизаторами Cisco. Добро пожаловать под кат. ...

Qualcomm анонсировала процесоры Snapdragon X для устройств с Windows on ARM Qualcomm анонсировала новое поколение десктопных ARM-процессоров под названием Snapdragon X. Известно, что они будут основаны на ядрах Oryon от компании Nuvia, которую Qualcomm приобрела в 2021 году. Интересный факт — Nuvia основана бывшими инженерами Apple, работавшими над...

[Перевод] Шпаргалка для создания идеального промпта LLM Большие языковые модели могут производить любую последовательность символов на каком угодно языке в любом формате данных (включая языки программирования, аудио и видео). Соответственно и качество этой последовательности может быть самым разным. Иногда мы получаем многословны...

[Перевод] Spring Boot 3.2: замените свой RestTemplate на RestClient Эта статья по Spring Boot 3.2 посвящена надстройке над  WebClient, которая называется RestClient и представляет собой более интуитивный и современный подход взаимодействия с RESTful сервисами.В мире Spring Boot отправка HTTP запросов к внешним сервисам является весьма р...

В помощь IT-команде — «Регламент создания багов» или «Как сделать задачу ясной для тебя из отпуска» Данный регламент я написал на основании опыта работы лидом в IT компании с веб-приложением. Пункты из него прошли проверку практикой. Изначальные версии были (естественно) основаны на best practice из интернета, agile и опыта предыдущих и текущих руководителей. Стоит отметит...

Microsoft хочет улучшить процесс производства Surface с помощью ИИ Microsoft в своём блоге подробно рассказала о том, как команды Surface и Azure использовали облачные технологии высокопроизводительных вычислений для революции в процессе проектирования новых устройств линейки Surface. Заявляется, что это позволило уменьшить затраты и сокра...

Диплом специалиста ИБ. Часть №3 — Портативное устройство SmartPulse Привет, Хабр!Вам знакомо такое чувство, когда сидишь, пишешь дипломную работу и думаешь "А не сделать ли умный пульсометр на ESP32-C3 с интегрированными механизмами защиты, динамическим пин-кодом и управлением через BLE с помощью собственного мобильного приложения для IoT-ус...

Портретная гармонизация изображений Привет! В данной публикации команда RnD CV из SberDevices познакомит вас с нашим подходом к решению задачи повышения степени реалистичности портретных изображений (по-научному — портретной гармонизации изображений). Мы не только расскажем о задаче портретной гармонизации, но...

eSIM и протоколы спецификации GSMA SGP.02: кейс МТС Привет, Хабр! Меня зовут Алексей Степанов, я работаю аналитиком в проектах IoT Connected Car и eSIM M2M в «МТС Диджитал».Среди наших клиентов — совершенно разные компании. Производители умных счётчиков для воды, терминалов для эквайринга, и даже автомобилей.В этом посте расс...

Метрики команды разработки Заказчику задачи в конечном счёте всё равно, какой методологией управления разработкой пользуется команда исполнителей - точная дата получения результата для него важнее.Чтобы называть эту дату более обоснованно, необходимо понимать, как на самом деле работает команда: сколь...

Security Week 2425: поиск уязвимостей в биометрическом терминале На прошлой неделе исследователи «Лаборатории Касперского» опубликовали подробный отчет о поиске уязвимостей в биометрическом терминале компании ZKTeco. Терминал обеспечивает распознавание пользователей по лицу, но также предоставляет резервные методы аутентификации: по пин-к...

2FA для 1С по протоколу OpenID Connect на базе Keycloak Очередной пост о том, что мы делаем. В этот раз расскажу вам о том, как мы обеспечили безопасность информационных баз 1С с использованием сервиса аутентификации Keycloak через протокол OpenID Connect и настройку двухфакторной аутентификации с&nb...

Flutter и ГОСТ TLS Меня зовут Куприёв Андрей, я Flutter‑разработчик в команде Центра развития финансовых технологий (ЦРФТ) Россельхозбанка. В этой статье мы рассмотрим, как реализовать поддержку протокола ГОСТ TLS в приложениях, разработанных на Flutter.Flutter, с ...

Книга «Гейм-дизайн: как создаются игры» Привет, Хаброжители! Узнайте, как придумать и создать свою первую игру. Загляните за кулисы гейм-дизайна и глубоко погрузитесь в теорию и техническую сторону разработки видеоигр. Книга затрагивает теорию гейм-дизайна, практические особенности реализации игр в различных жа...

Лимит под угрозой: резервные копии WhatsApp на Android начнут учитываться в хранилище аккаунта Google Компания Google и команда популярного мессенджера WhatsApp объявили об изменении, согласно которому резервные копии чатов и медиафайлов WhatsApp на Android «начнут учитываться при расчете лимита облачного хранилища вашей учетной записи Google».  Фото: ...

Как устроен рекомендательный сервис, который выдерживает 700 тысяч запросов в секунду. Доклад Яндекса «Баннерная крутилка» —  один из самых высоконагруженных сервисов в Яндексе. Он умеет переживать 700 тысяч RPS, а иногда и больше. Каждый раз, когда приходит запрос, крутилка должна просмотреть базу из миллиарда документов и выбрать из них самые релевантные для пользоват...

Энергопотребление искусственного интеллекта в центре внимания Также под огнем находится тема потребления воды центрами обработки данных, оснащенными ускорителями ИИ

Продолжаем глубже изучать передачу данных по сетям GSM через GRPS с помощью SIM868 и Repka Pi — про AT-команды  В предыдущей статье мы рассказали, как с помощью модуля GSM/GPRS/GNSS Bluetooth HAT, созданного на базе SIM868, библиотек SIM800L, RoverConnect и Telemetry можно обмениваться данными между микрокомпьютером Repka Pi с JSON-сервисом, доступным в интернете.Мы привели исхо...

Разбираемся с Apache Spark В сегодняшней статье мы начнем знакомиться с универсальной и высокопроизводительной кластерной вычислительной платформой Apache Spark, научимся разворачивать данное решение и выполнять простейшие программы. При обработке больших объемов данных скорость играет важную роль, та...

Как deep learning помогает в разработке персонализированной терапии рака? Специалистам в области технологий и медицинских инноваций посвящается новое слово в борьбе с раком – применение глубокого обучения, использованное исследовательской командой университета Джона Хопкинса для индивидуального анализа генетических данных пациентов. В мире, где он...

NVIDIA выпускает RTX Video SDK, VLC Media Player получает поддержку RTX Video HDR RTX Video SDK предоставляет разработчикам доступ к передовым технологиям обработки видео NVIDIA RTX GPU, включая аппаратную обработку AV1, аппаратное декодирование H.264 и транскодирование в режиме реального времени.

Нейропаучок пробует силы! Часть 1 Здравствуй, дорогой читатель. В статье речь пойдет об обработке показаний с датчика с применением как простых алгоритмов, так и нейронной сети. Что проще – решай сам. Во время бурения, в связи с низкой скоростью передачи данных, данные каротажа, условно ...

Опрос по оценке рабочих процессов Оценка рабочих процессов через опросы представляет собой мощный инструмент, который позволяет организациям выявлять "узкие места", понимать потребности и ожидания своих сотрудников, а также формировать стратегии для повышения общей производительности и эффективности.Статья, ...

Это Vivo X100 Pro во всей красе. Новинка уже стала самой популярной среди всех Android-смартфонов на SoC Dimensity в Китае Компания Vivo опубликовала официальные изображения флагманского смартфона Vivo X100 Pro в четырех цветах. Кроме того, Vivo X100 и Vivo X100 Pro уже стали самыми популярными смартфонами на базе однокристальной системы Dimensity, согласно данным по предвари...

SaltStack: управление конфигурациями SaltStack позволяет администраторам и DevOps-специалистам взаимодействовать с различными уровнями своих инфраструктур, от индивидуальных серверов до центров обработки данных. Система использует модель Salt Minion.Salt Master координирует действия и распределяет задачи среди ...

Western Digital представила первый в отрасли чип памяти 3D QLC NAND емкостью 2 Тб Компания Western Digital представила первый в отрасли чип памяти 3D QLC NAND емкостью 2 Тб, что соответствует объему 256 ГБ.  В настоящее время микросхема находится на стадии прототипа, но компания заявляет, что этот чип NAND обеспечивает самую высокую плотность н...

Сложно о простом. Модель OSI и TCP/IP Приветствую, коллеги! Меня зовут @ProstoKirReal, и я сетевой инженер, который пришел в эту профессию из совершенно другой сферы. На начальном этапе было особенно трудно разобраться в сложных терминах и принципах работы сетевых протоколов и оборудования. Мне захотелось написа...

Организация стенда локальной разработки для самых маленьких: автоматизируем пересборку приложения с фронтом и бэкендом Вносить изменения в код приложения и тут же автоматически получать задеплоенные изменения, чтобы быстро тестировать его, — мечта разработчика. В этой статье мы посмотрим, как реализовать такой подход для небольшого приложения с фронтендом и бэкендом: организуем два варианта ...

[Перевод] Как реализован SRE подход в Power BI Команда Power BI рассказала, как она обеспечивает надёжную, производительную и масштабируемую работу своего сервиса. В этой статье вы узнаете, как в Power BI устроен мониторинг состояния сервиса, как SRE команды устраняют инциденты и принимают меры по улучшению сервисов. Чит...

Как продвигать  B2B-компанию через YouTube: наш пошаговый опыт Продвижение B2B-брендов традиционно ассоциируется с участием в профмероприятиях, выставках, рекламой в СМИ или тематических сообществах, но никак не стримами на YouTube. Однако опыт нашей компании Artezio доказывает обратное: прямые трансляции о low-code, тестировании ПО или...

Разговариваем с BI на естественном языке Всем привет! Искусственный интеллект уже научился писать простые запросы к базам данных, но можно ли совсем избавиться от кода в работе аналитиков? Мы расскажем про наши нейросетевые эксперименты, в которых мы научили BI-систему слушать, понимать и отрабатывать запросы анали...

Волшебная таблетка, или Централизованная настройка параметров безопасности ОС Astra Linux с помощью ALD Pro Привет, Хабр! Я инженер в «Группе Астра» из команды ALD Pro. В статье расскажу, как мы создали расширенные групповые политики и инструмент для их применения на базе существующего механизма групповых политик ALD Pro. Благодаря этому получилось упростить настройку конечны...

IT-археология: в коде игры Lunar Lander, созданной 55 лет назад, обнаружена скрытая ошибка Хобби некоторых программистов — изучение кода старых игр и ПО. Иногда в нем обнаруживаются весьма любопытные вещи, например ошибки. На днях разработчик программного обеспечения на пенсии Мартин К. Мартин смог найти проблему в коде обработки довольно известной игры Lunar Land...

Made at Intel Всем привет. Спешу сообщить, что книжка Made at Intel увидела свет. Она по большей части состоит из обработки одноименного цикла статей на Хабре. Но, также, включает некоторое количество Bonus Tracks.

Хорошие практики нагрузочного тестирования: гайд для тех, кто успел до «пожара» В каждом проекте рано или поздно наступает момент, когда нужно провести нагрузочное тестирование. Чаще всего это происходит поздно: сайт уже крашится под наплывом пользователей, стартовая страница не загружается, а обработка запросов в базе данных длится больше минуты. В так...

[Перевод] Как работает сеть в контейнерах: Docker Bridge с нуля В этой статье мы собираемся разобраться со следующими вопросами:* Как виртуализировать сетевые ресурсы, чтобы контейнеры думали, что у них есть отдельные сетевые среды?* Как превратить контейнеры в дружелюбных соседей и научить общаться друг с другом?* Как выйти во внешний м...

Security Week 2342: беспарольный вход по умолчанию в сервисах Google На прошлой неделе компания Google сообщила о том, что теперь для входа в сервисы компании опцией по умолчанию будут парольные ключи. Такие ключи (passkey) — это шаг в сторону полного отказа от паролей в сервисах компании. Данная фича была внедрена весной этого года, а теперь...

Microsoft построит атомные реакторы для питания своих серверов Разработка инфраструктуры центров обработки данных (ЦОД) является сложной задачей. Она требует укрытия, охлаждения и специализированных генераторов, которые обеспечивают непрерывную работу серверов.

Основы обработки радиолокационных данных дистанционного зондирования Земли В настоящее время все более востребованными становятся данные радиолокационного наблюдения (РЛН) с космических аппаратов дистанционного зондирования Земли. Наблюдая повышенный интерес к этой предметной области с одной стороны и явный недостаток информационных материалов по ...

Как создать экосистему и сколько это стоит В этом большом материале я хочу поразмышлять на тему того, как из базового MVP стартапа сделать не просто продукт - а целую экосистему. Подумать над монетизацией и юнит-экономикой, посчитать затраты на разработку и потенциальные заработки. Все расчеты в материалах не достове...

Как мы увеличили интерес к новостям компании и вовлеченность сотрудников Всем привет! Мы уже много писали про разработку корпоративного портала НЛМК, которым пользуются больше половины сотрудников нашей большой компании. Сейчас хочу рассказать какие существуют дополнительные инструменты оповещения пользователей, которые мы кастомно настроили на п...

[Перевод] Новые клиентские хуки React 19 Вопреки распространенному мнению, основная команда разработчиков React занимается не только серверными компонентами React и Next.js. В следующей версии — React 19 — появятся новые клиентские хуки. Они сфокусированы на двух ключевых аспектах: выборке данных и работе с форм...

Разработка тензорного компилятора под RISC-V CPU с помощью OpenVINO и MLIR Привет, Хабр! Меня зовут Владислав Виноградов, я инженер группы исследований и разработки ПО глубокого обучения в YADRO. Моя команда создает и оптимизирует связанное с искусственным интеллектом программное обеспечение. Сегодня я расскажу, как можно разработать тензорный комп...

[recovery mode] Где бесплатно учить Java в 2024 году В 2024 году изучение Java остается одним из актуальных направлений для тех, кто стремится стать профессиональным разработчиком.В настоящее время существует множество бесплатных ресурсов, которые предлагают уроки по Java, от курсов до университетских программ, что делает дост...

[Перевод] Особенности управления реальными устройствами с точки зрения backend разработчика. Часть 1. Разработка на стенде Началось всё с того, что я захотел повысить мощность двигателя автомобиля установкой компрессора.В процессе понадобилось разобраться с Arduino и написать алгоритмы автоматического управления реальными устройствами, формально - управление всего одним моторчиком, но на практик...

[Перевод] Создание сквозного конвейера MLOps с помощью Open-source инструментов MLOps с открытым исходным кодом: TL;DR Эта статья служит целенаправленным руководством для специалистов по исследованию данных и инженеров ML, которые хотят перейти от экспериментального машинного обучения к готовым к производству конвейерам MLOps. Мы выявим ограничения трад...

[Перевод - recovery mode ] Как работает etcd с Kubernetes и без него Если вы когда-либо взаимодействовали с кластером Kubernetes, скорее всего, он был основан на etcd. etcd лежит в основе работы Kubernetes, но несмотря на это, напрямую взаимодействовать с ним приходится не каждый день.Этот перевод статьи от learnk8s познакомит вас с принципам...

Берем ответственность за вопросы: как задавать их правильно Привет, Хабр! Я Оксана Нечитайлова, руководитель отдела сервисного дизайна продуктов в YADRO. Руковожу различными командами уже более 17 лет и за это время поняла: многие недооценивают навык формулирования правильных вопросов. Большинство специалистов уверены, что это некое ...

Tesla решила проблемы обработки нержавеющей стали для Cybertruck с помощью уникальных технологий Вице-президент Tesla по разработке транспортных средств, Ларс Морави, в видео подробно объясняет каждый этап производства, начиная от рулонов нержавеющей стали и заканчивая формированием дверных панелей.

Grafana Mimir: remote storage из скандинавской мифологии Привет! Меня зовут Игорь Латкин, я сооснователь и системный архитектор в  KTS. Сегодня расскажу про Grafana Mimir — одно из хранилищ данных для системы мониторинга Prometheus. Это сравнительно молодой проект, запущенный в прошлом году. Mimir входит в экосистем...

[Перевод] Data Mesh – ячеистые топологии для работы с данными Из каких соображений можно хранить данные в виде ячеистой сети Во всех организациях, где мне доводилось работать, всегда понимали важность данных. Поэтому я видел, что руководство либо заинтересовано, либо прямо планирует создать платформу нового поколения для обращения с ...

Как настроить ETL с json’ами в Apache NiFi Привет, Хабр! Меня зовут Сергей Евсеев, сегодня я расскажу, как в Apache NiFi настраивается ETL-пайплайн на задаче с JSON’ами. В этом мне помогут инструменты Jolt и Avro. Пост пригодится новичкам и тем, кто выбирает инструмент для решения схожей задачи.Что делает наша команд...

Простой последовательный интерфейс «SINT» для связи двух ПЛИС, и не только Интереса ради сделал максимально простенький комплект модулей: приемники, передатчики и те и другие с разным набором плюшек, реализующих простой самобытный протокол связи с манчестерским кодированием для связи 2х и более ПЛИС. Читать далее

Dedoc: как автоматически извлечь из текстового документа всё и даже немного больше Привет, Хабр! Мы команда разработчиков Института Системного Программирования РАН, занимаемся Computer Vision в обработке электронных документов. Мы разработали open-source библиотеку dedoc, которая помогает разработчикам и дата-сайентистам в пару строк кода читать разли...

Red Hat Enterprise Linux 9.4: что нового в релизе и что изменилось? Работа команды Red Hat над Red Hat Enterprise Linux продолжается — на днях была опубликована новая версия, 9.4. Она характеризуется относительно открытым процессом разработки, а в качестве основы применяется пакетная база CentOS Stream 9. Это «долгоиграющий» дистрибутив, под...

Ужасно подробные ошибки в API: пишем на Go инструмент для работы с ними Привет, Хабр! Меня зовут Александр Лырчиков, я разрабатываю систему хранения данных TATLIN.UNIFIED в YADRO. СХД — сложная система, и, если при работе произошла ошибка, она должна своевременно и понятно сообщать пользователю об этом. В большинстве веб-сервисов для этого ...

Security Week 2413: аппаратная уязвимость в процессорах Apple Большой новостью прошлой недели стало объявление о научной работе исследователей из ряда университетов США, демонстрирующей аппаратную уязвимость GoFetch в процессорах Apple M1 и M2 (сайт проекта, сама научная работа, подробное описание в статье издания Ars Technica). Уязвим...

110-килограмовый «Медоед», или как устроен полуфиналист «Битвы роботов»? «Медоед» — это робот, один из полуфиналистов инженерного соревнования «Битва роботов», который появился на свет благодаря команде талантливейших студентов СПбПУ "Всеядные" и "Ростелекому". И сегодня мы познакомим вас с этим стальным зверем и его создателями! Читать далее

Raytheon и AMD обещают революцию в военных технологиях благодаря новому проекту Raytheon в сотрудничестве с AMD запускает проект по разработке мульти-чипового пакета для улучшения обработки данных в военных датчиках.

Hadoop в Облаке: история миграции сотен петабайт Миграция с «железа» в облако в большинстве случаев уже не кажется чем-то сложным или удивительным — тенденция на развертывание решений в облаке общая и устоявшаяся. Но если с переносом в облачную среду небольших ИТ-компонентов все просто, то в случае с глобальными системами ...

Рулим запуском Spark-приложений в Airflow с помощью самописного оператора Airflow в Lamoda Tech играет роль оркестратора процессов обработки данных. Ежедневно с его помощью мы запускаем 1 800+ тасок на проде, примерно половина из которых являются Spark-приложениями.Все Spark-приложения сабмитятся из Docker-контейнеров. И здесь сталкиваемся с пробл...

Открытые инструменты для превентивной защиты и ИБ-аудита Есть два ключевых подхода к защите ИТ-систем: реактивный и превентивный. Реактивный — это реагирование на атаки и реализованные ИБ-риски, в том числе восстановление данных, установка патчей и обновлений, прочие активности. Превентивный подход подразумевает обнаружение и мини...

Как мы наладили процесс разработки внутренних приложений с помощью Appsmith Привет! Меня зовут Алексей, я аналитик данных в команде BI финансового маркетплейса Банки.ру. Сегодня хочу поделиться опытом работы с Appsmith. Это low-код инструмент для автоматизации бизнес-процессов. В статье расскажу, зачем вообще нам понадобился подобный инструмент...

[Перевод] Десятки ведущих учёных подписали документ, направленный на предотвращение разработки биологического оружия при помощи ИИ В прошлом году Дарио Амодей, руководитель известной компании Anthropic, занимающейся разработкой искусственного интеллекта, заявил в Конгрессе, что новые технологии искусственного интеллекта могут вскоре помочь неумелым, но злонамеренным людям проводить крупномасштабные биол...

Как составить эффективное резюме через нейросети В эпоху цифровизации трудоустройства, когда рекрутинговые агентства и HR-отделы переходят на автоматизированные системы обработки резюме, важность составления эффективного CV выходит на новый уровень. Первое впечатление о кандидате складывается за считанные секунды. Плюс не ...

Новая атака Loop DoS представляет угрозу для 300 000 систем Исследователи описали новый вектор application-layer атак, основанный на протоколе User Datagram Protocol (UDP) и получивший название Loop DoS. Такой DoS представляет угрозу для систем Broadcom, Honeywell, Microsoft и MikroTik, и может «замкнуть» сетевые сервисы в бесконечно...

Transient storage в EVM (EIP-1153): на грани добра и зла В одной из статей о расчете газа в Ethereum (ссылка) я рассказал об истории изменений механизмов подсчета газа для хранилища смарт-контракта (storage) — от правил, заложенных в протоколе изначально, до EIP-3529. Во всех этих изменениях прослеживается основная проблема: нерац...

Магия вне Хогвартса: как повышать ИБ-грамотность сотрудников Сумрачная картинка: большое помещение, мало света. Стол и рядом стул, на котором сидит человек. Он работает за ноутбуком. Чувствую его усталость: он сегодня уже долго работает. Его что-то отвлекает: письмо. Электронное письмо. Он нажимает на ссылку, но ничего не появляется н...

Когда тебе принадлежит целая Arm, которая может создать тебе чип для ИИ. Компания разработает для Softbank процессор для искусственного интеллекта Компания Arm известна в первую очередь своей архитектурой и эталонными ядрами CPU и GPU. Теперь же на фоне бума ИИ компания намерена разработать собственный процессор ИИ.  Нужен он не самой Arm, а компании Softbank, которая владеет Arm. Softbank будет использовать...

Supermicro добавляет 3 объекта в Кремниевой долине и в мире с учетом роста систем жидкостного охлаждения Компания Supermicro, Inc., поставщик комплексных ИТ-решений для ИИ, облачных хранилищ и 5G/Edge, продолжает расширение в Кремниевой долине, открывая новые кампусы по мере роста спроса на центры обработки данных с жидкостным охлаждением. Новые производственные объекты станут ...

Samsung загоняет своих сотрудников: после введения шестидневки компания переводит их на 64-часовую рабочую неделю Samsung Display, дочерняя компания южнокорейского гиганта, производящая экраны, рассматривает возможность введения 64-часовой рабочей недели для некоторых своих команд. Как пишет DigiTimes, Samsung сталкивается с растущей конкуренцией со стороны конкурентов в своем OLED...

Представлен жёсткий диск Seagate Exos емкостью 30 ТБ с технологией Mozaic 3+. На подходе модели 50 ТБ+ Seagate представители новый жесткий диск Exos емкостью 30 ТБ, использующий собственную технологию Mozaic 3+. Exos 30 TB — это устройство корпоративного уровня, Ключ к такой высокой плотности лежит в нескольких технологических достижениях. Mozaic 3+ заменяет традиц...

[recovery mode] Знакомство с IPv6 на практике В 2023 году люди боятся многих новых для них вещей, например, systemd, SELinux, IPv6 и др. От этих вещей люди стараются избавиться, отключить, удалить. Об этом написано во множестве любительских мануалов в интернете, коим может являться и этот. Далее речь пойдёт о протоколе ...

Samsung представила NAND-память 9-го поколения Сегодня компания Samsung официально объявила о запуске массового производства новых чипов памяти NAND 9-го поколения. Главное преимущество этого решения в том, что новые чипы памяти имеют на 50% большую плотность, чем чипы памяти 8-го поколения. Кроме того, чипы памяти 9-го ...

Профессиональный Входящий Телемаркетинг для Вашего Бизнеса Входящий телемаркетинг - это вид маркетинга, при котором компания осуществляет прием входящих звонков от потенциальных или существующих клиентов. Основной целью входящего телемаркетинга является обеспечение высококачественного обслуживания клиентов, ответы на их вопросы, реш...

XMPP vs WebSockets: что использовать для приложения чата Если вы планируете разработать приложение для коммуникации в реальном времени, например чат, следует тщательно выбирать технологии. В этой статье Анастасия Иванова, технический писатель платформы МТС Exolve (входит в экосистему МТС), сравнивает два популярных инструмента — п...

Возвращение частного облака и интерес к инфраструктуре «реального времени»: что с последними трендами Начиная с середины 2010-х эксперты пророчили «смерть» частному облаку — то есть облачной среде, созданной и используемой одной компанией, в отличие от общей инфраструктуры, доступной в публичных облаках. Большая часть интереса к экосистеме облачных вычислений была сосредоточ...

В Microsoft Edge появилась функция ограничения оперативной памяти Если вы жаловались на большое потребление оперативной памяти браузером Microsoft Edge, у нас для вас есть отличные новости: выходит новая функция, которая позволит вам контролировать объем используемой браузером памяти.

Как устроен GIL (Global Interpreter Lock) в Python: влияние на многозадачность и производительность Привет, уважаемые читатели!GIL, или Global Interpreter Lock десятилетиями оставался темой обсуждения и дебатов среди питонистов.Что такое GIL? GIL, сокращение от Global Interpreter Lock, представляет собой важную концепцию в Python. Он представляет собой мьютекс, который бло...

Гигантские ИИ-модели и самые производительные чипы: Nvidia выпустила мощный GPU B200 со скромным потреблением энергии Корпорация Nvidia продолжает развивать направление производства чипов для ИИ-отрасли. Сейчас руководитель американской компании заявил о выпуске самого мощного ИИ-чипа в мире. Кроме того, готовы и некоторые модульные системы, базирующиеся на основе GPU B200, так называется н...

Instreamatic и Intel совершают революцию в аудиорекламе с помощью ИИ Недавно проведенное исследование показывает, что персонализированная аудиореклама, созданная с помощью искусственного интеллекта, значительно повышает узнаваемость бренда и вовлеченность. Наступает новая эра в маркетинге.

Механизм соавторства в MS Office 2010 + SharePoint 2010: протоколы и пакеты Механизм соавторства появился с выходом MS Office 2010 и SharePoint 2010. Появившуюся функциональность многие называют как «давно ожидаемую», действительно, приуменьшать удобство её использования смысла нет. Но в данной статье речь пойдет о том, как этот механизм функциониру...

Apple не смогла создать собственный 5G-модем Некоторое время назад западные инсайдеры сообщали, что компания Apple работает над собственными чипами сотовой связи 5G, чтобы уменьшить зависимость от компании Qualcomm. Однако новая информация гласит о том, что Apple, вероятно, очень далека от достижения своих целей, поско...

Первый взгляд на Termit 2.0 — российскую систему терминального доступа Хабр, привет! Меня зовут Алексей Ватутин, я руководитель практики инфраструктуры рабочих мест в компании К2Тех. Мы с командой давно изучаем рынок корпоративного ПО, но с тех пор, как российские разработчики пустились догонять и обгонять зарубежных, мониторить новинки стало в...

HypEx и мэтчинг. Эксперимент без A/B-тестирования? Привет, Хабр! Меня зовут Дмитрий Тихомиров, я работаю в блоке «Финансы» в команде разработки HypEx (Hypotheses and Experiments) — open source-библиотеки для Python. Наша команда хотела придумать ёмкое название для фреймворка, чтобы оно отражало суть происходящего и помогало ...

В Microsoft Edge появилась функция ограничения потребления оперативной памяти На текущий момент данная опция доступна лишь пользователям тестовой версии Edge Canary.

Больше космического туризма: Space Perspective предлагает стратосферные полёты в капсуле Space Perspective — американская компания, основанная в 2019 году. Она занимается разработкой и проведением коммерческих воздушных полётов в стратосферу Земли. Её основали экс-участники проекта Biosphere 2 Табер МакКаллум и Джейн Пойнтер. Space Perspective также ведёт сотруд...

«Кодиеум» — новая отечественная разработка для криптографии будущего Российская компания «Криптонит» представила на «РусКрипто’2024» криптографический механизм «Кодиеум». Он устойчив ко всем известным атакам и останется стойким даже в случае появления мощного квантового компьютера. Читать далее

Параллельное выполнение в R Привет, Хабр!Параллельные вычисления – подход к проектированию и выполнению программ, который позволяет ускорить обработку данных и вычисления, используя множество процессоров или ядер процессора одновременно. В ЯП R паралельное выполнение также имеет свои варианты реализаци...

Серверные в США стали переходить на питание углём Бурно развивающаяся в Вирджинии индустрия центров обработки данных, отвечающая за обработку почти 70% цифрового трафика, столкнулась с серьезным препятствием: электроэнергией. Огромные потребности в энергии грозят перегрузить электросеть, что вынуждает обратиться к спорному ...

Climate Survey — оценка психологического климата Понимание психологического климата в коллективе позволяет руководству и HR-специалистам не только выявить скрытые проблемы и конфликты, но и оценить уровень удовлетворенности работой, мотивацию и вовлеченность каждого сотрудника. Это, в свою очередь, дает возможность своевре...

Мечтают ли компьютеры строить дома? или Как заставить нейросети определять ремонт в квартирах и улучшать объявления Как для большинства выглядит процесс постройки дома? Котлован, песок, цемент, какие-то блоки, снующие люди и техника, шум, пыль на пару лет и вот, дом готов. На самом деле всё давно не так. Точнее, так, но это, как говорится, frontend. Но строительство уже давно процесс не ф...

Kerberos простыми словами Несмотря на то, что уже существует множество различных статей про Kerberos, я всё‑таки решил написать ещё одну. Прежде всего эта статья написана для меня лично: я захотел обобщить знания, полученные в ходе изучения других статей, документации, а...

Это реально? Что должен уметь джуниор системный аналитик по профессиональному стандарту Минтруда России Нам оставили немало комментариев к статьям по подготовке к собеседованию системного аналитика (СА) о том, что примеры со сложными вопросами по SQL, REST и диаграммам — избыточны. И что СА не обязан знать, как написать код обработки запроса на Python, И даже СУБД — тоже не сф...

NVIDIA готовит релиз видеокарт на 3 нм уже в 2024 году Можно с уверенностью сказать, что на текущий момент компания NVIDIA является ведущим производителем графических ускорителей, используемых для технологий на базе искусственного интеллекта. И останавливаться на достигнутом производитель не собирается, так как уже в следующем г...

МТТ и Домклик защитили номера пользователей Решение, реализованное на облачной коммуникационной платформе МТС Exolve, позволило повысить уровень защиты конфиденциальности личных данных пользователей Домклик.

Ограничения в телеграм-бот (Bot API), о которых никто не расскажет Привет! Меня зовут Оля, я программист учебного центра компании «Тензор».В декабре 23-го мне поступила творческая задача разработать телеграм-бот для проведения новогоднего марафона-тренинга по личностному росту.В этой статье расскажу о проблеме, с которой столкнулась при раз...

Потерянный контакт с агрессией, гештальт и IT-шники Меня зовут Антон. Я гештальт-терапевт и руководитель отдела тестирования. В основе моей терапевтической практики лежит работа с IT-специалистами. В данной статье я постараюсь ёмко описать свой опыт работы с клиентами, которые потеряли контакт со своими активными, агрессивным...

«Магнит»: польза от знаний о покупателях Василий Мальцев, руководитель управления по клиентской аналитике сети «Магнит», – о разработке собственной платформы для таргетинга рекламы, основанной на данных о своих клиентах и помогающей в монетизации этих знаний.

Сайга-Мистраль — третья русская нейросеть после YaGPT и GigaChat, публично доступная по API Я уже недавно писал на Хабре, что понемногу пилю свой сервис VseGPT с доступом по OpenAI API и чатом к различным нейросетям - ChatGPT, Claude, LLama и пр. (Коротко: потому что вендорлок - зло, разнообразие и опенсорс - добро)Большая часть работы - это, конечно, роутинг запро...

Доступ к экрану смартфона через WhatsApp оказался удобным для мошенников Руководитель команды разработки супераппа Gem Space Ваге Закарян предупредил об опасности для пользователей одной из функций мессенджера WhatsApp.

[Перевод] Разработка SQL Expert Bot: подробный гайд по использованию Vercel AI SDK и API OpenAI OpenAI заложила фундамент для революции в сфере искусственного интеллекта с появлением ChatGPT, открывая новую эру в области AI, которую активно используют как отдельные люди, так и бизнес‑сообщества. OpenAI даже предоставила API для разработки ...

[Перевод] SQLx: raw SQL в Rust Когда речь заходит об использовании SQL, экосистеме Rust есть что нам предложить: к счастью, нам доступны несколько отличных готовых к использованию решений. SQLx — это чисто асинхронный, независящий от рантайма SQL-крейт, позволяющий использовать проверяемые во время компил...

Удаленный доступ с помощью Континент TLS По статистике Positive Technologies за 2020 год в 100% компаний выявлены нарушения регламентов информационной безопасности. Среди всех нарушений в 64% компаний используются незащищенные протоколы. Незащищенный протокол означает, что данные передаются без шифрования и не...

Провайдер «Ярнет» рассказал, что такое ТСПУ, разработанное Роскомнадзором Глава Роскомнадзора объявил, что с августа практически все сетевые узлы в России оснащаются блоками сортировки и обработки трафика

Управление загрузкой с помощью PostgreSQL и pg_headerkit Привет, Хабр!Supabase – это крутой open-source аналог Firebase, с его помощью можно организовать крутые штуки вроде ограничения скорости запросов.Supabase – это инструмент, который дает возможность создавать масштабируемые серверные решения, используя PostgreSQL. С его помощ...

Виртуальная инфраструктура и облачные сети: как создать единую систему в разных зонах доступности Поскольку все больше корпоративных рабочих нагрузок переносится в облако, компании ищут способ связать облака и распределенные офисы.Задача состоит в том, чтобы безопасно и с минимальной задержкой перемещать данные между частной сетью и облачной инфраструктурой. Сегодня...

Миграция Big Data на практике: как мы готовили напильники Всем привет, меня зовут Алексей Марьин, я IT-лидер стрима «Озеро данных» в ВТБ. До 2019 года мы активно и вполне успешно использовали для анализа и обработки больших данных продукт Oracle Big Data Appliance с Cloudera Hadoop Distribution внутри. И всё было хорошо, пока Oracl...

Революция в цифровой инфраструктуре: контейнерные центры обработки данных (КЦОД) Приветствую всех! Я Геннадий Гужов, студент Высшей школы экономики и продакт-менеджер в компании "Солдвиг", специализирующейся на контейнерных дата-центрах. В этой статье я расскажу о контейнерных дата-центрах: что они из себя представляют, из чего состоят и какие преимущест...

SberBox 2. Что под капотом? Салют, хабр! Сегодня стартовали продажи SberBox 2 — обновленной ТВ-приставки от SberDevices. В SberBox 2 мы учли отзывы пользователей и реализовали ряд улучшений, которые делают его еще более удобным и стабильным. Так, например, за стабильное соединение теперь отвечает разъе...

Создана нейросеть, переделывающая мемы самым неожиданным образом. От этого они становятся в разы смешнее! На основе ChatGPT создали нейросеть Luma, предназначенную для обработки популярных мемов.

Pixel 8 Pro с треском проиграл iPhone 15 Pro Max в сравнении скорости работы, не удержав в памяти пару приложений Авторы канала PhoneBuff провели сравнение быстродействия iPhone 15 Pro Max и Pixel 8 Pro. Как всегда, с применением роботизированного манипулятора.  Различные бенчмарки показывают, что SoC Tensor G3 в новом флагмане Google далека по производительности от флагманск...

Parasolid inside: новые форматы и другие доработки C3D Converter Александр Спиваков, руководитель команды разработки C3D Converter, C3D Labs, описывает роль конвертера в качестве части C3D Toolkit, представляет сценарии использования C3D Converter — миграция и MultiCAD — в пользовательских приложениях, знакомит с доработками реш...

В каршеринге BelkaCar появились «Умные путешествия» Команда BelkaCar сообщила об удобном нововведении в фирменном каршеринге. С приходом летнего сезона в сервисе запустили спецпроект «Умные путешествия», в рамках которого пользователи смогут воспользоваться маршрутами, специально подготовлеными командой Belka...

В Microsoft Edge Beta 125 появилась функция ограничения потребления ОЗУ В Microsoft Edge 125 (канал Beta) появилась новая настройка, позволяющая определить, какой объём оперативной памяти сможет использовать веб-браузер в играх или на постоянной основе. Найти новую настройку можно в разделе «Параметры» -> «Система и производительность» ->...

Мой опыт в Airflow: как повысить стабильность загрузки данных в 5 раз Когда я пришла на проект, в нём уже было много всего: много данных, много источников, много задач в Airflow. Чтобы ощутить масштаб, достаточно, пожалуй, взглянуть на одну картинку. Читать далее

Делаю игрулю на Playdate на чистом C. Глава 3 Глава 1Глава 2Я пишу игру на игровую консоль Playdate на чистом C. Игра в жанре "выживальщик" наподобие Vampire Survivors. Так как в чистом C отсутствуют многие современные объектно-ориентированные удобства мне приходится по-всякому изворачиваться чтобы адаптировать свои иде...

[Перевод] Реверс-инжиниринг сигнала автомобильного брелка Я уже пару лет как изучаю протоколы радиосвязи. Началось это с момента, когда я из любопытства решил поэкспериментировать с USB-донглом RTL-SDR. Мне всегда хотелось понять, как передаются данные в пультах дистанционного управления (в частности, автомобильных брелках), попро...

Что ждёт мобильную разработку в 2024 году Привет! Меня зовут Таня Шашлова, я руковожу образовательными продуктами по мобильной разработке в Практикуме. Чтобы обучать людей профессии и помогать им найти работу, нам важно понимать, как меняется рынок, поэтому мы с командой держим руку на пульсе — общаемся с разра...

Высокоточное измерение ЭКГ. Часть 2 В данной статье изложу свою концепцию регистрации и обработки сигналов ЭКГ в носимых устройств для  решения задач обнаружения  опасных состояний сердечно-сосудистой системы человека.   Далее рассмотрю кратко реальную точность измерения ЭКГ и свой вариант ее по...

Как мы Kafka с NestJS microservices подружить пытались Привет, меня зовут Валентин, я NodeJS-разработчик в Сравни. Моя команда делает Profile Service — внутренний продукт, который отвечает за быстрое получение и запись личных данных пользователей для экосистемы Сравни. Мы взаимодействуем с 20+ продуктовыми командами, которые даю...

В Windows 11 появится функция Super Resolution на базе ИИ На прошлой неделе Microsoft выпустила новую инсайдерскую сборку Windows 11 под номером 26052 для каналов Dev и Canary, которая включает в себя несколько скрытых неанонсированных функций. Одним из таких нововведений является ИИ-функция «Super Resolution», знакомая владельцам...

Как настроить сбор статистики и автоматическое отключение пользователей WireGuard в ispmanager с помощью Python и API Привет! Меня зовут Вячеслав, и я руководитель отдела маркетинга. Я поднял VPN-туннель по подписке на базе ispmanager. Однако мне этого было мало: нужно было, чтобы по окончании подписки туннель автоматически отключался и статистика по каждому пользователю собиралась ежедневн...

Компания NVIDIA сталкивается с обвинениями в картельном сговоре Компанию NVIDIA обвинили в картельном сговоре с GPU и контроле поставок на рынке центров обработки данных

Защищаем сервис от перегрузки с помощью HAProxy Если вам доводилось использовать HAProxy для балансировки трафика, вы наверняка как минимум слышали, что этот продукт умеет отслеживать показатели активности сервиса и пользователей и реагировать на них по предопределённым условиям. Обычно в статьях на эту тему приводится пр...

Законопослушный гражданин. Инструкция по отказу от VPN Не так давно государственные структуры озаботились проблемой VPN. Сегодня VPN-протоколы блокируются на уровне провайдеров, но пользоваться ими нам как потребителям пока что можно. Однако ситуация меняется стремительно, и в новостях уже проскакивают слухи о блокировке доступ...

Мы так и не смогли защитить свою модель машинного обучения от состязательных атак. Пока Наша команда разработчиков Исследовательского центра доверенного искусственного интеллекта ИСП РАН первые два года занималась построением сетевой системы обнаружения вторжений, основанной на применении методов машинного обучения. А в последний год мы сменили щит на меч и нач...

[Перевод] Мега-Учебник Flask Глава 7: Обработка ошибок (издание 2024) Это седьмая часть серии мега-учебника Flask, в которой я собираюсь рассказать вам, как выполнять обработку ошибок в приложении Flask. Начать изучение

Как принимать платежи в Telegram | Оплата без всяких токенов и асинхронная обработка платежа Как принимать платежи на своем сайте или в telegram используя библиотеку yoomoney-api. Читать далее

Раскрывая потенциал GenICam и Harvester в системах компьютерного зрения Опыт работы с крупнейшими производственными площадками позволяет сказать, что на сегодняшний день целый ряд производств считает современные цифровые технологии и, в частности технологии искусственного интеллекта, неотъемлемой частью производства. В ряде компаний создана экос...

End-of-Life: как понять, пора ли закрывать продукт, основываясь на данных Привет! Меня зовут Ульяна Баисламова. Я старший продуктовый аналитик в команде B2b и оффлайн-опыта в СберМаркете.Закрытие продукта (End-Of-Life, EoL) — естественная часть жизненного цикла сервиса или проекта, которая не обязательно связана с его несостоятельностью. В предыду...

Чтобы запустить обмен знаниями в командах, надо всего лишь… Привет, Хабр! Меня зовут Лера Чеканова, я руководитель CROC Univer. Расскажу, о том, как у нас в КРОК устроен обмен знаниями и опытом. Поделюсь, зачем нужен этот процесс, как его внедрить быстро, несложно и в разных форматах. В КРОК я руковожу корпоративным университетом и о...

Apple на протяжении 12 лет комплектует базовые версии Mac 8 гигабайтами оперативной памяти Подвергаясь за это справедливой критике со стороны экспертов и пользователей

Обновление статистик таблиц PostgreSQL обычным пользователем Обычно, обновлением статистик таблиц PostgreSQL занимается демон AUTOVACUUM. Однако, после кардинальных изменений в таблице, к которой сразу же требуется обращаться в последующих запросах к БД, рекомендуется явно обновить статистики этой таблицы явным запуском ANALYZE <им...

Будьте в курсе развития RISC-V: обсуждаем обновления в разработке и изучаем бенчмарки серверов на открытой архитектуре Если вы интересуетесь развитием открытой архитектуры или занимаетесь разработкой систем под нее, не пропустите бесплатный митап российского Альянса RISC-V. Он объединяет независимых разработчиков вычислительной техники и программного обеспечения на основе свободной архитекту...

GigaChat и русский жестовый язык Всем привет! Меня зовут Капитанов Александр, я отвечаю за направление компьютерного зрения в SberDevices. В этой статье я расскажу о том, как моя команда Vision RnD разработала серию моделей SignFlow, обеспечивающих перевод с жестового языка на русский и американский английс...

«Сбер» и «Автоваз» будут развивать автомобильную экосистему Lada «Сбер» и «Автоваз» заключили соглашение о сотрудничестве для создания высокотехнологичной экосистемы автомобилей Lada в Самарской области. Подписание соглашения состоялось на заводе «Автоваз» в присутствии высших руководителей обеих компаний и губернатора области.

[Перевод] Minetester: полностью открытое окружение для обучения с подкреплением, построенное на основе Minetest В последние несколько месяцев наблюдаются значительные успехи в разработке языковых моделей, особенно — в сфере частного бизнеса. В прошлом году вышло несколько подобных проектов, основанных на Minecraft. В частности — речь идёт о ...

TSMC анонсировала 1,6-нм техпроцесс для чипов Эта технология обещает произвести революцию в области высокопроизводительных вычислений (HPC) и приложений для центров обработки данных, значительно повысив плотность и производительность чипов.

Современный С++ в разработке девайсов Привет, Хабр.Меня зовут Андрей Белобров. Я тимлид одной из команд, разрабатывающих приложения для умных девайсов Сбера.На прошедшей недавно конференции Салют, OS DevConf! я выступил с докладом, в котором рассказал, как мы с командой разрабатываем приложения на С++ для умных ...

Microsoft хочет отключить аутентификацию NTLM в Windows 11 Различные версии Windows используют Kerberos в качестве основного протокола аутентификации уже более 20 лет. Однако в определенных обстоятельствах ОС приходится использовать другой метод — NTLM (NT LAN Manager). Сегодня Microsoft объявила, что расширяет использование Kerbero...

PIC32MZ и Быстрое Преобразование Фурье PIC32MZ и Быстрое Преобразование ФурьеМикроконтроллер от компании Microchip далеко не новый. Но пока нам дружественный Китай увы и ах, и такого (415 MIPS на частоте 252 MHz ядра) предложить не может. Ведущие производители микроконтроллеров в Китае - Artery, Nation Semiconduc...

Автоматическая Генерация Конфигураций для Make Сборок При разработке программного обеспечения придется столкнуться с тем, что надо как-то передавать конфигурации для данного проекта. Проблема в том, что конфигов становится так много, что можно нечаянно забыть какой-то важный конфиг. В этом тексте представлен механизм автоматиче...

Как не облажаться при выборе российского NGFW Исследование российского рынка NGFW показало, что только 16% опрошенных довольны установленными российскими межсетевыми экранами. Наше общение с клиентами это подтверждает. При этом ошибка при выборе межсетевого экрана нового поколения может стать фатальной, так как именно N...

Microsoft собирается использовать ядерную энергию для ИИ Ядерная энергия — это лучший по мнению руководства компании способ получать энергию для работы центров обработки данных Microsoft и проектов искусственного интеллекта. Читать полную статью

Моноблок Colorful G-One Plus оценен в 830 долларов Компания Colorful пополнила ассортимент моноблоков моделью Colorful G-One Plus, которая может похвастаться стильным дизайном и довольно производительной начинкой. Точнее, речь о новой модификации данного моноблока, который теперь основан на аппаратной платформе AMD. Новинку ...

Новый релиз Ubuntu Touch: Linux-смартфоны везде и всюду. Что обновилось в OTA-3? Как мы уже писали, сейчас Ubuntu Touch продолжает развиваться. Этим занимается команда Ubports. Сейчас представлена прошивка OTA-3 Focal (over-the-air). Она представляет собой третий выпуск Ubuntu Touch, который базируется на пакетной базе Ubuntu 20.04.Обновление ф...

Согласно прогнозам, повсеместное внедрение ИИ вызовет резкий рост спроса на природный газ Поскольку ИИ требует больше энергии для центров обработки данных, потребление природного газа резко возрастает. Какие экологические дебаты ведутся при обсуждении будущего энергетики.

Бесшовный апгрейд ПО для системы хранения данных: как организовать и улучшить Любое программное обеспечение необходимо обновлять — ПО для систем хранения данных (СХД) не исключение. Логика апгрейда в СХД не тривиальна. В системе есть несколько контроллеров хранения, обновлять которые нужно последовательно, учитывая все возможные риски — потерю отказоу...

Одно, чтоб править всеми: как мы сделали хаб для сопровождения СУБД Работа в СУБД — это множество разноплановых задач: создание новых продуктов, плановые обновления, работа с инцидентами. По мере цифровизации компании количество таких задач растёт, очередь запросов наполняется. Всё больше времени уходит не на решения, а на подготовку — сбор ...

В России представлен Infinix Zero 30. Покупатели получают в подарок второй смартфон Infinix запускает в России Zero 30 (4G) Infinix запускает в России смартфон Zero 30 (4G). На старте продаж Zero 30 (4G) станет эксклюзивным предложением от МТС и будет доступен для покупки с 8 ноября 2023 года. Покупателей ждет специальное пакетное предложение: кроме са...

AMD обновила серию графических ускорителей Radeon Instinct MI Компания AMD обновляет серию Radeon Instinct MI, представляя модели MI325X и MI350X для центров обработки данных. MI325X обладает 288 ГБ памяти HBM3e, скоростью до 6,0 ТБ/с и использует комбинацию 5-нм и 6-нм узлов. MI350X, запланированный к выпуску в 2025 году, будет иметь ...

Создать опрос Эффективные опросы – это не просто инструмент сбора мнений или предпочтений; это мощный механизм аналитики, позволяющий глубже понять потребности аудитории, предугадать тренды и оптимизировать продукты и услуги для удовлетворения запросов рынка. От HR-отделов, которым необхо...

Исследование: лишь 7,9% российских компаний используют ИИ для обработки данных Большинство по-прежнему полагается на традиционные методы.

NVIDIA планирует ежегодно внедрять новые архитектуры в сегменте центров обработки данных Компания переходит на One-Year Rhythm.

Число пользователей нейросети Сбера Kandinsky и чат-бота GigaChat достигло 18 млн Команда СберБанка поделилась хорошими новостями о развитии фирменных генеративных нейросетей. Как сообщила пресс-служба, совокупное количество пользователей GigaChat и Kandinsky с момента релиза достигло 18 миллионов. Сбер запустил GigаСhat весной 2023 года, а в сентяб...

Угрозы информационной безопасности конвейера разработки ПО и их моделирование Злоумышленники всё чаще атакуют цепочки поставок ПО, чтобы получить доступ к исходным кодам, процессам сборки или механизмам обновления ПО. Но сложно напрямую атаковать инфраструктуры компаний, которые серьёзно относятся к своей кибербезопасности. В ...

Восстанавливаем старые авто — спасаем машину от гибели, а себя от рутины Всем привет!Рады анонсировать начало нашего большого спецпроекта «SM Lab в лицах» о людях, которые работают в SM Lab. Мы хотим показать их не только как высококлассных профессионалов в IT, но и как творческих, интересных личностей, которые умело совмещают работу с разнообраз...

“Ну и долго мне ещё до магазина?” Или пара слов о геоинформационном анализе с помощью Python Привет, хабр! Сегодня мы хотели бы продолжить тему обработки пространственных данных средствами Python библиотеки estaty. Мы уже рассказывали о том как можно Объединять открытые данные Open Street Map и Landsat для уточнения площадей зеленых зон вокруг объектов недвижимости....

AMD и BlackBerry стали партнёрами. Компании будут продвигать роботизированные системы следующего поколения Компании AMD и BlackBerry объявили о заключении партнёрства.   В своём пресс-релизе он объявили об объединении усилий по продвижению роботизированных систем следующего поколения. В документе сказано, что новые платформы реального времени на базе системы AMD Kria K...

Реверс-инжиниринг механизмов биологической памяти Память является ключевым элементом в функционировании нашего мозга, обладая множеством разновидностей, каждая из которых играет свою особую роль. Существуют декларативная, эмоциональная, сенсорная, временная и долговременная память, и это лишь начало списка. Но давайте ...

QA под капотом. Тестируем и настраиваем 1С-Битрикс Привет, Хабр! Меня зовут Анастасия, я QA-специалист SimbirSoft и работаю на проектах с 1С-Битрикс. Не единожды я могла наблюдать, насколько эффективно бывает допустить QA-команду внутрь CMS, чтобы достичь бизнес-целей клиента. И на примере нескольких кейсов из разных проекто...

«Чем больше вы ездите, тем лучше». Huawei выпустила систему умного вождения, которой не нужны спутниковые карты, для Avatr 11 Avatr официально объявила сегодня, что она внедрит в Avatr 11 при помощи обновлению функции интеллектуального вождения и помощи в навигации, которые не полагаются на спутниковые карты. 4 февраля была полностью запущена новая система умного вождения NCA для городских тер...

Nvidia представила программную платформу NIM для для оперативного развертывания AI-моделей На конференции GTC Nvidia анонсировала новую программную платформу Nvidia NIM, предназначенную для оптимизации развёртывания пользовательских и предварительно обученных моделей искусственного интеллекта в производственных средах. Источник: Nvidia Как правило, на р...

Стек протоколов BLE 5 -физический уровень Физический уровень - это нижний уровень стека протоколов BLE, который определяет основные радиочастотные параметры связи BLE, включая частоту сигнала, схему модуляции и т.д.Рабочая частота BLE составляет 2,4 ГГц. Он использует частотную модуляцию GFSK и использует механизм с...

Security Week 2419: уязвимость в Android-приложениях при обмене файлами 1 мая исследователи из компании Microsoft рассказали об уязвимости в ряде приложений для платформы Android. Эта уязвимость в некоторых случаях позволяет выполнять произвольный код и полностью контролировать легитимное приложение. В публикации подробно описан интересный спосо...

Пользователи 3D-принтеров Anycubic сообщают о массовом взломе На днях кто-то устроил атаку на 3D-принтеры производства компании Anycubic, взломав сетевой протокол MQTT. Загруженный хакером файл гласит, что сделано это без злого умысла — с намерением продемонстрировать уязвимость сетевой службы и таким образом предупредить пользователей...

Как мы выстроили эффективный онбординг для команды системных аналитиков, чтобы вырасти в 10 раз Пару лет назад в отделе, ответственном за развитие корпоративного хранилища данных «Магнита», работало 5 системных аналитиков: они полностью закрывали весь набор задач, которые перед ними стояли. Но в 2021 году случился резкий рост: данные стали использоваться не несколькими...

Amazon превращается в лидера индустрии робототехники: число роботов увеличилось более чем вдвое за три года Компания Amazon значительно увеличила количество роботов, которые работают в центрах по обработке заказов, и теперь претендует на звание крупнейшего производителя промышленных роботов в мире. Согласно отчету Business Insider, количество роботов выросло с 350 000 в 2021 ...

Примеры вопросов для пульс опроса сотрудников Пульс опросы — это краткие, регулярные опросы, направленные на быстрое получение обратной связи от сотрудников по различным аспектам их работы и удовлетворенности. В отличие от традиционных годовых опросов, пульс опросы позволяют оперативно реагировать на возникающие проблем...

Samsung Galaxy Ring не будет поддерживать iPhone Сегодня в рамках презентации на мероприятии MWC 2024 с вице-президентом Samsung Хон Паком официально сообщил, что будущее устройство под названием Galaxy Ring не будет поддерживаться iPhone — и это довольно смелый шаг от Samsung, потому что в данном случае умное устройство б...

Как я повысил производительность flutter приложения с помощью FragmentShader. Часть 2 В предыдущей части мы разобрали, как оптимизировать процесс рисования пальцем за счет снижения количества перестроений виджетов.В этой части разберем, какие решения можно использовать для оптимизации данного кейса. Читать далее

Как реализовать обрезку изображений во flutter без сторонних библиотек Сегодня рассмотрим, как с помощью небольших знаний в математике и встроенных инструментов flutter реализовать функционал редактирования изображений. Сначала рассмотрим существующие библиотеки, которые предоставляют нужный функционал, а потом реализуем собственное решение, ис...

«Айкумен ИБС»: инвестиции в стиле data-driven Тимур Меджидов, руководитель департамента управления проектами «Айкумен ИБС», – об основанном на данных подходе к выявлению новых рынков и перспективных технологий с помощью платформы TeqViser.

О методах позиционного кодирования в Transformer Обзор методов кодирования позиций токенов в нейросетевых моделях Transformer с упором на обработку длинных текстов. Для тех, кто учит и использует LLM, и для всех интересующихся. Читать далее

Вышел Firebird 5.0 11 января 2024 года, выпущен Firebird 5.0 — восьмой основной выпуск СУБД Firebird, разработка которого началась в мае 2021 года. В Firebird 5.0 команда разработчиков сосредоточила свои усилия на повышении производительности СУБД: параллельное выполнение backup, restore, swee...

Ученые вдохновились мозгом животных и создали беспилотники Исследователи из Делфтского технологического университета достигли прорыва в области беспилотных технологий, разработав беспилотник, который летает автономно с помощью нейроморфной обработки изображений, имитирующей работу мозга животных.

[Перевод] Проблема: Wi-Fi работает только во время дождя Вот что ответил отец на мой вопрос о проблеме с домашним подключением к интернету: «Wi-Fi работает, только когда идёт дождь». Давайте сделаем шаг назад, чтобы осознать смехотворность этой ситуации. В то время я был студентом колледжа (это произошло больше десяти лет назад...

Многопоточность JavaScript с SharedArrayBuffer и Atomics: основы JavaScript по традиции известен как однопоточный язык. Т.е код выполняется последовательно, и одновременное выполнение нескольких задач может быть проблематичным. Если код сталкивается с тяжелыми вычислительными задачами, это может привести к задержкам и замедлению интерфейс...

Протокол HTTP Текстовая версия видео по протоколу HTTP из обновленного курса по компьютерным сетям для начинающих.Рассматриваем основы работы HTTP, применяем HTTP на практике в терминале, используем Wireshark для анализа пакетов HTTP.  Читать далее

Исследование звука: удаление шумов Обработка звука - это процесс исследования динамической/статической звуковой дорожки при помощи применения определенного набора линейных и нелинейных алгоритмов с целью получения необходимой информации. Алгоритмы динамической обработки звука работают с потоковым аудио, ...

TECNO представит систему обработки изображений на основе ИИ и процессора собственной разработки на MWC 2024

Запускаем локальный ML-процесс в облаке с помощью DataSphere Jobs В сообществе ML-инженеров и дата-сайентистов популярны инструменты с быстрой обратной связью наподобие JupyterLab — они помогают легко и без лишних обвязок проверять гипотезы или создавать прототипы. Но довольно часто бывает, что при разработке ML-пайплайна, будь то инференс...

CSS и безопасность данных Различные компоненты фронтенда традиционно являются вотчиной веб разработчиков и дизайнеров и они не всегда задумываются о безопасности контента. В этой статье я предлагаю поговорить о безопасности CSS.Для начала вспомним, что такое кросссайтскриптинг (CSS).  XSS это ти...

«Мастерская устойчивого развития» создала видеокурс по устройству экомастерской Проект «Мастерская устойчивого развития» выпустил видеокурс для желающих узнать об осознанном потреблении и о том, как создать экомастерскую. Экорезиденция —  это творческая площадка в формате мастерской для обучения, продвижения и создания новых экологических проектов и ста...

Методы расшифровки трафика Добрый день, дорогие читатели Хабра!Мы команда специалистов из компании ПМ. Довольно часто к нам приходят заказы на анализ защищенности или тестирование на проникновение веб-ресурсов. Первоначальным этапом при проведении работ является разведка, которая включает в себя анали...

Taiga UI: итоги 2023 года Заканчиваются рабочие дни уходящего года, а значит, самое время подводить итоги наших трудов. За 2023 год у проекта Taiga UI появилось более пятидесяти релизов, больше двух тысяч вмерженных PR-ов и свыше пятисот закрытых issue.Taiga UI — это огромный Angular UI Kit...

Исследуем Скрытые Сокровища: Малоизвестные Библиотеки Python для Аналитики Данных Введение: Привет, Хабр! Сегодня мы исследуем мир менее известных, но чрезвычайно полезных библиотек Python, которые могут значительно обогатить ваш аналитический инструментарий.

Как на стоимость брендов влияет утечка информации? Любая компания, ориентированная на персоналистское взаимодействие с пользователем, так или иначе занимается сбором, обработкой и сохранением его персональных данных (ФИО, возраст, электронная почта, место проживания или пребывания, объемы приобретенных товаров и многое друго...

Как введение Security Buddy повысило на 25% киберграмотность пользователей Всем привет! Меня зовут Джамил Меджидов, и я лидирую внутреннее направление Security Awareness в МТС RED. Что бы вы сказали, если бы компании удалось снизить вероятность возникновения киберинцидентов на 70%? Мы постоянно работаем над тем, чтобы минимизировать хакерам векторы...

Уравнение с тремя неизвестными: как отлавливать баги в системах хранения данных Привет! Меня зовут Никита Гуцалов, я инженер в компании YADRO и занимаюсь разработкой ПО для системы хранения данных TATLIN.UNIFIED. Вообще с системами хранения данных (СХД) я работаю уже много лет и люблю эту тему, поскольку она постоянно бросает новые вызовы, заставляя реш...

Прокачиваем навыки в сфере ML — что изучать в 2024-м Бизнесу нужны технологии, способные обрабатывать огромные объемы данных, предоставлять релевантные рекомендации, оценивать финансовую надежность клиентов и обеспечивать эффективный поиск информации. Ключевым элементом для автоматизации рутинных задач и создании бизнес-решени...

Как перестать работать в выходные и наконец-то научиться делегировать: опыт одного тимлида Всем привет, меня зовут Иван Михеев, я Chief Technology Officer маркетплейса авторских туров YouTravel.me, где руковожу разработкой, поддержкой и всем, что связано с технической частью бизнеса. Сегодня я хочу вам рассказать о том как делегирование влияет на эффективность ком...

Детектирование атак на контейнеры с помощью eBPF Привет, Хабр!Меня зовут Илья Зимин, я аналитик-исследователь угроз в компании R-Vision. Сегодня в статье я расскажу о возможностях обнаружения атак на контейнеризированные приложения с помощью такого инструмента, как eBPF, на примере приемов, связанных с побегом из Docker-ко...

Как звонить родным и близким по всему миру бесплатно и без регистрации через Gem Space Gem Space – многофункциональное приложение (суперапп) от компании DevTeam-Group, предоставляющее возможности для безопасного общения между родными и близкими, коммуникаций по ведению бизнеса и развлечений. Сервис имеет встроенную блог-платформу с обширным каталогом каналов ...

SASE — 5 элементов будущего облачных вычислений Как обычно организована безопасность информационной инфраструктуры предприятия? В традиционной схеме все функции контроля доступа, аутентификации и фильтрации трафика сосредоточены в центре обработки данных, к которому удаленные пользователи и филиалы подключаются с помощь...

16% поисковых запросов каждый день — новые В одной из своих презентаций Google опубликовал интересную цифру. Оказывается, каждый день поисковый сайт обрабатывает 16% новых поисковых запросов, которые никогда не встречались ранее. Казалось бы, откуда они берутся, если все слова из словаря со всеми возможными опечатка...

[Перевод] Иммутабельность в механизме Durable Execution: проблемы и решение За последние годы мы наблюдаем всплеск разработки инструментов и платформ, обеспечивающих Durable Execution (устойчивое выполнение). Немного поясню его принцип. Компьютеры на сегодня достигли таких скоростей, что могут записывать результат каждой нетривиальной задачи в по...

Как менять подход к управлению с ростом команды и проекта Когда в команде больше семи человек, а руководитель продолжает ежедневно писать код и настраивать серверы — это настораживает. В большинстве ситуаций такой подход к управлению не идёт на пользу проекту. А ещё это выглядит как отсутствие доверия к сотрудникам, что тоже не оче...

Как написать ТЗ на разработку чат-бота или AI-ассистента  Привет, Хабр! Меня зовут Элина Тедеева, и я тимлид команды внедрения в команде Just AI. В идеальном мире разработка бота или голосового ассистента начинается с технического задания — именно оно должно определять все этапы: от идеи до реализации. О том, почему...

[Перевод] Common Table Expressions Common Table Expressions (CTE) или обобщенное табличное выражение, впервые появилось в версии SQL Server 2005, и это простой способ разбить сложный запрос T-SQL на несколько запросов, что придаёт больше гибкости и управляемости. CTE во многом очень похожи на представлен...

Зачем нужен проектный офис, если компания работает в продуктовом подходе? Привет! Это Оля Муттер, руководитель проектного офиса в СберМаркет Tech. Сегодня я хочу рассказать о проектном подходе в продуктовой разработке. Нужны ли проджекты, если в компании уже есть продакты? Как построить синергию между проектным офисом и продуктовой командой и каку...

Как мы в 2 раза ускорили решение MILP-проблем за счет ML Многие задачи, с которыми мы имеем дело при цифровизации производства (неважно какого), – это задачи оптимизации: оптимизация производственного расписания, оптимизация цепочек поставок и размещения объектов, оптимизационное планирование и прочее. Многие из них сводятся к про...

Быстрее, чем SSD: Samsung разработала быстрые карты памяти SD Express большой ёмкости. Что это за носитель? Различные компании ведут активную работу по созданию носителей информации нового поколения. Корпорация Samsung, например, занимается разработкой карт памяти стандарта SD Express. Это не концепт, а рабочий носитель, который уже проходит тестирование. Скорость считывания данны...