[Перевод] Кластеризуем лучше, чем «метод локтя»

[Перевод] Иерархическая кластеризация категориальных данных в R Перевод подготовлен для студентов курса «Прикладная аналитика на R». Это была моя первая попытка выполнить кластеризацию клиентов на основе реальных данных, и она дала мне ценный опыт. В Интернете есть множество статей о кластеризации с использованием численных переменны...

Книга «Прикладной анализ текстовых данных на Python» Технологии анализа текстовой информации стремительно меняются под влиянием машинного обучения. Нейронные сети из теоретических научных исследований перешли в реальную жизнь, и анализ текста активно интегрируется в программные решения. Нейронные сети способны решать самые сл...

Дискретная математика для WMS: кластеризация партий товаров на складе В статье рассказывается как при внедрении WMS-системы мы столкнулись с необходимостью решения нестандартной задачи кластеризации и какими алгоритмами мы ее решали. Расскажем, как мы применяли системный, научный подход к решению проблемы, с какими сложностями столкнулись и ...

[recovery mode] Кластеризация беспроводных точек доступа с использованием метода k-средних Визуализация и анализ данных в настоящее время широко применяется в телекоммуникационной отрасли. В частности, анализ в значительной степени зависит от использования геопространственных данных. Возможно, это связано с тем, что телекоммуникационные сети сами по себе географич...

[Из песочницы] Ограничения машинного обучения Привет, Хабр! Представляю вашему вниманию перевод статьи “The Limitations of Machine Learning“ автора Matthew Stewart. Большинство людей, читающих эту статью, вероятно, знакомы с машинным обучением и соответствующими алгоритмами, используемыми для классификации или прогнози...

Julia NLP. Обрабатываем тексты Анализ и обработка текстов на естественном языке является постоянно актуальной задачей, которая решалась, решается и будет решаться всеми доступными способами. На сегодня хотелось бы поговорить о средствах решения для решения этой задачи, именно, на языке Julia. Безусловно,...

Машинное обучение в инвестиционной компании: классифицируем обращения в техническую поддержку В теории использование машинного обучения (ML) помогает сократить участие человека в процессах и операциях, перераспределять ресурсы и уменьшить затраты. Насколько это работает в условиях конкретной компании и сферы деятельности? Как показывает наш опыт — работает. На опред...

[Перевод] Как LLVM оптимизирует функцию Оптимизирующий AOT-компилятор обычно структурирован так: фронтенд, преобразующий исходный код в промежуточное представление конвейер машинно-независимой оптимизации (IR): последовательность проходов, которые переписывают IR для устранения неэффективных участков и структур...

[Перевод] Что я узнал о машинном обучении, поработав в 12 стартапах Всем привет. Поработав в 12 стартапах в сфере машинного обучения, я сделал восемь полезных выводов о продуктах, данных и людях. Все стартапы были из разных сфер (финтех, биотехнологии, здравоохранение, технологии обучения) и на разных этапах: и на этапе pre-seed, и на этап...

Курс В этом курсе вас ждут Обработка естественных языков: извлечение именованных сущностей, построение онтологий предметных областей, кластеризация текстов — методы, позволяющие структурировать тексты. Компьютерное зрение: распознавание и классификация объектов....

Другой Github 2: машинное обучение, датасеты и Jupyter Notebooks Несмотря на то, что в интернете существует множество источников свободного программного обеспечения для машинного обучения, Github остается важным центром обмена информацией для всех типов инструментов с открытым исходным кодом, используемых в сообществе специалистов по ма...

Распознавание танков в видеопотоке методами машинного обучения (+2 видео на платформах Эльбрус и Байкал) В процессе своей деятельности мы ежедневно сталкиваемся с проблемой определения приоритетов развития. Учитывая высокую динамику развития IT индустрии, постоянно возрастающую востребованность со стороны бизнеса и государства к новым технологиям, каждый раз, определяя вектор ...

SmartMail Conf: первая конференция Почты Mail.ru по машинному обучению 23 марта в нашем офисе пройдет первая профессиональная конференция от разработчиков Почты Mail.ru — SmartMail Conf. Она будет посвящена использованию технологий машинного обучения в высоконагруженных сервисах. Машинное обучение — одно из приоритетных для нас направлений, и...

Книга «Машинное обучение: алгоритмы для бизнеса» Привет, Хаброжители! Маркос Лопез де Прадо делится тем, что обычно скрывают, — самыми прибыльными алгоритмами машинного обучения, которые он использовал на протяжении двух десятилетий, чтобы управлять большими пулами средств самых требовательных инвесторов. Машинное обучен...

Как проходят секции по машинному обучению на собеседованиях в Яндекс Каждый сервис компании Яндекс во многом основан на анализе данных и методах машинного обучения. Они требуются и для ранжирования результатов веб-поиска, и для поиска по картинкам, и для формирования рекомендательных блоков. Машинное обучение позволяет нам создавать беспилотн...

Технологии машинного обучения в разы ускоряют процесс адаптации пациентов к бионическим протезам Бионические протезы позволяют людям с ампутированными конечностями восстановить часть функций отсутствующей руки, ноги или пальцев. С течением времени бионика становится все совершеннее, соответственно, спектр возможностей протезов расширяется. Тем не менее, пациентам необ...

Обучение моделей TensorFlow с помощью Службы машинного обучения Azure Для глубокого обучения нейронных сетей (DNN) с помощью TensorFlow служба «Машинное обучение Azure» предоставляет пользовательский класс TensorFlow средства оценки Estimator. Средство оценки TensorFlow в пакете Azure SDK (не следует путать с классом tf.estimator.Estimator) по...

Книга «Классические задачи Computer Science на языке Python» Многие задачи в области Computer Science, которые на первый взгляд кажутся новыми или уникальными, на самом деле уходят корнями в классические алгоритмы, методы кодирования и принципы разработки. И устоявшиеся техники по-прежнему остаются лучшим способом решения таких задач...

Как ИИ помогает осваивать язык жестов Для любого человека язык жестов сложен для изучения. Дело в том, что используются не только жесты, но и мимика, а также артикуляция, плюс «язык тела». Значение передаваемой информации зависит от всех этих факторов. Существуют программы для изучения языка жестов, но многие ...

[Перевод] Глубокое погружение в Linux namespaces, часть 2 В предыдущей части мы только окунули пальцы ног в воды namespace и при этом увидели, как это было просто — запустить процесс в изолированном UTS namespace. В этом посте мы осветим User namespace. Среди прочих ресурсов, связанных с безопасностью, User namespaces изолирует ид...

«Яндекс» учредил научную премию имени Ильи Сегаловича Илья Сегалович (iseg) Компания «Яндекс» объявила об учреждении ежегодной научной премии для поддержки молодых исследователей и научного сообщества в России, Беларуси и Казахстане. Премия им. Сегаловича вручается студентам, аспирантам и научным руководителям за достижения ...

Машинное обучение без Python, Anaconda и прочих пресмыкающихся Нет, ну я, конечно, не всерьез. Должен же быть предел, до какой степени возможно упрощать предмет. Но для первых этапов, понимания базовых концепций и быстрого «въезжания» в тему, может быть, и допустимо. А как правильно поименовать данный материал (варианты: «Машинное обуче...

Книга «Машинное обучение и TensorFlow» Знакомство с машинным обучением и библиотекой TensorFlow похоже на первые уроки в автошколе, когда вы мучаетесь с параллельной парковкой, пытаетесь переключить передачу в нужный момент и не перепутать зеркала, лихорадочно вспоминая последовательность действий, в то время ка...

[Перевод] Обзор методов отбора признаков Правильный отбор признаков для анализа данных позволяет: повысить качество моделей машинного обучения с учителем и без,  уменьшить время обучения и снизить требуемые вычислительные мощности, а в случае входных данных высокой размерности позволяет ослабить «проклятие ра...

Нахождение объектов без учителя (Unsupervised Object Detection) Одна из важнейших задач в машинном обучении — детектирование объектов (Object Detection). Недавно был опубликован ряд алгоритмов машинного обучения основанных на глубоком обучении (Deep Learning) для детектирования объектов. Эти алгоритмы занимают одно из центральных мест ...

Хабрарейтинг: построение облака русскоязычных слов на примере заголовков Хабра Привет Хабр. В последней части Хабрарейтинга был опубликован метод построения облака слов для англоязычных терминов. Разумеется, задача парсинга русских слов является гораздо более сложной, но как подсказали в комментариях, для этого существуют готовые библиотеки. Разбере...

Почему ученым не следует полагаться на ИИ в вопросах научных открытий, по крайней мере, сейчас Мы живем в золотом веке научных данных, окружив себя огромными запасами генетической информации, медицинских изображений и данных об астрономических наблюдениях. Текущий возможности алгоритмов машинного обучения позволяют искусственному интеллекту максимально быстро и в то ...

[Перевод] RabbitMQ против Kafka: отказоустойчивость и высокая доступность В прошлой статье мы рассмотрели кластеризацию RabbitMQ для обеспечения отказоустойчивости и высокой доступности. Теперь глубоко покопаемся в Apache Kafka. Здесь единицей репликации является раздел (partition). У каждого топика один или несколько разделов. В каждом разделе...

Начало работы со службой «Машинное обучение Azure» с использованием пакета SDK для Python В рамках этой статьи будет использоваться пакет SDK для Машинного обучения Azure для Python 3 для создания и применения рабочей области Службы машинного обучения Azure. Эта рабочая область — основной блок в облаке для экспериментов, обучения и развертывания моделей машинного...

Решения на базе платформы Red Hat Enterprise Linux 8 представила Supermicro Компания Super Micro Computer, Inc. (SMCI), мировой лидер в сфере корпоративных решений для вычислений, хранения данных, сетевого взаимодействия и экологически безопасной обработки данных, представила решения для открытого частного облака на базе ведущей мировой ко...

[Перевод] Как мы подняли производительность Tensorflow Serving на 70% Tensorflow стал стандартной платформой для машинного обучения (ML), популярной как в индустрии, так и в научных исследованиях. Создано множество свободных библиотек, инструментов и фреймворков для обучения и обслуживания моделей ML. Проект Tensorflow Serving помогает обслужи...

Microsoft приобрела стартап Movere, специализирующийся на решениях для миграции в облако Microsoft приобрела стартап Movere, который помогает компаниям переносить и оптимизировать рабочие нагрузки в облачные решения. Компания существует уже 11 лет и ранее была известна под брендом Unified Logic. Согласно сообщению в блоге, Movere соответствует стратегии Microso...

Ох уж этот метод Ньютона О методах численной оптимизации написано много. Это и понятно, особенно на фоне тех успехов, которые в последнее время демонстрируют глубокие нейронные сети. И очень отрадно, что хотя бы часть энтузиастов интересуется не только тем, как забомбить свою нейросеточку на набравш...

[recovery mode] Сократить время вычислений от нескольких лет до минут. Разбираемся с квантовым машинным обучением Я давно интересуюсь квантовыми вычислениями и пишу программы для 5-ти и 14-кубитных квантовых компьютеров IBM Q Experience. Сегодня я расскажу о технологиях, которые можно будет применять в машинном обучении после того, как квантовые вычисления завоюют мир. Спойлер для дата ...

[Перевод] Learn OpenGL. Урок 7.1 – Отладка Графическое программирование — не только источник веселья, но еще и фрустрации, когда что-либо не отображается так, как задумывалось, или вообще на экране ничего нет. Видя, что большая часть того, что мы делаем, связана с манипулированием пикселями, может быть трудно выясни...

[Перевод] Извлечение данных при машинном обучении Хотите узнать о трех методах получения данных для своего следующего проекта по ML? Тогда читайте перевод статьи Rebecca Vickery, опубликованной в блоге Towards Data Science на сайте Medium! Она будет интересна начинающим специалистам. Получение качественных данных — это пе...

[Из песочницы] Способы сегментации точек в Point Clouds Введение Некоторое время назад мне потребовалось решить задачу сегментации точек в Point Cloud (облака точек — данные, полученные с лидаров). Пример данных и решаемой задачи: Поиски общего обзора существующих методов оказались неуспешными, поэтому пришлось собирать информац...

[Перевод] Мы не можем доверять ИИ-системам, построенным на одном лишь глубоком обучении Этот текст — не результат научного исследования, а одно из многих мнений относительно нашего ближайшего технологического развития. И заодно приглашение к дискуссии. Гари Маркус, профессор Нью-Йоркского университета, уверен, что глубокое обучение играет важную роль в разви...

[Из песочницы] Введение в машинное обучение 1.1 Введение Благодаря машинному обучению программист не обязан писать инструкции, учитывающие все возможные проблемы и содержащие все решения. Вместо этого в компьютер (или отдельную программу) закладывают алгоритм самостоятельного нахождения решений путём комплексного испо...

Машинное обучение vs. аналитический подход Какое-то время назад мы нашли свои старые материалы, по которым обучали первые потоки на наших курсах машинного обучения в Школе Данных и сравнили их с теперешними. Мы удивились, сколько всего мы добавили и поменяли за 5 лет обучения. Осознав, почему мы это сделали и как, ...

Оптимизация конструкции методами теории автоматического управления В предыдущей статье "Скрещивание ужа и ежа.." мы проверяли применимость методов настройки систем автоматического управления к «реальным» моделям. В это статье попробуем оптимизировать не систему управления, а сам «физический» объект. Для настройки регуляторов существует бол...

[Из песочницы] Машинное обучение в IT-мониторинге Введение Netcracker – это международная компания, разработчик комплексных IT-решений, включающих услуги по размещению и поддержке клиентского оборудования, а также хостингу созданной IT-системы для телеком-операторов. В основном это решения, связанные с организацией операц...

Тренды продуктовой аналитики нового времени О продуктовой аналитике на Хабре пишут не так часто, но публикации, причем хорошие, появляются с завидной регулярностью. Большинство статей о продуктовой аналитике появились за последние пару лет, и это логично — ведь продуктовая разработка становится все более важной как...

Встраивание машинного обучения в СУБД помогает добраться до истины, заключенной в данных Когда машинное обучение встраивается в СУБД, организации получают расширенные возможности курирования данных за счет автоматизации контроля качества, гармонизации, усвоения и обогащения данных помимо решения других задач, часто весьма ...

[recovery mode] Облачная электронная подпись в России и мире Добрый день, дорогой читатель! Я некоторое время активно следил за обновлениями и новостями программы «Цифровая экономика». С точки зрения внутреннего сотрудника системы ЕГАИС, конечно, процесс на десятилетия. И с точки зрения разработки, и с точки зрения тестирования, откат...

15 книг по машинному обучению для начинающих Сделал подборку книг по Machine Learning для тех, кто хочет разобраться, что да как. Добавляйте в закладки и делитесь с коллегами! Книги по машинному обучению на русском 1. «Математические основы машинного обучения и прогнозирования» Владимир Вьюгин. О чем Сначала изуч...

[Перевод] Создаем конвейер потоковой обработки данных. Часть 2 Всем привет. Делимся переводом заключительной части статьи, подготовленной специально для студентов курса «Data Engineer». С первой частью можно ознакомиться тут. Apache Beam и DataFlow для конвейеров реального времени Настройка Google Cloud Примечание: Для запуска конве...

[Перевод] Могут ли исследователи искусственного интеллекта доверить ему проверку своих работ? Исследователь машинного обучения из Вирджинского технологического института предложил способ рассмотрения научных работ с использованием ИИ, оценивающего внешний вид текста и графики в документе. Достаточно ли будет его методов оценки «законченности» научной работы для ускор...

[Из песочницы] Как я учил змейку играть в себя с помощью Q-Network Однажды, исследуя глубины интернета, я наткнулся на видео, где человек обучает змейку с помощью генетического алгоритма. И мне захотелось так же. Но просто взять все то же самое и написать на python было бы не интересно. И я решил использовать более современный подход для об...

[Перевод] Iodide: интерактивный научный редактор от Mozilla Изучение аттрактора Лоренца, а затем редактирование кода в Iodide В последние десять лет произошёл настоящий взрыв интереса к «научным вычислениям» и «науке о данных», то есть применению вычислительных методов для поиска ответов на вопросы, анализа данных в естественных и ...

Визуализация новостей рунета Представьте себе, что вы поспорили с друганом, что было раньше — курица или яйцо повышение какого-то налога, к примеру, или новости на эту тему, или вовсе важное событие заглушили тучей новостей про новую песню, скажем, Киркорова. Удобно было бы посчитать, сколько новостей...

Чат-бот на RASA: опыт Parallels В настоящее время бурно развивается индустрия чат-ботов. Сначала они были достаточно глупыми и могли вести диалог с пользователем, являясь ведущими и предлагая возможные ответы. Потом боты слегка поумнели и начали требовать от пользователя текстового ввода, чтобы из ответо...

В России будет разработана национальная стратегия развития искусственного интеллекта В частности, Правительству РФ в срок до 25 февраля 2019 года поручено с участием Сбербанка и других заинтересованных организаций разработать подходы к национальной стратегии развития искусственного интеллекта и представить соответствующие предложения.Ответственными за выполн...

Кластеризация запросов: группируем ключи автоматически с помощью Line Как быстро разбивать ключевые фразы на группы для продвижения в поисковиках.

«Ростелеком» и Mail.ru Group займутся цифровым образованием Соответствующее соглашение подписали первый вице-президент "Ростелекома" Владимир Кириенко и генеральный директор Mail.ru Group (Россия) Борис Добродеев.Стороны договорились, что доли в СП будут распределены между ними поровну.Основной сферой деятельности СП станет...

Как разработать структуру интернет-магазина на основе кластеризации и лемматизации семантики После подбора семантики для действующего интернет-магазина вас ожидает неприятное открытие: структура магазина скорее всего не позволит разместить все ключевые фразы. Придется или откладывать оптимизацию до лучших времен (когда затеете редизайн), или втискивать новые страни...

[Из песочницы] Машинное обучение для всех, кто изучал математику в восьмом классе Привет, Хабр! Представляю вашему вниманию перевод статьи "Machine Learning for Anyone Who Took Math in Eighth Grade" автора Kyle Gallatin. Я обычно замечаю, что искусственный интеллект объясняется одним из двух способов: через все более сенсационную призму различн...

[Перевод] DNS по HTTPS – половинчатое и неверное решение Всё время существования интернета открытость была одной из его определяющих характеристик, и большая часть сегодняшнего трафика всё ещё передаётся без какого бы то ни было шифрования. Большая часть запросов HTML-страниц и связанного с этим контента делается прямым текстом...

Безопасность алгоритмов машинного обучения. Атаки с использованием Python Машинное обучение активно применяется во многих областях нашей жизни. Алгоритмы помогают распознавать знаки дорожного движения, фильтровать спам, распознавать лица наших друзей на facebook, даже помогают торговать на фондовых биржах. Алгоритм принимает важные решения, поэто...

Исследование ACCA: 59% финансистов готовы доверить часть процессов машинному обучению Новое исследование «Машинное обучение: наука, а не вымысел» АССА, ассоциации, объединяющей специалистов в области финансов, учета и аудита, посвящено …

[Перевод] Равномерное распределение точек в треугольнике Большинство двухмерных квазислучайных методов рассчитано на сэмплирование в единичном квадрате. Однако в компьютерной графике также очень важны треугольники. Поэтому я описал простой метод прямого построения для равномерного покрытия последовательностью точек треугольника пр...

Magic: The Gathering официально признали самой сложной игрой в мире Magic: The Gathering — это карточная игра, в которой волшебники кастуют заклинания, призывают существ и используют магические объекты, чтобы победить своих противников. В процессе игры два или более игроков собирают по колоде из 60 карт с различными силами. Колоды собираютс...

Создана нейросеть, предвещающая сердечный приступ Команда исследователей собрала данные по возрасту, полу, анамнезу жизни и заболевания, вредным привычкам, а также результаты лабораторных исследований, информацию о проводимом лечении и почти 40 других показателях среди 26 986 взрослых госпитализированных пациентов в 38 горо...

Trend Micro: как машинное обучение может помочь в обнаружении сетевых угроз Компания Trend Micro Incorporated провела исследование, целью которого было выявить новые сферы применения машинного …

[Перевод] Веб-альманах 2019: Доступность Доступность в вебе имеет важное значение для равноправного и справедливого общества. Чем больше наша социальная и профессиональная сфера жизни переходит в онлайн, тем более важной для людей с ограниченными возможностями становится способность принимать участие во всех онла...

BI: 6 трендов в сфере бизнес-аналитики Технологии BI применяются бизнесом уже не один десяток лет. Однако сегодня с развитием облачных технологий, BigData и машинного обучения BI выходит на новый уровень. К чему это ведет и какими станут практики BI в ближайшие годы — читайте в нашем посте. Под катом — немного ис...

ACCA: более половины финансистов по всем миру готовы использовать машинное обучение 60% опрошенных уверены, что в ближайшие три года использование интернет-технологий станет привычным для большинства финансовых департаментов. Ассоциация специалистов в области финансов, учета и аудита АССА провела исследование «Машинное обучение: наука, а не вым...

[Перевод] Метаморфическое тестирование: почему об этой перспективной методике почти никто не знает Должен признаться: я читаю ACM Magazine. Это делает меня «ботаником» даже по меркам программистов. Среди прочего, я узнал из этого журнала о «метаморфическом тестировании». Раньше я никогда о нём не слышал, как и все люди, которых я спрашивал. Но научная литература по этой ...

Supermicro и Red Hat совместно разработали функциональные решения Компания Super Micro Computer, Inc. (SMCI), мировой лидер в сфере корпоративных решений для вычислений, хранения данных, сетевого взаимодействия и экологически безопасной обработки данных, представила решения для открытого частного облака на базе ведущей мировой ко...

Toolbox для исследователей — выпуск второй: подборка из 15 тематических банков данных Банки данных помогают делиться результатами экспериментов и измерений, играют важную роль в формировании академической среды и в процессе развития специалистов. Расскажем как о датасетах, полученных с помощью дорогостоящего оборудования (источниками этих данных нередко явля...

[Из песочницы] Будущее за облаками 1.1. Введение Говоря о развитии ИТ в последние несколько лет, нельзя не отметить долю Облачных решений среди прочих. Давайте разберемся, что же такое облачные решения, технологии и т.д. Облачные вычисления (или же облачные сервисы) — это особый набор инструментов и методов ...

Линейная регрессия и методы её восстановления Источник: xkcd Линейная регрессия является одним из базовых алгоритмов для многих областей, связанных с анализом данных. Причина этому очевидна. Это очень простой и понятный алгоритм, что способствует его широкому применению уже многие десятки, если не сотни, лет. Идея зак...

JMeter — швейцарский нож тестировщика (Часть 2) Сегодня расскажу, как мы с помощью JMeter’а наладили процесс кэширования продуктовых страниц, проверили работу мобильного приложения без самого приложения и создали 2000 юзеров в системе без доступа к базе данных. Кто не в курсе, что здесь происходит, читайте первую часть ...

[Из песочницы] Передача знания и Нейронный машинный перевод на практике Нейронный машинные перевод (НМП, англ. Neural Machine Translation, NMT) развивается очень быстро. Сегодня, чтобы собрать свой переводчик, не нужно иметь два высших образования. Но чтобы обучить модель, нужен большой параллельный корпус (корпус, в котором предложению на исход...

Составляем топовое семантическое ядро: подборка статей по семантике Полезные материалы из блога по сбору ключей для семантики, кластеризации запросов и оптимизации страниц сайта.

[Из песочницы] Синтез как один из методов улучшения производительности PostgreSQL Философское вступление Как известно, существует всего два метода для решения задач: Метод анализа или метод дедукции, или от общего к частному. Метод синтеза или метод индукции, или от частного к общему. Для решения проблемы “улучшить производительность базы данных” это...

Обучение детей программированию Здравствуйте. Меня зовут Михаил Капелько. Занимаюсь профессиональной разработкой ПО более 10 лет. Из них последние годы связаны с iOS. В свободное время разрабатываю игры и средства для их создания. Обзор Сегодня хочу рассказать о своём опыте обучения детей программированию,...

Обман нейронной сети для начинающих В рамках ежегодного контеста ZeroNights HackQuest 2018 участникам предлагалось попробовать силы в целом ряде нетривиальных заданий и конкурсов. Часть одного из них была связана с генерированием adversarial-примера для нейронной сети. В наших статьях мы уже уделяли внимание ...

[Из песочницы] Машинное обучение для менеджеров: таинство сепуления Введение Очередной раз работая с компанией, делающей проект, связанный с машинным обучением (ML), я обратил внимание, что менеджеры используют термины из области ML, не понимая их сути. Хотя слова произносятся грамматически правильно и в нужных местах предложений, однако их ...

Чат-бот и машинное обучение помогли сократить процесс выдачи интернет-заказов в «М.Видео» Розничная сеть «М.Видео» (Группа «М.Видео – Эльдорадо», относится к Группе «САФМАР» М.Гуцериева) объявила о том, что в более 179 ее магазинах в 16 крупных городах нашей страны успешно действует новая схема выдачи интернет-заказов. Применение в ее рамках чат-бота и машинного ...

Машинное обучение в Додо. Как запустить новое направление, если ты разработчик По катом история о том, как в Додо появилось направление машинного обучения. Спойлер: это я его запустил. Хардкорных технических подробностей тут не будет, обязательно посвящу им отдельную статью. Сегодня больше про мотивацию и поддержку коллег. Читать дальше →

[Перевод] Обзор AI & ML решений в 2018 году и прогнозы на 2019 год: Часть 1 — NLP, Computer Vision Всем привет! Представляю вам перевод статьи Analytics Vidhya с обзором событий в области AI / ML в 2018 году и трендов 2019 года. Материал довольно большой, поэтому разделен на 2 части. Надеюсь, что статья заинтересует не только профильных специалистов, но и интересующихся т...

Что не так с обучением с подкреплением (Reinforcement Learning)? Еще в начале 2018 года вышла статья Deep Reinforcement Learning Doesn't Work Yet ("Обучение с подкреплением пока не работает"). Основная претензия которой сводилась к тому, что современные алгоритмы обучения с подкреплением требуют для решения задачи примерно столько же вре...

На пути к светлому будущему «умных» компиляторов Сейчас тема машинного обучения и искусственного интеллекта необычайно популярна, на данный момент благодаря вычислительным мощностям компьютеров идеи и алгоритмы, зародившиеся достаточно давно могут быть воплощены в жизнь и значительно доработаны. Практически каждый день мож...

[Из песочницы] Библиотека генератора ассеблерного кода для микроконтроллеров AVR. Часть 1 Библиотека генератора ассеблерного кода для микроконтроллеров AVR Часть 1. Первое знакомство Добрый день, уважаемые хабаровчане. Хочу предложить Вашему вниманию очередной (из имеющегося великого множества) проект, для программирования популярных микроконтроллеров серии AVR. ...

[Перевод] Превращаем скрипты в красивые инструменты для машинного обучения Создаём семантический поисковик с машинным обучением в реальном времени за 300 строк Python кода. Мой опыт подсказывает, что любой более или менее сложный проект по машинному обучению рано или поздно превращается в набор сложных неподдерживаемых внутренних инструментов. Эти ...

[Из песочницы] Визуализация зависимостей и наследований между моделями машинного обучения Несколько месяцев назад я столкнулся с проблемой, моя модель построенная на алгоритмах машинного обучения просто на просто не работала. Я долго думал над тем, как решить эту проблему и в какой-то момент осознал что мои знания очень ограничены, а идеи скудны. Я знаю пару де...

Автоматизация ответов на часто задаваемые вопросы в навыке для «Алисы» с помощью библиотеки DeepPavlov Лаборатория нейронных систем и глубокого обучения МФТИ вот уже больше года делает DeepPavlov — открытую библиотеку для создания диалоговых систем. Она содержит набор претренированных компонент для анализа языка, с помощью которых можно эффективно решать задачи бизнеса. Напр...

Облако точек. Как мы развиваем цифровые технологии в строительстве Возможно, вы в курсе, а может быть и нет, но мы плотно занимаемся разработкой технологий Индустрии 4.0. IoT, машинное обучение на реальном производстве, цифровые двойники предприятий – со всеми этими вещами мы знакомы не понаслышке. Другими словами, мы знаем, как подружить «...

Microsoft ML Spark: расширение Spark, делающее SparkML человечнее, и LightGBM как бонус Многие, кто работал с Spark ML, знают, что некоторые вещи там сделаны "не совсем удачно" или не сделаны вообще. Позиция разработчиков Spark в том, что SparkML — это базовая платформа, а все расширения должны быть отдельными пакетами. Но это не всегда удобно, ведь Data Scient...

[Перевод] Равномерное распределение точек на сфере Как можно более равномерное распределение точек на сфере — невероятно важная задача в математике, науке и компьютерных системах, а наложение сетки Фибоначчи на поверхность сферы при помощи равновеликой проекции — чрезвычайно быстрый и эффективный метод аппроксимации для её р...

Роботы в дата-центре: чем может быть полезен искусственный интеллект? В процессе цифровой трансформации экономики человечеству приходится строить все больше центров обработки данных. Сами ЦОДы тоже должны трансформироваться: вопросы их отказоустойчивости и энергоэффективности сейчас важны как никогда. Объекты потребляют огромное количество эле...

Книга «Прагматичный ИИ. Машинное обучение и облачные технологии» Привет, Хаброжители! Эта книга Ноя Гифта предназначена для всех, кого интересуют ИИ, машинное обучение, облачные вычисления, а также любое сочетание данных тем. Как программисты, так и просто неравнодушные технари найдут тут для себя полезную информацию. Примеры кода даны н...

Облако для страховщиков Информационные технологии помогают страховым компаниям общаться с требовательными клиентами, а клиенты ожидают от страховщиков соответствующего уровня обслуживания. Подавляющее большинство аналитиков страховой отрасли отводят ИТ критически важную роль. И облачные технологии ...

Предсказания от математиков. Разбираем основные методы обнаружения аномалий За рубежом все большую популярность набирает использование искусственного интеллекта в промышленности для предиктивного обслуживания (predictive maintenance) различных систем. Цель этой методики — определение неполадок в работе системы на этапе эксплуатации до выхода её из с...

Опыт перевода Maven-проекта на Multi-Release Jar: уже можно, но ещё сложно У меня есть маленькая библиотека StreamEx, которая расширяет возможности Java 8 Stream API. Библиотеку я традиционно собираю через Maven, и по большей части меня всё устраивает. Однако вот захотелось экспериментов. Некоторые вещи в библиотеке должны работать по-разному в раз...

[Перевод] Какой здесь this? Внутренняя работа объектов JavaScript Фотография: "Любопытный" Liliana Saeb (CC BY 2.0) JavaScript – это мультипарадигмальный язык, который поддерживает объектно-ориентированное программирование и динамическое связывание. Динамическое связывание — это мощная концепция, которая позволяет изменять структуру JavaS...

Strong «caffe» на завтрак и выездные хакатоны: почему это важно для развития Data Science сообщества Я Data Scientist в команде Data Lake Platform в Райффайзенбанке. Три года назад в банке не было направления Big Data, а сейчас у нас есть отдельная платформа для работы с большими данными и активно развивающееся сообщество. По мере развития data driven культуры мы сталкиваем...

Сбербанк впервые запустил образовательный курс «Машинное обучение в финансах» В основе программы - накопленный банком практический опыт применения методов ML, включая управление балансом, торговые стратегии, а также прогнозирование показателей банка и макроэкономики. Курс рассчитан на 6 недель обучения, преподаватели - сотрудники блока "Финансы&q...

Что внутри чат-бота? Меня зовут Иван Бондаренко. Я занимаюсь алгоритмами машинного обучения для анализа текстов и устной речи примерно с 2005 года. Сейчас работаю в Московском Физтехе ведущим научным разработчиком лаборатории бизнес-решений на основе Центра компетенций НТИ по Искусственному инте...

[Перевод] Создаем конвейер потоковой обработки данных. Часть 1 Всем привет. Друзья, делимся с вами переводом статьи, подготовленным специально для студентов курса «Data Engineer». Поехали! Apache Beam и DataFlow для конвейеров реального времени Сегодняшний пост основан на задаче, которой я недавно занимался на работе. Я был действитель...

Как AWS «варит» свои эластичные сервисы. Масштабирование серверов и базы данных Облака подобны магической шкатулке — задаешь, что тебе нужно, и ресурсы просто появляются из ниоткуда. Виртуальные машины, базы данных, сеть — все это принадлежит только тебе. Существуют и другие тенанты облака, но в своей Вселенной ты единоличный правитель. Ты уверен, что в...

Сбербанк научился с помощью ИИ предсказывать выручку любой компании в России Новая модель Сбербанка основана на алгоритме Random Forest, применяющемся для задач классификации, кластеризации и регрессии и использующем большое количество деревьев решений, каждое из которых дает невысокое качество классификации. Повышение качества итогового результата р...

[Перевод] Практическое руководство по разработке дизайна дэшбордов Современные дэшборды многое позаимствовали у автомобильных панелей приборов. Интересные элементы также можно заметить в центрах управления полётами НАСА 1960-х годов и зари эпохи автоматизации. Сегодня любая достаточно сложная ситуация, будь то запуск ракеты или борьба с ин...

Белый шум рисует черный квадрат. Часть 2. Решение В первой публикации рассказывалось о том, что есть подзабытая теорема Эрдёша-Реньи, из которой следует, что в случайном ряде, длины N, с вероятностью близкой к 1 существует подряд из одинаковых значений длиной \log_2{N}. Указанное свойство случайной величины можно использова...

Эксплуатация машинного обучения в Почте Mail.ru По мотивам моих выступлений на Highload++ и DataFest Minsk 2019 г. Для многих сегодня почта является неотъемлемой частью жизни в сети. С ее помощью мы ведем бизнес-переписку, храним всевозможную важную информацию, связанную с финансами, бронированием отелей, оформлением з...

[Из песочницы] Анализ эмоциональной окраски отзывов с Кинопоиска Вступление Обработка естественного языка (NLP) является популярной и важной областью машинного обучения. В данном хабре я опишу свой первый проект, связанный с анализом эмоциональной окраски кино отзывов, написанный на Python. Задача сентиментного анализа является довольно р...

Безопасность приложений, или Как внедрить security в заказную разработку. Личный опыт AGIMA Digital-агентства все больше внимания уделяют безопасности инфраструктуры, в которой ведется разработка, а также начинают смотреть в сторону обеспечения безопасности приложений. Вы наверняка читали про разновидность и критичность уязвимостей, инструменты и методы обеспечения...

StealthWatch: развертывание и настройка. Часть 2 Здравствуйте, коллеги! Определившись с минимальными требованиями для развертывания StealthWatch в прошлой части, мы можем начать развертывание продукта. 1. Способы развертывания StealthWatch Существует несколько способов «потрогать» StealthWatch: dcloud – облачный серв...

[Перевод] Применение зашифрованных данных для машинного обучения без их расшифровки Применение зашифрованных данных для машинного обучения без их расшифровки В этой статье обсуждаются передовые криптографические методики. Это лишь обзор исследований, проводимых в Julia Computing. Не используйте приведённые здесь примеры в коммерческих приложениях. Всегда к...

[Перевод] AlphaStar — новая система искусственного интеллекта для StarCraft II от DeepMind (полный перевод) Игры десятилетиями использовались как один из главных способов тестирования и оценки успешности систем искусственного интеллекта. По мере того как росли возможности, исследователи искали игры с постоянно возрастающей сложностью, которые бы отражали различные элементы мышле...

Созданы невероятно эффективные нейросети: машинное обучение Когда исследователи говорят об искусственном интеллекте, то в основном подразумевают класс компьютерных программ, называемый «искусственными нейронными сетями». Они призваны имитировать работу нашего мозга, что существенно расширяет спектр их возможностей и дает пространство...

[Перевод] Приключения неуловимой малвари, часть V: еще больше DDE и COM-скриплетов Эта статья является частью серии «Fileless Malware». Все остальные части серии: Приключения неуловимой малвари, часть I Приключения неуловимой малвари, часть II: скрытные VBA-скрипты Приключения неуловимой малвари, часть III: запутанные VBA-скрипты для смеха и прибыли ...

Будет ли в будущем место «гуманитариям»? Спойлер: да Гуманитарные науки часто считают науками прошлого, не в том смысле, что они не нужны сейчас, а в том, что огромный пласт философии и истории языка остался все-таки в прошлом и сегодня переживает не такие разительные изменения, как сфера науки и технологий. Большая часть люд...

[Перевод] Почему программные задачи всегда занимают больше времени, чем вы думаете Каждый в IT-индустрии знает, насколько сложно оценить срок выполнения проекта. Трудно объективно оценить, сколько времени займёт решение трудной задачи. Одна из моих любимых теорий заключается в том, что здесь имеет место просто статистический артефакт. Предположим, вы оцен...

Искусственный интеллект улучшает качество графики старых видеоигр и делает это действительно хорошо Технологии искусственного интеллекта постепенно развиваются, помогая решать задачи и проблемы самых разных сфер — от бизнеса до медицины и развлечений. Недавно стало известно еще об одной задаче, которую ИИ решает очень хорошо. Речь идет об игровых модах — как оказалось, м...

Google выпустил три новых курса по машинному обучению Google представил три новых онлайн-курса по машинному обучению (Machine Learning, ML). Все они созданы в сотрудничестве с ML-экспертами компании и ориентированы на разработчиков, исследователей и студентов. В числе этих курсов значатся следующие: Clustering (Кластеризация). ...

Как вредоносы обходят песочницы с помощью Visual Basic Мы в JSOC CERT ежедневно сталкиваемся с событиями из разных песочниц, которые функционируют в составе AntiAPT-решений наших заказчиков и пропускают через себя тысячи файлов из web- и почтового трафика. Стоит отметить, что современные Sandbox-системы в своем развитии ушли нам...

Лопнул ли пузырь машинного обучения, или начало новой зари Недавно вышла статья которая неплохо показывает тенденцию в машинном обучении последних лет. Если коротко: число стартапов в области машинного обучения в последние два года резко упало. Ну что. Разберём “лопнул ли пузырь”, “как дальше жить” и поговорим откуда вообще такая з...

Зачем нужна низкоуровневая оптимизация на Эльбрусе или как ускорить распознающую систему в полтора раза Встретив 2019 год и немного отдохнув от разработки новых фич для Smart IDReader, мы вспомнили, что давно ничего не писали об отечественных процессорах. Поэтому мы решили срочно исправиться и показать еще одну распознающую систему на Эльбрусе. В качестве распознающей системы...

Как адаптировать UX/UI под permissions Во многих проектах существует процессы аутентификации (в той или иной степени). Написано много “бест практис” во всех известных технологиях и т.д. и т.п. Но вот пользователь сделал логин и? Ведь он далеко не всё может сделать. Как определить что он может видеть, а что нет. ...

Руководство для начинающих по машинному обучению и структуре Data Science Для всех, кому интересна тематика работы с данными, машинного обучения и искусственного интеллекта и для тех, кто только начинает свой путь в изучении — этот пост для вас. Все библиотеки ниже бесплатны, и большинство из них с открытым исходным кодом и выложены на GitHub. Исп...

Компания Nvidia представила масштабируемый суперкомпьютер с GPU-ускорением в облаке Microsoft Azure Компания Nvidia сегодня анонсировала доступность в облаке Microsoft Azure нового типа суперкомпьютера, в котором используется ускорение средствами GPU. Уточним, что пока инстансы NDv2 доступны для предварительного просмотра, но их уже можно объединять в кластеры. По сло...

Objectives and Key Results: инструкция по применению Всем привет! Меня зовут Егор, я руковожу кластером App Platform в Авито. Мои команды в основном занимаются разработкой внутренних продуктов, инструментов и процессов — тем, что принято называть платформенной разработкой. Год назад я рассказывал в этом блоге, как мы внедрили ...

Искусственный интеллект написал картину по композиции группы «Альянс» «На заре» Картина была представлена в рамках перформанса "НейроКандинский" (посмотреть видео вы можете здесь). На нем присутствовал Игорь Журавлев, вокалист группы "Альянс", который подчеркнул, что искусство - это, прежде всего, вдохновение и эмоции создателя. Клав...

Микроархитектура костей как основа для сверхлегких и долговечных материалов В скелете взрослого человека насчитывается 206 костей, которые в совокупности выполняют опорно-двигательную и защитную функцию. К сожалению, как и все другие части тела человека, кости также подвержены различным заболеваниям, повреждениям, деформациям и травмам. Одной из с...

Некоторые задачи школьной математики. Часть II Часть I. Дроби Часть II. Модули В данной статье рассматривается метод оценок диапазона принимаемых значений и связь этого метода с задачами, содержащими модуль. При решении некоторых задач необходимо рассматривать диапазон, в пределах которого может находиться искомая вел...

Как я познакомился с OpenCV или в поисках ColorChecker Я учусь в CS центре в Новосибирске уже второй год. До поступления у меня уже была работа в IT — я работал аналитиком в Яндексе, но мне хотелось развиваться дальше, узнать что-то за пределами текущих задач и, по совету коллеги, я поступил в CS центр. В этой статье я хочу расс...

Как UEBA помогает повышать уровень кибербезопасности Организации, которые хотят добавить расширенные аналитические возможности или возможности машинного обучения в свой арсенал ИТ-безопасности, имеют в своем распоряжении относительно новое решение: систему аналитики поведения пользователей и сущностей – User and Entity Behavi...

О статическом анализе начистоту Последнее время все чаще говорят о статическом анализе как одном из важных средств обеспечения качества разрабатываемых программных продуктов, особенно с точки зрения безопасности. Статический анализ позволяет находить уязвимости и другие ошибки, его можно использовать в про...

HPE представила ПО для внедрения в компаниях машинного обучения Новое контейнерное решение представляет собой процесс для стандартизации рабочих процессов машинного обучения и ускорения развертывания систем искусственного интеллекта.

[Перевод] Руководство для чайников: создание цепочек DevOps с помощью инструментов с открытым исходным кодом Создание первой цепочки DevOps за пять шагов для новичков. DevOps стал панацеей для слишком медленных, разобщенных и прочих проблемных процессов разработки. Но нужны минимальные познания в DevOps. Здесь будет рассмотрены такие понятия, как цепочка DevOps и как создать ее за...

Разговорный BERT — учим нейросеть языку соцсетей Одним из главных событий в области компьютерной лингвистики и машинного обучения в 2018 году был выпуск BERT от Google AI, который признан лучшим докладом года по мнению североамериканского отделения Ассоциации компьютерной лингвистики (NACL). В этой статье мы расскажем об э...

Треугольник Паскаля vs цепочек типа «000…/111…» в бинарных рядах и нейронных сетях Серия «Белый шум рисует черный квадрат» История цикла этих публикаций начинается с того, что в книге Г.Секей «Парадоксы в теории вероятностей и математической статистике» (стр.43), было обнаружено следующее утверждение: Рис. 1. По анализу комментарий к первым публикациям...

[Перевод] AlphaFold: Использование ИИ для научных открытий И снова здравствуйте! Делимся публикацией, перевод которой подготовлен специально для студентов курса «Нейронные сети на Python». Сегодня мы расскажем о первом важном событии в истории развития DeepMind, чтобы показать, как исследования с помощью искусственного интеллекта м...

Как измерять производительность блокчейн сетей. Основные метрики Существует много метрик, относящихся к логике и качеству работы блокчейна. Они помогают определить узкие места в коде и найти логические и оптимизационные проблемы в алгоритмах консенсуса и финальности в блокчейнах. Любая разработка распределенных систем, в том числе блокче...

[Перевод] Бесплатная библиотека Wolfram Engine для разработчиков программного обеспечения Оригинал перевода в моём блоге Пара видео о Wolfram Language Почему вы до сих пор не используете технологии Wolfram? Что ж, такое случается, и довольно часто. В процессе общения с разработчиками программного обеспечения, они достаточно лестно отзываются о наших технология...

Инструментарий тимлида от e-mail до канбан-доски В этот раз на TeamLead Conf мы решили собрать докладов на целый поток больше. В сентябре в Питере впервые будет три параллельных трека докладов для тимлидов и про тимлидов. С одной стороны это связано с тем, что мы растём и развиваемся, с другой стороны — тематика конференци...

Что будет на конференции UseData Conf 2019? Ура! Мы завершили формирование программы конференции UseData Conf 2019! Эта конференция для тех, кто решает практические задачи с помощью методов машинного обучения. Между идеальным алгоритмом в вакууме и его применением на реальных данных часто лежит пропасть. Мы хотим, что...

[Из песочницы] Паттон Джефф. Пользовательские истории. Искусство гибкой разработки ПО Аннотация Книга это рассказанный алгоритм проведения процесса разработки от идеи до внедрения с применением техник agile. Процесс раскладывается по шагам и на каждом шаге указываются методы для шага процесса. Автор указывает, что большая часть методов не оригинальна, не прет...

[Перевод] Культура найма в крупных компаниях по статистике Glassdoor В процессе работы над книгой о собеседованиях в сфере машинного обучения я часто слышу от претендентов на вакансию вопрос: каково соотношение между числом личных собеседований к предложениям о работе, то есть какой процент людей, которых пригласили на собеседование в офис,...

Функции Бесселя в программе символьной математики SymPy Введение: Большое число самых разнообразных задач, относящихся практически ко всем важнейшим разделам математической физики и призванных ответить на актуальные технические вопросы, связано с применением функций Бесселя. Функции Бесселя широко используются при решении задач...

Как и зачем мы делали распознавание достопримечательностей в Облаке Mail.ru С появлением качественных камер в мобильных телефонах мы все больше и чаще фотографируем, снимаем видео ярких и важных моментов нашей жизни. У многих из нас фотоархивы насчитывают десятки лет и тысячи фотографий, ориентироваться в которых становится все труднее. Вспомните,...

Как победить в цифровом WorldSkills? На практическом примере Привет, Хабр! В декабре наш коллега от направления «Продвинутая аналитика» Леонид Шерстюк занял первое место в компетенции Машинное обучение и большие данные во II отраслевом чемпионате DigitalSkills. Это «цифровая» ветка известных профессиональных конкурсов, которые устра...

Машинное обучение глубокой нейронной сети с подкреплением на tensorflow.js: Трюки Обучать глубокие нейронные сети с нуля — задача не из простых. Требуется много данных и времени на обучение, но ускорить процесс могут помочь некоторые трюки, о которых я и расскажу под катом. Демонстрация прохождения простого лабиринта с использованием трюков. Длительност...

Особенности работы с Mesh в Unity Компьютерная графика, как известно, является основой игровой индустрии. В процессе создания графического контента мы неизбежно сталкиваемся с трудностями, связанными с разницей его представления в среде создания и в приложении. К этим трудностям прибавляются риски простой че...

Обзор Kubecost для экономии средств на Kubernetes в облаках В настоящее время всё больше компаний переводят свою инфраструктуру с железных серверов и собственных виртуалок в облака. Такое решение легко объяснить: нет необходимости заботиться о железе, кластер легко конфигурируется множеством различных способов… а самое главное — им...

Ускорение рутинных HR-процессов с помощью RPA и BluePrism В IT-компаниях и банках множество разных процессов. И если разработку софта и создание дизайна еще можно успешно оптимизировать с помощью гибких методологий (если их правильно внедрить и использовать), то некоторые вещи Agile так же быстро ускорить не может. Например, HR-про...

Как я организовал тренировки по машинному обучению в НГУ Меня зовут Саша и я люблю машинное обучение, а также обучение людей. Сейчас курирую образовательные программы в Computer Science центре и руковожу бакалавриатом по анализу данных в СПбГУ. До этого работал аналитиком в Яндексе, а ещё раньше — учёным: занимался математическим ...

Gestalt-тестирование: новый подход к оптимизации почтовых рассылок на основе байесовской теории и машинного обучения Мультивариантное (A/B/N, или сплит) тестирование – самый популярный способ тестирования почтовых рассылок. Этот инструмент доказал свою эффективность, но у него есть недостатки, связанные в первую очередь с тем, что тестирование и основная отправка разнесены во времени. ...

Как мозг создает и извлекает воспоминания? Мозг — самый сложный орган тела человека Несомненно, наша способность создавать и извлекать воспоминания является фундаментальной частью человеческого опыта, но нам еще многое предстоит узнать об этом процессе. Например, сегодня ученым не хватает четкого понимания того...

[Из песочницы] Преобразование черно-белых изображений в ASCII-графику при помощи неотрицательного матричного разложения В общем случае преобразование изображения в ASCII-графику представляет собой довольно трудоемкую задачу, однако существуют алгоритмы, позволяющие автоматизировать данный процесс. В данной статье рассматривается подход, предложенный исследователями Paul D. O’Grady и Scott T....

Облачные и мобильные развертывания — самые слабые звенья корпоративных сетей Компания Check Point Software Technologies выпустила третью часть отчета Security Report за 2019 год. В ней подробно описывается, почему злоумышленники все чаще выбирают мишенью для своих атак наименее защищенные точки в ИТ-инфраструктуре организаций, и как осуществляются а...

Джулия в латексе В научной среде очень важную роль играет визуализация данных и оформление теории. Для удобного и красивого представления формул часто используются инструменты реализующие LaTeX-команды, например Markdown и MathJax. Для Джулии также существует набор пакетов позволяющих испо...

Паттерны и анти-паттерны CI/CD. Часть 2 Всех с пятницей, друзья. Сегодня делимся с вами переводом второй части статьи «Паттерны и анти-паттерны CI/CD», первую часть которой можно прочитать здесь. Напомним, даная серия публикаций приурочена к запуску нового потока по курсу «DevOps практики и инструменты». 1.3 Патт...

Изучаем MITRE ATT&CK. Mobile Matrices: Device Access. Часть 4 Обход защиты (Defense Evasion) Ссылки на все части: Часть 1. Первоначальный доступ к мобильному устройству (Initial Access) Часть 2. Закрепление (Persistence) и Эскалация привилегий (Privilege Escalation) Часть 3. Получение учетных данных (Credential Access) Способы обхода ...

Умная форма китайских школьников помогает снизить количество прогулов Уроки прогуливают не все, но многие, и у некоторых школьников количество прогулов может превышать всякие разумные нормы. Такая ситуация характерна для многих стран мира, но в некоторых из них придуманы эффективные меры противодействия прогульщикам. Одна из таких стран — ...

Исключения в Python теперь считаются анти-паттерном Что такое исключения? Из названия понятно — они возникают, когда в программе происходит исключительная ситуация. Вы спросите, почему исключения — анти-паттерн, и как они вообще относятся к типизации? Я попробовал разобраться, и теперь хочу обсудить это с вами, хабражители. ...

[Перевод] Почему люди не используют формальные методы? На Software Engineering Stack Exchange я увидел такой вопрос: «Что мешает широкому внедрению формальных методов?» Вопрос был закрыт как предвзятый, а большинство ответов представляли собой комментарии типа «Слишком дорого!!!» или «Сайт — это не самолёт!!!» В каком-то смысле ...

[Из песочницы] Как создать модель точнее transfermarkt и не предсказывать или что больше всего влияет на стоимость трансферов Я постараюсь рассказать вам насколько легко получить интересные результаты, просто применив совершенно стандартный подход из тьюториала курса по машинному обучению к не самым используемым в Deep Learning данным. Суть моего поста в том, это может каждый из нас, надо просто по...

Пентагон заключил контракт на внедрение машинного обучения в систему допуска к гостайне Служба безопасности министерства обороны и Управление систем оборонной связи США попросили компанию Perspecta усовершенствовать информационные технологии национальных справочных служб, чтобы ускорить внутренние расследования и вынесение решений по системе допуска к гостайнам...

[Перевод] Нейросеть для классификации спутниковых снимков с помощью Tensorflow на Python Это пошаговая инструкция по классификации мультиспектральных снимков со спутника Landsat 5. Сегодня в ряде сфер глубокое обучение доминирует как инструмент для решения сложных проблем, в том числе геопространственных. Надеюсь, вы знакомы с датасетами спутниковых снимков, в...

Статистика на службе у бизнеса. Методология расчёта множественных экспериментов Добрый день! Как и было обещано в предыдущей статье, сегодня мы продолжим разговор о методологиях, применяемых в A/B-тестировании и рассмотрим методы оценки результатов множественных экспериментов. Мы увидим, что методологии довольно просты, и математическая статистика не т...

Конференция ECOMMTALKS определила тенденции финтеха в 2020 году Сектор финтеха, трансформирующий мир финансов благодаря созданию и внедрению новых финансовых платформ и технологий, в прошлом году был оценен* в 127,66 миллиардов долларов США, и, по прогнозам, достигнет рекордного уровня в 2020 году. Отрасль демонстрирует высокую дина...

[Перевод] Использование strict-модулей в крупномасштабных Python-проектах: опыт Instagram. Часть 1 Публикуем первую часть перевода очередного материала из серии, посвящённой тому, как в Instagram работают с Python. В первом материале этой серии речь шла об особенностях серверного кода Instagram, о том, что он представляет собой монолит, который часто меняется, и о том, ка...

Фото дня: качественный снимок Большого Магелланова Облака Европейская Южная Обсерватория (ESO, European Southern Observatory) представила великолепные изображения Большого Магелланова Облака — карликовой галактики, являющейся спутником Млечного Пути. Нажмите для увеличения Названный объект располагается на расстоянии приблизительно...

Сравнение сертификаций по Agile, часть 1 — ICAgile, Scrum.org, ScrumAlliance и PMI Некоторое время назад, я перешел из компании, которая жила в мире жесткого Waterfall и суровых планов в MS Project на несколько тысяч строк, в компанию, которая живет в мире Agile — ценности, которую несут продукты уделяется больше внимания чем следованию плану, фокус в разр...

Как запустить ML-прототип за один день. Доклад Яндекс.Такси Машинное обучение применяется на всём цикле заказа автомобиля в Яндекс.Такси, и число компонентов сервиса, работающих благодаря ML, постоянно растёт. Чтобы строить их единообразно, нам потребовался обособленный процесс. Руководитель службы машинного обучения и анализа данных...

Искусственный интеллект поможет повысить качество медпомощи в Подмосковье Автоматизированная информационная система "Эксперт" с помощью искусственного интеллекта идентифицирует случаи оказания медицинской помощи, имеющие признаки нарушений или ошибок - в составлении документации, расходовании средств ОМС и лечении пациентов. Ранее эта ра...

[Из песочницы] OpenAI Gym+ROS+Gazebo: обучение автономного робота в домашних условиях. Часть 1 За последние несколько лет мы стали свидетелями внедрения технологий искусственного интеллекта в нашу повседневной жизни — от роботов-пылесосов до беспилотных дронов. Все они, управляемые искусственным интеллектом, уже являются для нас обыденностью. Но несмотря на это, проце...

«Манифест начинающих программистов из смежных специальностей» или как я дошел до жизни такой Сегодняшняя моя статья — это мысли вслух от человека, который встал на путь программирования почти случайно (хотя и закономерно). Да, я понимаю, что мой опыт — это только мой опыт, однако он, мне кажется, хорошо попадает в общую тенденцию. Более того, опыт, описанный ниже, б...

Как разделить фронтенд и бэкенд, сохранив взаимопонимание Как изменить архитектуру монолитного продукта, чтобы ускорить его развитие, и как поделить одну команду на несколько, сохранив согласованность работы? Для нас ответом на эти вопросы стало создание нового API. Под катом вас ждёт обстоятельная история о пути к такому решению ...

[Перевод] Предложения относительно уязвимостей и защиты моделей машинного обучения В последнее время эксперты все чаще затрагивают вопрос безопасности моделей машинного обучения и предлагают различные способы защиты. Самое время детально изучить потенциальные уязвимости и средства защиты в контексте популярных традиционных систем моделирования, таких как...

Запускаем инспекции IntelliJ IDEA на Jenkins IntelliJ IDEA на сегодня обладает наиболее продвинутым статическим анализатором кода Java, по своим возможностям оставившим далеко позади таких «ветеранов», как Checkstyle и Spotbugs. Её многочисленные «инспекции» проверяют код в различных аспектах, от стиля кодирования до х...

[Из песочницы] Два процента «кота» или кто сфотографировал Мастера Йоду? В 2016 из-за давней мечты о видео-играх и «хайпа» вокруг AI я начал изучать Python. Computer Science is Fun потому только неделю назад я обучил первую recognition модель, но без использования Python (в computer science много соблазнов). Как и предсказывал Андрей Себрант (Ya...

Не нужен вам вуз, идите в ПТУ? Эта статья — ответ на публикацию "Что же не так с IT-образованием в России", а точнее, даже не на саму статью, а на часть комментариев к ней и идеи, в них прозвучавшие. Я сейчас выскажу, наверное, очень непопулярную здесь на Хабре точку зрения, но не высказать я ее не мог...

[Из песочницы] Производительность торговой платформы на простом примере В этой статье я хочу в научно-популярной форме рассказать об оптимизации времени отклика в торговых платформах бирж и банков (HFT). Для справки речь идет о временах от сотен наносекунд до сотен микросекунд. Для большинства других приложений многие приведенные ниже методы оп...

Идентификацию пользователей осуществляют почти все точки Wi-Fi в России Федеральная служба по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор) отрапортовала о проверке точек беспроводного доступа Wi-Fi в общественных местах. Напомним, что публичные хот-споты в нашей стране обязаны идентифицировать пользоват...

Кластеризация ключевых запросов — большое обновление сервиса Line! Мы добавили новую функциональность в сервис проверки позиций. Группируйте ключевые запросы и проверяйте позиции по ним в одном месте.

Самовосстанавливающаяся платформа ITSM Искусственный интеллект (AI), машинное обучение (ML) и обработка естественного языка (NLP) — одни из самых передовых технологий в управлении ИТ-услугами. Эти технологии помогают компаниям оптимизировать управление услугами путем автоматизации бизнес-процессов и з...

Создание React-ивного хука usePosition() для получения и отслеживания координат браузера Если вкратце В этой статье мы создадим React-ивный хук usePosition() для отслеживания геолокации браузера. Под капотом этот хук будет использовать методы getCurrentPosition() и watchPosition() нативного браузерного объекта navigator.geolocation. Финальную версию хука я опуб...

Как можно упростить и ускорить вычисление нейронной сети прямого распространения Здравствуйте, уважаемые читатели. О нейронных сетях написано и сказано очень много, преимущественно о том, как и для чего их можно применить. При этом как-то не очень много внимания уделяется двум важным вопросам: а) как нейронную сеть упростить и быстро вычислить (одно вычи...

Хочешь <s>похудеть</s> учиться ИТ самостоятельно? Спроси меня как Есть мнение, с которым я часто сталкиваюсь, — учиться самостоятельно невозможно, нужны профессионалы, которые будут вас вести по этому тернистому пути — объяснять, проверять, контролировать. Попробую опровергнуть это утверждение, а для этого, как известно, достаточно привест...

6 полезных инструментов для запуска стартапа в США США привлекает основателей проектов со всего мира, однако сам процесс переезда, основания и развития компании в новой стране далеко не прост. К счастью, технологии не стоят на месте, и уже существуют сервисы, которые автоматизируют и помогают решить многие задачи на всех э...

[Перевод - recovery mode ] Веб скрапинг для веб разработчиков: краткое резюме Знание только одного подхода к веб скрапингу решает проблему в краткосрочной перспективе, но все методы имеют свои сильные и слабые стороны. Осознание этого экономит время и помогает решать задачу эффективнее. Многочисленные ресурсы рассказывают об единственно верном мето...

Операция TA505: сетевая инфраструктура группировки. Часть 3 Анализ сетевой инфраструктуры играет большую роль в исследовании вредоносных кампаний. Сведения о том, какие IP-адреса соответствовали доменному имени в различные промежутки времени, позволяют определить новые серверы злоумышленников. Решение противоположной задачи (ретрос...

Жизненный цикл статьи на Хабре: пишем хабрапарсер. Часть вторая Привет Хабр! В первой части пятничного анализа была рассмотрена методика сбора некоторой статистики этого замечательного сайта. Изначально не было плана делать продолжение, но в комментариях возникли интересные мысли, которые захотелось проверить. Например, какие статьи име...

[Из песочницы] Интерактивная лаборатория термодинамики как эффективное средство имитационного обучения Введение Имитационное обучение с использованием мультимедийных образовательных ресурсов является одним из перспективных направлений информатизации современного образования. Под имитационным обучением мы будем понимать такую модель обучения, в которой посредством программного...

Умножение матриц: эффективная реализация шаг за шагом Введение Умножение матриц — это один из базовых алгоритмов, который широко применяется в различных численных методах, и в частности в алгоритмах машинного обучения. Многие реализации прямого и обратного распространения сигнала в сверточных слоях неронной сети базируются на...

[Перевод] Java Challengers #4: Сравнение объектов с equals() и hashCode() Java Challengers #4: Сравнение объектов с equals() и hashCode() В преддверии запуска нового потока по курсу "Разработчик Java" мы продолжаем перевод серии статей Java Challengers, предыдущие части которых можно прочитать по ссылкам ниже: Перегрузка методов в JVM Сравнение с...

Умная колонка Lily предназначена для изучения иностранных языков Создатели умной колонки Lily утверждают, что она является максимально эффективным устройством для тех, кто занимается изучением китайского языка. Якобы для того, чтобы быстрее выучить язык, чтение словарей и разговорников или использование приложений для мобильных устр...

Военные США халатно относятся к вопросам кибербезопасности Кибербезопасность — одна из наиболее важных сфер современности. Без надежной защиты компании и частные лица подвергаются разнообразным угрозам — от похищения корпоративных секретов и денег со счетов до кражи фотографий, которые не предназначены для посторонних глаз. Еще бо...

От Ганга до Волги: как спасти реки от загрязнения? Мы уже описывали путь, который преодолевает речная вода на пути в наши стаканы, превращаясь из приготовленного природой «биохимического супа» в важнейший напиток человечества. Однако чтобы и в будущем сохранить пресноводные ресурсы, нам нужно бережно относиться к той воде,...

[Перевод] Сила дженериков в Swift. Часть 2 Добрый день, друзья. Специально для студентов курса «iOS Разработчик. Продвинутый курс» мы подготовили перевод второй части статьи «Сила дженериков в Swift». Связанные типы, условия where, сабскрипты и прочее… В статье «Сила дженериков в Swift. Часть 1» описывались gene...

Как составить карту путешествия пользователей для службы поддержки и улучшить пользовательский опыт В последнее время подход клиентских путешествий (customer journey) значительно расширил свой охват. Главная цель его применения — улучшение качества обслуживания клиентов, что является чрезвычайно важной инициативой для многих организаций.Обеспечение качественного...

[Перевод] Краткая история детектора лжи Создать "лассо истины" в реальной жизни неожиданно сложно Это правда: этот полиграф из 1960-х, выставляющийся в научном музее Лондона, был разработан не как детектор лжи, а как диагностическая машина и хирургический монитор Когда Чудо-женщина ловко захватывает кого-либо св...

Миграция в облака Использование облачных сервисов — это избавление от значительной части собственной ИТ-инфраструктуры, сокращение затрат на ее администрирование и обслуживание, гибкость и способность справляться с пиковыми нагрузками. Сегодня востребованные рынком облачные решения продвигают...

Hitachi Vantara представила пакет решений Lumada Manufacturing Insights Основанные на обширных знаниях в области производственных технологий решения для промышленного Интернета вещей помогут оптимизировать работу оборудования и улучшить производственные процессы. Lumada Manufacturing Insights по...

Чем ИТ может сильно помочь колхозу «Путь коммунизма» или агрохолдингу Было-стало после кластеризации и оптимизации культур Колхозы и агрохолдинги в России почти не автоматизированы. А там на почти ровном месте с минимальными затратами можно получить до 10 % прироста доходности за счёт выбора оптимального портфеля выращиваемых культур, точног...

Финансисты все больше доверяют искусственному интеллекту 59% финансистов готовы доверить часть рабочих процессов искусственному интеллекту (ИИ) и машинному обучению (МО). Такие данные по результатам исследования приводит АССА (Association of Chartered Certified Accountants) - ассоциация, которая объединяет специалистов в области ф...

Вышла релизная версия Android 9 Pie для Galaxy Note 9 Как и было обещано, сегодня Samsung Electronics выпустила финальную версию Android 9 Pie для Galaxy Note 9. По состоянию на 13:15 мск 4 января обновление доступно только пользователям из Германии и Лихтенштейна, о чем сообщают жители этих стран. С них же производитель начин...

Атомная безопасность и промышленное видеонаблюдение Мы видим запрос на видеоаналитику в ритейле, в сегменте HoReCa, в банковской сфере — нужно считать посетителей, идентифицировать новых и VIP-клиентов, вести «чёрный список». Эти запросы не имеют никакого отношения к атомной промышленности, а ведь одним из первых клиентов с...

Исследование НАФИ и Mains Group: только треть российских компаний использует машинное обучение Автоматизация бизнес-процессов получила широкое распространение в крупном бизнесе (80%), и в будущем уровень автоматизации продолжит расти. При этом технологии машинного обучения сейчас используются только на трети предприятий (33%). Машинное обучение ...

[Перевод] История транзистора, часть 2: из горнила войны Другие статьи цикла: История реле Метод «быстрой передачи сведений», или Зарождение реле Дальнописец Гальванизм Предприниматели А вот, наконец, и реле Говорящий телеграф Просто соединить Забытое поколение релейных компьютеров Электронная эра История электронных компьютеро...

Делаем процесс разработки тяжеловесного программного обеспечения под микроконтроллеры более удобным (нет) Сейчас уже никого не удивить микроконтроллерами с энергонезависимой (чаще всего Flash) памятью объемом 512 килобайт и более. Их стоимость постепенно снижается, а доступность напротив, растет. Наличие такого объема энергонезависимой памяти дает возможность писать «тяжелые» по...

Дайджест IT событий марта (часть вторая) Заканчиваем обзор IT мероприятий этого месяца, оказавшегося неожиданно урожайным. Митапы продолжают удерживать лидерские позиции, но на этот раз их ощутимее разбавляют крупные конференции и хакатоны. Среди популярных тем — data science, Интернет вещей и машинное обучение. ...

[Перевод] Функциональное мышление. Часть 10 Вы представляете, это уже десятая часть цикла! И хотя до этого повествование было сфокусировано на чисто функциональном стиле, иногда удобно переключиться на объектно-ориентированный стиль. А одними из ключевых особенностей объектно-ориентированного стиля являются возможност...

Уволен через автоматизацию Вспомним, что такое автоматизация. Возьмем, например, определение из Википедии. Автоматизация — одно из направлений научно-технического прогресса, использующее саморегулирующие технические средства и математические методы с целью освобождения человека от участия в процессах...

Перевести большую компанию на машинное обучение: опыт Uber Перевод материала специалиста по искусственному интеллекту Джамала Робинсона о том, как Uber удаётся применять машинное обучение во всех сферах бизнеса.

[Перевод] Эдвард Сноуден рассказывает, почему он стал информатором Отрывок из книги «Постоянная запись»; как молодой человек, работавший системным администратором, обнаружил посягательства на свободу и решил предать гласности обширную американскую систему слежки за гражданами Когда мне было 22, я устроился на работу в американскую развед...

Китайская компания запускает бесплатное роботакси На дороги выходит еще один сервис по предоставлению беспилотных автомобилей. На этот раз полностью бесплатный Некоторое время назад мы сообщали вам о том, что компания Waymo запускает полностью беспилотные автомобили в самое ближайшее время. Но на этом индустрия самоуправляе...

Google обучила Gmail обнаруживать до 100 млн спам-сообщений ежедневно TensorFlow является открытой программной библиотекой для машинного обучения, которая была создана компанией Google. Она используется для создания и тренировки нейронных сетей, чтобы они могли автоматически находить и классифицировать образы на уровне человеческого воспр...

[Перевод] Интерпретируемая модель машинного обучения. Часть 1 Всем привет. До старта курса «Machine Learning» остается чуть больше недели. В преддверии начала занятий мы подготовили полезный перевод, который будет интересен как нашим студентам, так и всем читателям блога. Начнем. Пора избавиться от черных ящиков и укрепить веру в ма...

Математики придумали задачу, которую искусственный интеллект не способен решить принципиально Международная группа исследователей систем машинного обучения и искусственного интеллекта пришла к неутешительному выводу – они более ограничены, чем мы полагали. Это проистекает из математической природы их архитектуры и методов работы. Согласно «Теореме о неполноте» Геделя...

«ОТ.Платформа» — платформа для решения различных задач методами машинного обучения Компания «Открытые Технологии» презентовала свою новую разработку — «ОТ. Платформу», выход которой приурочен к юбилею, в этом году «Открытые Технологии» отпраздновали 25-летие. «ОТ.Платформа» — открытая универсальная платформа для ...

Двухбуквенные домены в зоне .COM: кто, где, сколько Недавно Ename опубликовал своё исследование двухбуквенных доменных имён в зоне .СОМ. Благодаря этому мы можем узнать больше о самой престижной и дорогой категории доменов.Всего на текущий момент существует 676 двухбуквенных доменов в зоне .COM. Из них на 378 доменах (55,9%) ...

[Перевод] Специализированные чипы не спасут нас от «тупика ускорителей» Усовершенствования в скорости работы ЦП замедляются, и мы наблюдаем, как полупроводниковая индустрия переходит на карточки ускорителей, чтобы результаты продолжали заметно улучшаться. Больше всего выгоды от этого перехода получила Nvidia, однако, это часть одной и той же т...

[Перевод] Основы RxVMS: RxCommand и GetIt Это четвертая часть моей серии про архитектуру Flutter: Введение Основы Dart Streams RxDart: магические трансформации потоков Основы RxVMS: RxCommand и GetIt (этот пост) RxVMS: Службы и Менеджеры RxVMS: самодостаточные виджеты Аутентификация пользователя посредством RxVMS...

Каждая компания должна быть цифровой В эпоху цифровой трансформации изменения в бизнес-процессах происходят постоянно. На прошедшем в Москве Dell EMC Forum директор по технологиям подразделения конвергентных решений и платформ, Dell EMC в регионе ЕМЕА Найджел Мултон рассказал корреспонденту ComNews как снизить ...

Pointer и Value семантика в определении получателя метода Создание новых типов данных — важная часть работы каждого программиста. В большинстве языков определение типа состоит из описания его полей и методов. В Golang помимо этого нужно решить, какую семантику получателя для методов нового типа использовать: значение (value) или ук...

Что такое любопытство с научной точки зрения? Каждый из нас любопытен по-своему Как вы думаете, что значит быть любопытным? Ученые полагают, что любопытство — это одна из черт личности. У каждого из нас она выражена по-своему. Выходит, одни люди интересуются окружающими, знаниями или ощущениями больше, чем другие....

Встала задача перейти в облако? 7 советов, как не накосячить Компании по всей планете переходят в облака — настоящий «техтонический» сдвиг. Изменения происходят не только из потребности использовать в облаках софт, но и благодаря тому, что компании переосмысливают свои корпоративные стратегии, размещение своих внутренних данных и кон...

Инструменты Метода управления проектной организацией (часть 2) Продолжаю серию публикаций об управлении проектной организацией в условиях когда много нужно выполнять все обязательства в срок и в полном объеме и есть ограничение по ресурсам. В прошлый раз я рассказал о концепции Pulse Management (Метода Пульса, далее «Метод»), а сейчас з...

[Перевод] Как я создал фильтр, не портящий изображение даже после миллиона прогонов — часть 2 В первой части этого поста я рассказал, как многократное применение стандартных halfpel-фильтров создаёт искажённые изображения, а затем показал новый фильтр, не имеющий данной проблемы. Он был немного более размытым и это устроит не всех. Однако он был лучше своих альтер...

Машинное зрение vs интуиция человека: алгоритмы нарушения работы программ распознавания объектов Логика машин безупречна, они не совершают ошибок, если их алгоритм работает исправно и заданные параметры соответствуют необходимым стандартам. Попросите машину выбрать маршрут от точки А в точку Б, и она построит самый оптимальный, учитывая расстояние, расход топлива, нал...

Cisco о лучшем канале для атак, скрытых угрозах и борьбе с киберусталостью В конце октября компания представила итоги исследований Email Security Report, Threat Hunting Report и CISO Benchmark Study, проведенных компанией в 2019 году. Аналитики Cisco изучили актуальные киберугрозы и подготовили рекомендации по противостоянию им. Итоги исследован...

Обнаружение веб-атак с помощью рекуррентных нейронных сетей Обнаружение атак является важной задачей в информационной безопасности на протяжении десятилетий. Первые известные примеры реализации IDS относятся к началу 1980-х годов. Спустя несколько десятилетий сформировалась целая индустрия средств для обнаружения атак. На данный м...

iPhone 11 получит продвинутую технологию для работы с видео Камера iPhone 11 порадует передовыми опциями Меньше двух недель остаётся до презентации iPhone, а мы знаем о новинках почти всё. Утекли не только спецификации, но и будущий дизайн смартфонов. А это значит, что iPhone 11 не станет для поклонников Apple откровением — тем...

[Перевод] Компилируем FFmpeg в WebAssembly (=ffmpeg.js): Часть 3 — Конвертация avi в mp4 Список переведённых частей серии: Приготовления Компиляция с Emscripten Конвертация avi в mp4 (вы тут) В этой части ма разберём: Компиляцию библиотеки FFmpeg с оптимизированными аргументами. Управление файловой системой Emscripten. Разработку ffmpeg.js v0.1.0 и конвер...

[recovery mode] Не только умные колонки. ТОП-7 неочевидных, но перспективных IoT-решений За пару лет развития интернета вещей наиболее продвинутые жители мегаполисов привыкли, что IoT-решения — это крупные проекты, которые оптимизируют технологические процессы — от заводов до ферм. Для большинства же интернет вещей по-прежнем сводится к колонкам-игрушкам, отзыва...

Анализ результатов 2018 Kaggle ML & DS Survey Kaggle — известная платформа для проведения соревнований по машинному обучению на которой количество зарегистрированных пользователей перевалило за 2.5 миллиона. В соревнованиях участвуют тысячи data scientist из разных стран, и Kaggle стал интересоваться тем, что из себя п...

Почему так сложно выбрать, какое кино посмотреть (и что можно было бы сделать) Это — ответ на пост на животрепещущую тему «что посмотреть». Автор сам напросился поднял правильный вопрос, но почему-то свел все к странной психологической аналогии «заедания стресса», заявив: «Пока вы сами не знаете, что хотите посмотреть — никто вам не поможет. Будете туп...

[Из песочницы] Методы сжатия/хранения медиа данных в форматах WAVE и JPEG, часть 1 Здравствуйте! Моя первая серия статей будет направлена на изучение методов сжатия и хранения изображений/звука, таких как JPEG (изобр.) и WAVE (звук), также в них будут примеры программ с использованием этих форматов (.jpg, .wav) на практике. В этой части мы рассмотрим именн...

Новая игра со старой атмосферой на Three.js. Часть 2 В первой части я рассказал о проблемах, с которыми я столкнулся в процессе создания 3D игры под браузер c использованием Three.js. Теперь я хотел бы подробно остановиться на решении некоторых важных задач при написании игры, типа конструирования уровней, определения столкнов...

Как и зачем мы оптимизировали алгоритм очистки SLAB-кэшей в ядре Linux Рост популярности контейнеров и их использование в совокупности с контрольными группами выявили серьезную проблему масштабируемости, которая приводит к значительному падению производительности на больших машинах. Проблема в том, что время обхода SLAB-кэшей зависит квадратичн...

Технологии MEC описала в «Белой книге Common Edge» компания ZTE Компания ZTE Corporation (0763.HK / 000063.SZ), крупный международный поставщик телекоммуникационных решений, а также корпоративных и потребительских технологий для мобильного Интернета, обнародовала технический документ под названием «Белая книга о Common Edge», содержащий...

Canon EOS Ra: полнокадровая камера для астрофотографии Компания Canon представила крайне любопытный аппарат, который создан по образу и подобию устройства EOS R (образца 2018 года). В функциональном плане это «родные братья». Однако EOS Ra — продукт модифицированный. Здесь используется обновленный задерживающий инфракрасный (И...

[Перевод] Решения задач из статьи об идеальной случайности Существует ли объективная, идеальная случайность, или она является следствием нашего неведения? В сентябре было опубликовано несколько задачек, с помощью которых мы изучали случайные процессы в повседневных объектах – замках для велосипеда или головоломках. Давайте теперь ...

Монорепозитории: пожалуйста, не надо (часть 2) Всем привет! Итак, новая порция обещанного холивара про монорепозитории. В первой части мы обсуждали перевод статьи уважаемого инженера из Lyft (и ранее Twitter) о том, какие есть недостатки у монорепозиториев и почему они нивелируют почти все достоинства этого подхода. Лич...

[Перевод] О предвзятости искусственного интеллекта tl;dr: Машинное обучение ищет закономерности в данных. Но искусственный интеллект может быть «предвзят» — то есть, находить неверные паттерны. К примеру, система обнаружения рака кожи по фотографии может обращать особое внимание на снимки, сделанные во врачебном кабинете. ...

Улучшаем работу Wi-Fi. Часть 3. Размещение точек доступа Обычно, когда говорят, что можно повысить качество работы чего-либо, то имеют в виду внедрение каких-либо новинок, обновлений, в общем всего того, что связано с приобретением новой техники. Однако в погоне за техническими новинками иногда упускаются такие важные вещи как ус...

Оптимизатор рабочего календаря Clockwise привлёк $11 млн и открыл доступ к сервису Программа использует технологии машинного обучения и помогает освободить в расписании больше свободного времени.

[Перевод] Топ-5 JS-фреймворков для фронтенд-разработки в 2020 году. Часть 2 Публикуем вторую часть перевода материала, посвящённого пятёрке лучших JavaScript-инструментов для разработки клиентских частей веб-проектов. В первой части речь шла о библиотеке React и о фреймворке Angular. Здесь мы обсудим Vue, Ember и Backbone. Читать дальше →

Процесс выдачи интернет-заказов в «М.Видео» сократился благодаря чат-боту и машинному обучению Ведущим отечественным ритейлером «М.Видео» (Группа «М.Видео – Эльдорадо», относится к ПФГ «САФМАР» М.Гуцериева) был трансформирован процесс выдачи онлайн-заказов в его магазинах. Этому способствовало применение чат-бота и алгоритмов машинного обучения, что позволило сократи...

Книга «Знакомство с PyTorch: глубокое обучение при обработке естественного языка» Привет, Хаброжители! Обработка текстов на естественном языке (Natural Language Processing, NLP) — крайне важная задача в области искусственного интеллекта. Успешная реализация делает возможными такие продукты, как Alexa от Amazon и Google Translate. Эта книга поможет вам из...

[Из песочницы] Волновой метод построения цветовой гаммы Привет, Хабр! В колористике существует несколько методов построения цветовой гаммы (цветовой палитры), основанных на расположении цветов друг относительно друга в цветовом круге и, как правило, имеющих одинаковую яркость. Гармоничность восприятия которых не обоснована в дос...

[Из песочницы] Что такое автоматизированное машинное обучение (AutoML) Что такое автоматизированное машинное обучение (AutoML) и собирается ли оно лишить специалистов по данным (Data Scientists) работы? С того момента как стали появляться инструменты автоматизированного машинного обучения (AutoML), такие как Google AutoML, эксперты обсуждают ...

Как взять сетевую инфраструктуру под свой контроль. Часть третья. Сетевая безопасность. Продолжение Это вторая часть главы «Сетевая безопасность» (которая в свою очередь является третьей частью цикла статей «Как взять сетевую инфраструктуру под свой контроль»). В первой части этой главы мы рассмотрели некоторые аспекты сетевой безопасности сегмента «Data Center». Эта глава...

США потратят $10 миллиардов на «защиту нации» в интернете Как поясняется в бюджетной заявке, деньги пойдут на "защиту сетей, информации и систем Министерства обороны, поддержку целей военного командования и защиту нации".В общей сложности бюджет Министерства обороны в 2020 г. достигнет $718 млрд - это большая часть всех...

Ровные зубы, C++ и математика — как они связаны? Разговор с Align Иногда мне кажется, что чем больше я смотрю на ИТ- индустрию, тем примитивнее становится в голове общая картина. Как будто ИТ — это либо серьезный rocket science, либо очередной сервис, который «позволяет сделать *что-нибудь-еще* всего в один клик». А за пределами этого пр...

Компьютерное зрение как альтернатива офисным пропускам Сегодня я расскажу, как мы делали в офисе пропускную систему на основе сервиса распознавания лиц Vision. Сначала небольшая предыстория. Как в любом почтовом сервисе, мы создали систему антиспама. Такие системы сейчас делаются на основе машинного обучения, у нас им занимает...

Бег — идеальный спорт для удаленщика. Часть 2: физика и матчасть Первая часть статьи, рассказывающая о моем пути к бегу и призванная мотивировать других удалённых айтишников хотя бы попробовать этот вид спорта, нашла живой отклик у сообщества. В комментариях к ней развернулась активная дискуссия, в которой, помимо прочего, было затронут...

[Перевод] Как разрабатываются и производятся процессоры: проектирование ЦП Теперь, когда мы знаем, как работают процессоры на высоком уровне, настало время углубиться в разбор процесса проектирования их внутренних компонентов. Это вторая статья из серии, посвящённой разработке процессоров. Рекомендую изучить для начала первую часть, чтобы вы поним...

Машинное обучение на максимальной скорости: система Predictive Maintenance за четыре месяца Автор: Людмила Дежкина, Solution-архитектор, DataArt Около полугода наша команда работает над Predictive Maintenance Platform — системой, которая должна предсказывать возможные ошибки и поломки оборудования. Это направление стоит на стыке IoT и Machine Learning, работать ...

Как сэкономить ресурсы в браузере и не сломать веб. Доклад Яндекса Несмотря на рост производительности устройств, веб становится всё более требовательным к памяти и процессору. Правильный рендеринг и умное распределение ресурсов по вкладкам — важная часть решения этой проблемы. Константин Крамлих посвятил своё выступление на конференции «Я ...

Цифровая трансформация обучения и аттестации сотрудников Сегодня расскажем о решении, которое помогло автоматизировать процесс непрерывного обучения сотрудников и исключить из этого процесса бумажную работу. Наш клиент — это федеральная компания-производитель. Её мерчендайзеры отвечают за наличие товаров в магазинах, представленн...

Космология и квантовые флуктуации в браузере Зададимся сугубо практической целью — реализовать бесконечный холст с возможностью его перемещения и масштабирования при помощи мышки. Такой холст, например, может служить подвижной системой координат в графическом редакторе. Реализация нашей задумки не так сложна, однако пр...

Хитрости в Machine Learning — работа с несколькими моделями в Keras Это моя первая статья по теме Машинное обучение. С недавнего времени я профессионально занимаюсь машинным обучением и компьютерным зрением. В этой и будущих статьях я буду делиться наблюдениями и решениями специфических проблем при использовании TensorFlow и Keras. В этой ст...

Как выстроить процессы и перестать издеваться над командой Всем привет! Сегодня хотел поговорить о процессах разработки. По мере роста компании не только развивается сам бизнес, но и копятся проблемы внутри, в частности в процессе разработки. Часто их пытаются решить внедрением каких-то практик и новомодных методологий. Увы, это нас...

[Перевод] Disposable ref structs в C# 8.0 Давайте посмотрим, что об этом сказано в блоге о предстоящих изменениях в С# 8.0 (версия Visual Studio 2019 Preview 2): «stack-only структуры появились в С# 7.2. Они чрезвычайно полезны, но при этом их использование тесно связано с ограничениями, например невозможностью реа...

[Перевод] Как реализован рендеринг «Ведьмака 3»: молнии, ведьмачье чутьё и другие эффекты Часть 1. Молнии В этой части мы рассмотрим процесс рендеринга молний в Witcher 3: Wild Hunt. Рендеринг молний выполняется немного позже эффекта занавес дождя, но всё равно происходит в проходе прямого рендеринга. Молнии можно увидеть на этом видео: Они очень быстро исчез...

[recovery mode] Что изучают на специальности Data Science в зарубежных вузах «Будь то компания, предоставляющая финансовые услуги, которая хочет снизить риски, или ритейлер, пытающийся предсказать поведение покупателей, сценарий применения ИИ и машинного обучения основан на эффективной стратегии использования данных», — слова Рёхея Фуджимаки, основат...

Что происходит с искусственным интеллектом? Анализ 16 625 работ за последние 25 лет Практически все, что вы слышите об искусственном интеллекте сегодня, происходит благодаря глубокому обучению. Эта категория алгоритмов работает со статистикой, чтобы найти закономерности в данных, и показала себя чрезвычайно мощной в имитации человеческих навыков, таких как...

Обучение локализации в Вашингтонском университете В этой статье Sub Lead Localization Manager компании Plarium Krasnodar Эльвира Шарипова рассказывает о том, как она проходила онлайн-обучение по программе Localization: Customizing Software for the World. Зачем матерому локализатору становиться студентом? Какие сложности ожи...

Лонгрид об истории российского майнинга и отношения к нему регуляторов Мир знаком с криптовалютами всего 10 лет. При этом в истории майнинга за эти 10 лет уже можно проследить несколько технологических эпох. Подход к майнингу, а если точнее, к устройствам для него, многократно менялся с приходом очередного поколения чипов, годных для создания к...

ИИ выводит аналитику больших данных на новый уровень Как искусственный интеллект (ИИ) и его родственная технология, машинное обучение (МО), помогают находить бизнес-идеи, скрытые в больших данных? Опрошенные порталом Enterprisers Project эксперты рассказывают о преимуществах ...

Сравнение малопопулярных и не очень CLI-библиотек: cliff, plac, plumbum и другие (часть 2) В экосистеме Python существует множество пакетов для CLI-приложений, как популярных, вроде Click, так и не очень. Наиболее распространённые были рассмотрены в предыдущей статье, здесь же будут показаны малоизвестные, но не менее интересные. Читать дальше →

Telegram наносит ответный удар DPI и блокировкам — Fake TLS Telegram тестирует новый вариант обхода блокировок — маскировка трафика под обычный TLS (https). Предистория: Попытки заблокировать Telegram происходят в разных странах, первый вариант блокировки был простым — блокировка IP адресов серверов Telegram. Telegram достаточно ...

Делаем прототип бота для боев в Clash Royale У вас бывало, что вы залипаете в какую-то простенькую игру, думая, что с ней вполне бы мог справиться искусственный интеллект? У меня бывало, и я решил попробовать создать такого бота-игрока. Тем более, сейчас много инструментов для компьютерного зрения и машинного обучения,...

Julia, Градиентный спуск и симплекс метод Продолжаем знакомство с методами многомерной оптимизации. Далее предложена реализация метода наискорейшего спуска с анализом скорости выполнения, а также имплементация метода Нелдера-Мида средствами языка Julia и C++. Читать дальше →

Цифровые инструменты повысят эффективность бурения скважин При строительстве скважин необходимо следить за траекторией бурения для того, чтобы все время оставаться в границах нефтяного пласта. Для этого используют датчики, передающие информацию об окружающей породе с бурового оборудования. Однако сейчас даже самые современные прибор...

Тавтологические тесты, хорошие и плохие Тавтологическими иногда называют тесты, которые слишком тесно связаны с нижележащей имплементацией, буквально повторяя ее шаг-в-шаг. Их регулярно ругают, и в целом, кажется, девелоперы умеют их избегать и распознавать. При давлении менеджмента иногда такие тесты возникают за...

Synet — фреймворк для запуска предварительно обученных нейронных сетей на CPU Введение Здравствуйте, уважаемые хабровчане! Последние два года моей работы в компании Synesis были тесно связаны с процессом создания и развития Synet — открытой библиотеки для запуска предварительно обученных сверточных нейронных сетей на CPU. В процессе этой работы мне...

Supermicro анонсировала решения на базе платформы Red Hat Enterprise Linux 8 Компания Super Micro Computer, Inc. (SMCI), мировой лидер в сфере корпоративных решений для вычислений, хранения данных, сетевого взаимодействия и экологически безопасной обработки данных, представила решения для открытого частного облака на базе ведущей мировой к...

Автоматизация науки: как учёные применяют ИИ, нейросети и машинное обучение Конспект материала научного журналиста Дэна Фока.

Почему традиционные антивирусы не подходят для публичных облаков. И что делать? Все больше пользователей выводят в публичное облако всю свою ИТ-инфраструктуру. Однако в случае недостаточности антивирусного контроля в инфраструктуре заказчика возникают серьезные кибер-риски. Практика показывает, что до 80% существующих вирусов отлично живут в виртуальной...

10 причин, чтобы выбрать решение для SAP HANA от НРЕ. Часть 2 В предыдущей статье мы начали говорить о 10 причинах, чтобы выбрать решение от компании Hewlett Packard Enterprise для SAP HANA и остановились на технических причинах. Предлагаю взглянуть на процесс выбора решения под SAP HANA «глазами вендора». Очень бы хотелось, чтобы эт...

Протокольно ориентированное программирование, часть 3 Завершающая статья на тему протокольно ориентированного программирования. В этой части мы рассмотрим как переменные обобщенного типа хранятся и копируются и как с ними работает метод dispatch. Читать дальше →

[Перевод] Работай асинхронно Асинхронная работа — такой способ организации процесса, когда задачи выполняются на конвейере. Это позволяет полностью контролировать процесс и точно подстроить его под себя. При этом давление и стресс снижаются до нуля, а задачи выполняются быстро и ловко. Ровный и быстр...

[Перевод] Нейросети и глубокое обучение, глава 4: визуальное доказательство того, что нейросети способны вычислить любую функцию В данной главе я даю простое и по большей части визуальное объяснение теоремы универсальности. Чтобы следить за материалом этой главы, не обязательно читать предыдущие. Он структурирован в виде самостоятельного эссе. Если у вас есть самое базовое представление о НС, вы должн...

Алкоголь способствовал политической стабильности древней империи Патрик Райан Вильямс, исследователь из Филдовского музея естественной истории (США), вместе с коллегами из других институтов исследовал обнаруженные во время раскопок остатки глиняных сосудов. Целью работы было определение сырья, использовавшегося для изготовления популярног...

Intel Ice Lake уходит в нирвану: представлен ускоритель нейронных сетей с функцией принятия решений Как сообщают наши коллеги с сайта Tom’s Hardware Guide, на мероприятии Israeli Development Center (IDC) Day в Хайфе компания Intel под брендом Nervana представила новые ускорители нейронных сетей. Речь идёт об ускорителе Nervana Neural Network Processor for Inference (NNP-I)...

Как мы выбирали себе ServiceDesk. Часть 2 Продолжаем писать о нашем выборе системы для оцифровки бизнеса. Как все начиналось, читайте здесь Напомню: мы — сервисная компания, которая решила найти волшебную таблетку для своего бизнеса, благодаря которой «вжух» — и все бизнес-процессы пойдут складно и без перебоев. Ч...

Самостоятельное продвижение сайтов «без воды» В результате вы получите: Самостоятельно подготовленные и проверенные куратором: Семантическое ядро (список запросов для продвижения) Кластеризацию (группировка ключевых слов) Приоритизацию (автоматический выбор лучших групп слов) SEO-аудит сайта ...

[Перевод] Функциональное мышление. Часть 9 Это уже 9 часть серии статей по функциональному программированию на F#! Уверен, на Хабре существует не очень много настолько длинных циклов. Но мы не собираемся останавливаться. Сегодня расскажем про вложенные функции, модули, пространства имен и смешивание типов и функций в...

В Перми появится центр разработки решений для «умного города» Инжиниринговый центр будет заниматься разработкой новых решений для "умного дома", "умного города", платформ для управления энергоресурсами на основе Интернета вещей, 5G, LoRaWan и NB-IoT. На базе центра будут совместно работать специалисты компании, тала...

ИИ помогает быстрее диагностировать рак шейки матки В некоторых случаях обнаружение рака с помощью технологий машинного обучения может быть более чем удобным и стать ключом к постановке диагноза. Microsoft и SRL Diagnostics разработали инструмент ИИ, который помогает выявлять рак шейки матки, освобождая врачей в Индии и други...

Процесс выдачи интернет-заказов в «М.Видео» трансформирован с помощью чат-бота и машинного обучения Пресс-служба российского ритейлера «М.Видео» (Группа «М.Видео – Эльдорадо», относится к Группе «САФМАР» М.Гуцериева) сообщила о том, что процесс выдачи интернет-заказов в ее магазинах видоизменен за счет применения чат-бота и машинного обучения. Благодаря этому, время получе...

OpenWorld: курс на восток. И в облако Международный форум Oracle проводится теперь не только в Сан-Франциско и Лондоне, но и в Азии. Oracle OpenWorld &ndash; один из крупнейших мировых ИТ-форумов, на протяжении многих лет каждую осень собирающий тысячи участников в Сан-Франциско. Кроме того, регулярно пр...

[Из песочницы] Как я ушел из фундаментальной науки в стартап Сегодня ровно шесть месяцев как после двадцати лет в науке я ушел в стартап, разрабатывающий ПО для создания синтетических данных, в котором я занимаюсь интеграцией систем машинного обучения в конечный продукт. Поскольку здесь есть люди, которые еще только решаются на такой ...

[Перевод] Почему сумма трёх кубов – это такая сложная математическая задача Тяжело искать ответы в бесконечном пространстве. Математика уровня старших классов может помочь вам сузить область поисков. Учитывая, что люди изучают свойства чисел тысячи лет, можно было бы решить, что нам известно всё о числе 3. Однако недавно математики обнаружили нечт...

Трансформация кода в Android 2. Анализ AST Первая часть Пример на Github В этой статье расскажу о том, как решал проблемы, с которыми столкнулся в предыдущей части при реализации проекта. Во-первых, при анализе трансформируемого класса, нужно как-то понять, является ли этот класс наследником Activity или Fragment...

[Перевод] JavaScript: вопросы и ответы Недавно в компании SmartSpate решили собрать вопросы, касающиеся JavaScript, и на них ответить. В материале, перевод которого мы публикуем, приведены чуть больше двух десятков вопросов о JavaScript и ответов на них. Спектр затрагиваемых здесь тем достаточно широк. В частност...

[Из песочницы] Организация reducer'а через стандартный класс Приветствую, сегодня я собираюсь поговорить с вами о способе организации Reducer'a. И рассказать с чего я начал и к чему пришел. Итак, есть некий стандарт по организации Reducer и выглядит он следующим образом: export default function someReducer(state = initialState, action...

Полуторасуточный прогноз силы ветра поможет оптимизировать выходную мощность ветрогенераторов Дочерняя компания Alphabet DeepMind была приобретена компанией Alphabet в 2014 году. С 2010 года она разрабатывает программы искусственного интеллекта для решения сложных задач. Согласно недавнему сообщению Google, один из последних проектов DeepMind был сосредоточен на пр...

[Перевод] Отладка игр для NES: как она происходит сегодня Если вы когда-нибудь занимались программированием, то знакомы с концепцией багов. Если бы они нам не досаждали, процесс разработки стал бы намного быстрее и приятней. Но эти баги просто ждут момента, чтобы испортить наш код, рабочий график и творческий поток. К счастью, сущ...

[Перевод] TensorFlow на Apache Ignite С чего начинается родина мы все знаем, а глубокое обучение начинается с данных. Без них невозможно обучить модель, оценить ее, да и вообще использовать. Занимаясь исследованиями, увеличивая индекс Хирша статьями о новых архитектурах нейронных сетей и экспериментируя, мы опир...

Датасеты по ИБ для машинного обучения В презентации по машинному обучению в ИБ я приводил слайд с примерами датасетов, которые можно использовать в своих проектах по машинному обучению. У меня несколько человек попросили ссылок на них, что я и делаю.

“ОТ.Платформа” упрощает прикладное использование машинного обучения Свой 25-летний юбилей системный интегратор «Открытые технологии» отметил выпуском на рынок собственной программной разработки — платформы для решения прикладных задач методами машинного обучения (МО). Разработка, получившая наименование ...

Как приобщать детей к IT и как работать с ML в .NET: интервью с Дмитрием Сошниковым (Microsoft) Многие дотнетчики знают Дмитрия shwars Сошникова (Microsoft) по его докладам, связанным с машинным обучением. А сейчас миры ML и .NET сближаются благодаря технологии ML.NET, так что очень пригодился бы новый доклад — и на DotNext он как раз будет (даже два, от Дмитрия и от...

Что лучше для продвижения в другой стране – отдельный домен, поддомен или папка? Вопрос пользователя: Есть англоязычный сайт “site.com”. Необходимо сделать русскоязычный сайт для продвижения по России и СНГ, в Яндексе и в Гугле. Что выбрать: отдельный домен “site.ru”, поддомен “ru.site.com” или папку “site.com/ru...

Исследователи из Google учат ИИ распознавать запахи В отличие от определения цветов, которые легко идентифицируются по длине волны, определение запахов по молекулам отличается крайней неоднозначностью. Часто даже два человека могут один и тот же аромат описать по-разному. А ведь в строении молекул есть ещё так называемые хира...

К дню космонавтики. Продолжение истории советского баллистического центра «Земля слушает». Нестеров.В.Д. 1965 год Моя прошлая статья с, возможно, претенциозным названием вызвала оживленную дискуссию. Чтобы дать ответы на часть вопросов, я решил выложить письмо Платонова полностью, без какой-либо редактуры. Тем более что оно представляет историче...

Что важнее при кластеризации – интент запроса, или пересечения по ТОПам? Пример Вопрос пользователя: Есть информационный ключ (например «маска с репейным маслом против выпадения волос») При кластеризации мне его нужно распределить в одну из групп «репейная маска для волос» или «маска против выпадения волос» Если смотреть по топу, то пересечение по трем ...

[Перевод] Механизмы выделения памяти в Go Когда я впервые попытался понять то, как работают средства выделения памяти в Go, то, с чем я хотел разобраться, показалось мне таинственным чёрным ящиком. Как и в случае с любыми другими технологиями, самое важное здесь скрывается за множеством слоёв абстракций, сквозь кото...

[Перевод] Как сделать контейнеры еще более изолированными: обзор контейнерных sandbox-технологий Несмотря на то, что большая часть ИТ-индустрии внедряет инфраструктурные решения на базе контейнеров и облачных решений, необходимо понимать и ограничения этих технологий. Традиционно Docker, Linux Containers (LXC) и Rocket (rkt) не являются по-настоящему изолированными, пос...

[recovery mode] Как учиться с помощью машинного обучения у экспертов в Dota 2 В предыдущей статье от Питерской Вышки мы показывали, как при помощи машинного обучения можно искать баги в программном коде. В этом посте расскажем о том, как мы вместе с JetBrains Research пытаемся использовать один из самых интересных, современных и быстроразвивающихся ра...

Фишки VS Угрозы технологии контейнеризации Использование контейнеров для разработки и развёртывания софта давно превратилось в стандартную практику. Возможность с лёгкостью обеспечить программе стандартное окружение, независимое от хоста, на котором она выполняется, быстро изменить настройки, добавить или изменить ка...

[Перевод] Courier: мигрирование Dropbox на gRPC Примечание переводчика Большинство современных программных продуктов не являются монолитными, а состоят из множества частей, которые взаимодействуют друг с другом. При таком положении дел необходимо, чтобы общение взаимодействующих частей системы происходило на одном языке...

Век живи — век учись. Часть 4. Учись, работая? — Хочу прокачаться и пройти CCNA курсы Cisco, тогда я смогу перестроить сеть, сделать её более дешёвой и безотказной, поддерживать на новом уровне. Поможете с оплатой? — сисадмин, отработавший 7 лет, смотрит на директора. — Я тебя обучу, а ты уйдёшь. Что я, дурак? Иди, работ...

От монолитов к микросервисам: опыт «М.Видео-Эльдорадо» и «МегаФона» 25 апреля мы в Mail.ru Group провели конференцию про облака и вокруг — mailto:CLOUD. Несколько хайлайтов: На одной сцене собрались основные российские провайдеры — про специфику нашего облачного рынка и своих сервисов говорили Mail.ru Cloud Solutions, #CloudMTS, SberClou...

Неопределённое поведение в C++ Ситуация, когда код на языке C++ синтаксически валиден, однако его поведение не определено в Стандарте, в русскоязычной литературе часто называют просто неопределённым поведением. В самом же Стандарте для таких ситуаций существуют целых 3 термина: undefined behavior, unspec...

Greenplum 6: обзор новых фич Вот уже 16 лет как открытая массивно-параллельная СУБД Greenplum помогает самым разным предприятиям принимать решения на основе анализа данных. За это время Greenplum проник в различные сферы бизнеса, в числе которых: ритейл, финтех, телеком, промышленность, e-commerce. Го...

Обзор бесплатного инструмента SQLIndexManager Как известно индексы играют важную роль в СУБД, предоставляя быстрый поиск к нужным записям. Потому так важно их своевременно обслуживать. Об анализе и оптимизации написано достаточно много материала, в том числе и в Интернете. Например, недавно делался обзор данной темы в э...

Конференция «Технологии искусственного интеллекта» 22 мая 2019. Промокод 15% на участие 22 мая состоится международная практическая конференция «Технологии искусственного интеллекта 2019. Делаем информационные системы умными: инструменты и опыт реальных проектов». Читателям портала предоставляется скидка 15% на покупку билета по промокоду realITSM. В программе...

[Перевод] Конференция BLACK HAT USA. Разбогатеть или умереть: зарабатываем в Интернете методами Black Hat. Часть 2 Конференция BLACK HAT USA. Разбогатеть или умереть: зарабатываем в Интернете методами Black Hat. Часть 1 Существует сайт под названием Hire2Hack, который тоже принимает заявки на «восстановление» паролей. Здесь стоимость услуги начинается от $150. Я не знаю об остальном, но...

4 приема, которые помогли нам оптимизировать frontend В трендах дизайна уже давно засели красивые анимации. UI-дизайнеры делают выверенные «карусели», загрузки, анимации меню и другие украшения, а frontend разработчики переводят их в код. Но сайт должен не только хорошо выглядеть, но и быстро работать. Современный «фронтенд» до...

За год количество точек доступа Wi-Fi, не идентифицирующих пользователей, сократилось в два раза В течение 2018 года в общественных местах было проверено более 52,5 тыс. точек доступа Wi-Fi, что на 35% больше, чем в 2017 году. Больше всего проверено точек в Сибирском (17 234) и Центральном (10 849) федеральных округах.При этом количество точек доступа Wi-Fi, работающих ...

Машинное обучение помогает находить ошибки в Firefox Инструментарий Clever-Commit умеет находить плохой код

Контент-маркетинг на английском языке: 5 важных цифр в помощь стартапам Контент-маркетинг – эффективный метод продвижения стартапа за рубежом. Существуют способы привлечения сотен и тысяч пользователей даже с бюджетом всего в $200. Однако подходить к созданию корпоративного контента нужно с умом. Я отобрал 5 важных статистических показателей...

«Балтика» перешла на электронный документооборот через облако Решение было разработано компанией "Монолит-Инфо" и является первым в своём роде промышленным решением на российском рынке на базе облачной платформы Microsoft Azure и новейшего сервиса Azure SQL Database Managed Instance, который был специально разработан для мас...

Сергей Сахненко возглавил Экспертный совет по развитию радиоэлектронной промышленности В состав совета вошли 27 экспертов: представители федеральных органов власти, отраслевых ассоциаций, ведущих отраслевых научных организаций, компаний радиоэлектронной отрасли. Главой совета назначен индустриальный директор радиоэлектронного комплекса Госкорпорации Ростех Сер...

Нетривиальные метрики эффективности рекламных кампаний При анализе цепочек рекламных каналов некоторые достаточно простые, но полезные идеи проскакивают незамеченными. Хорошо знакомые с математикой аналитики сразу стремятся погрузиться машинное обучение, а  далекие от математики аналитики вообще не очень понимают, куда и как смо...

[recovery mode] IT в Армении: стратегические секторы и технологические сферы страны Быстрое питание, быстрые результаты, быстрый рост, быстрый интернет, быстрое обучение… Скорость стала неотъемлемой частью нашей повседневной жизни. Мы хотим, чтобы все было проще, быстрее и лучше. Постоянная потребность в большем количестве времени, скорости и производител...

PHDays 9: разбор заданий AI CTF Тема безопасности машинного обучения довольно хайповая последнее время и хотелось затронуть именно практическую ее сторону. А тут повод крутой — PHDays, где собираются самые разные специалисты из мира ИБ и есть возможность привлечь внимание к этой теме. В общем-то мы сделал...

[Перевод] AMD Radeon VII: рывок в High-End (часть 2) Часть 1 >> Часть 2>>Часть 3 Тесты Из-за изменений SMU, упомянутых ранее, никакие сторонние утилиты не могут считывать данные Radeon VII, хотя патчи ожидаются в ближайшее время. Инструменты партнеров, такие как MSI Afterburner, должны поддерживать новый SMU. В цел...

[Перевод] Хватит отвергать отличных соискателей своими неправильными вопросами По тону голоса сразу было ясно, что вице-президент по технологиям был недоволен. Он практически рычал на меня. Он только что закончил беседовать с соискателем по имени Ананд, которого я ему направила, и звонил мне, чтобы сообщить о своём отказе. Всего за несколько минут д...

[Перевод] Unreal Engine 4 — шейдер горения Это небольшой шейдер, который появился, когда я думал о различных методах применения flowmap. Существуют много эффектов перехода/растворения, но большинство из них выглядит довольно статично, так как они используют статические текстуры. Данный шейдер далек от совершенства, н...

Обзор IT-Weekly (14.01 – 20.01.2019) За год количество точек доступа Wi-Fi, не идентифицирующих пользователей, сократилось в два раза. по всем случаям нарушений были приняты меры в соответствии с законодательством...

[Перевод] Понимание разницы между СI и СD: «если что-то вызывает боль, делайте это почаще» Disclaimer. Костис Капелонис — Developer advocate (человек, защищающий и отстаивающий принципы программной разработки) Codefresh, первой платформы CI/CD для Kubernetes и контейнеров. Миссия Codefresh «Автоматизировать и упрости всё, от кода до облака». Как инженер-программис...

Разработано руководство для защиты интернета вещей Документ Security Maturity Model (SMM) Practitioner’s Guide позволит владельцам, вендорам, интеграторам систем интернета вещей определить цели безопасности для этих систем, понять текущее положение дел и обозначить шаги, которые они должны сделать для достижения намеч...

Результаты исследования компании Zebra: технологии лидируют Компания Zebra Technologies провела исследование «Future of Field Operation», в котором выяснила, что думают современные компании о текущей ситуации в сфере технологий. Согласно исследованию, большинство компаний будут инвестировать в передовые технологии,...

Крупный российский бизнес готов эмигрировать в облако Как сообщает пресс-служба ПАО "Сбербанк", в топ-5 драйверов внедрения облачных технологий вошли: снижение расходов организации (35, 13 и 20% представителей крупного, среднего и малого бизнеса соответственно); упрощение взаимодействия подразделений (32%, 27% и 24%); сокращени...

Яндекс вручил научную премию гомельчанину на 11 500 BYN &lt;p style='color: #333333; font-family: Georgia, &#39;Times New Roman&#39;, &#39;Bitstream Charter&#39;, Times, serif; font-size: 13px; line-height: 19px'&gt;&lt;strong&gt;В Москве&nbsp;состоялась первая церемония вручения науч...

Возрастание роли управления знаниями для ИТ-поддержки Легко думать, о знаниях и практике управления ими, как о чем-то, что помогает персоналу ИТ-поддержки выполнять свою работу; и, таким образом, лучше обслуживать как свою организацию, так и конечных пользователей. Но давайте не будем забывать о двух дополнительных случаях испо...

Самые короткие научные статьи Математика В 2005 году ученые Джон Конуэй (John Conway) и Александр Сойфер (Alexander Soifer) решили написать «самую короткую научную статью по математике в мире». Непосредственно тело статьи состоит из двух слов (и двух иллюстраций — в них содержится ответ на вопрос, постав...

Второй чемпионат по программированию: разбираем задачи ML-трека В октябре состоялся второй чемпионат по программированию. Мы получили 12 500 заявок, более 6000 человек попробовали свои силы в соревнованиях. В этот раз участники могли выбрать один из следующих треков: бэкенд, фронтенд, мобильную разработку и машинное обучение. В каждом тр...

Повестка Теплицы: шрифт для Google, виртуальная нейрохирургия, облачный планшет Важные события дня по мнению редакции Теплицы. Google представила шрифт для быстрого чтения  Компания разработала новый шрифт без засечек Lexend. Он создан для повышения скорости чтения документов и таблиц. Чтобы применить Lexend, нужно перейти в меню «Шрифты» на...

Выбираем блокчейн для своего бизнес-проекта: какое решение наиболее целесообразно Технология блокчейн уже пережила период становления и хайпа, драматические падения и, кажется, вошла в фазу практического осмысления и развития. Ошибочно считать, что блокчейн универсален и способен решить все существующие проблемы. Массовое закрытие ICO-проектов, собравших ...

Доверяй, но проверяй! Как проверить свою модель с помощью облака IBM (Watson OpenScale) Проблема доверия предсказаниям, сделанных моделями машинного обучения, становится все более и более актуальна. Чем существеннее решение, принимаемое на основании этого предсказания, тем меньше доверия. Вызвано это в первую очередь тем, что далеко не всегда понятно, что же ...

[Перевод] Нейросети и глубокое обучение: онлайн-учебник, глава 6, ч.1: глубокое обучение Содержание Глава 1: использование нейросетей для распознавания рукописных цифр Глава 2: как работает алгоритм обратного распространения Глава 3: ч.1: улучшение способа обучения нейросетей ч.2: почему регуляризация помогает уменьшать переобучение? ч.3: как выбрать гиперпара...

Слабым звеном в защите конечных точек является персонал Для оценки особенностей обеспечения ИБ на конечных точках аналитики "Кода безопасности" опросили 220 специалистов ИБ-подразделений организаций из 10 отраслей: госсектор, здравоохранение, ИТ и телеком, образование, промышленность, транспорт, топливно-энергетический ...

AI2019: железная основа искусственного интеллекта На конференции «Технологии искусственного интеллекта 2019» о своих «умных» чипах рассказали представители ведущих «процессорных» компаний. В разговорах &laquo;про искусственный интеллект&raquo; наибольшее внимание обычно уделяется нейросетям, методам обучения и т....

TeamLead Conf: «MBA digital-у не товарищ» Для мира digital характерен быстрый карьерный рост, который заставляет молодых управленцев переключаться с освоения фундаментальных идей того же MBA на тренинги, лекции и митапы, поскольку они позволяют еще больше ускорить процесс. Однако в том и в другом случае точного отве...

[Из песочницы] Крибле Карбле Gradle: магия автоматической сборки Разработчики облегчают жизнь людям, а Gradle — разработчикам. Если вы пишете на Android, эта статья для вас. Читайте о том, что за зверь этот Gradle (спойлер: он слон), а также — как с ним работать. Gradle — система автоматической сборки, которую используют для упрощения раб...

[Из песочницы] Фундаментальная проблема тестирования Введение Добрый день, хабровчане. Решал я тут давеча тестовое задание на вакансию QA Lead для одной финтех компании. Первая задача, составить тест-план с полным чек-листом и примерами тест-кейсов для проверки электрического чайника, решается тривиально: ГОСТ 7400-81. Электр...

Центр цифровых прав приглашает на Privacy Day 2019 28 февраля 2019 в Москве пройдет Privacy Day 2019 — первая в России тематическая конференция, посвященная приватности в сети и защите персональных данных. В рамках российской конференции будут обсуждаться регулирование, кейсы, методы корректной работы с ПД, использование да...

Ищем поломку в авто по звуку: призываем немного машинного обучения для поиска аномалий в работе двигателя В школьные годы у меня был одноклассник, который мог послушать, как работает машина во дворе, и с серьезным лицом вынести вердикт: все в порядке, или что-то сломалось, и нужно срочно бежать за новыми деталями/маслом/инструментами! Я, как абсолютный чайник в автомобильном дел...

[Перевод] Деплоим ML проект, используя Flask как REST API, и делаем доступным через приложение на Flutter Введение Машинное обучение уже везде и, пожалуй, почти невозможно найти софт, не использующий его прямо или косвенно. Давайте создадим небольшое приложение, способное загружать изображения на сервер для последующего распознавания с помощью ML. А после сделаем их доступными ...

[Перевод] Наследование в JavaScript с точки зрения занудного ботаника: Фабрика Конструкторов Это история об одной очень специальной части JavaScript, самого используемого искусственного языка в мире в настоящее время (2019). В статье представлен своего рода философский взгляд на Наследование в JavaScript, и я смею лишь надеяться, что он основан на самом впечатляюще...

Как измерить эффективность и решать проблемы разработчиков, если у тебя их сто Вопрос о том, как оценить эффективность процесса разработки существует столько же, сколько и сама разработка. Часто девелоперы могут придерживаться идеи, что нужно просто качественно писать код, а вот все эти оптимизации, митинги, трекинг активности и так далее — менеджерска...

От моделирования процессов к проектированию автоматизированной системы (Часть 2) «Один день из жизни белки» или от моделирования процессов к проектированию автоматизированной системы учёта материальных ценностей «Белка-1.0» (Часть 2) Использована иллюстрация к "Сказке о царе Салтане" А.С.Пушкина, изд."Детская литература", Москва, 1949 год, Ленинград, ри...

Самый быстрый суперкомпьютер в мире побил рекорд искусственного интеллекта На западном побережье Америки самые ценные компании мира пытаются сделать искусственный интеллект умнее. Google и Facebook хвастают экспериментами с использованием миллиардов фотографий и тысяч высокопроизводительных процессоров. Но в конце прошлого года проект в восточной ...

[Перевод] Применение интегрирования Монте-Карло в рендеринге Все мы изучали в курсе математики численные методы. Это такие методы, как интегрирование, интерполяция, ряды и так далее. Существует два вида числовых методов: детерминированные и рандомизированные. Типичный детерминированный метод интегрирования функции в интервале выгля...

Введение в машинное обучение Полный курс на русском языке можно найти по этой ссылке. Оригинальный курс на английском доступен по этой ссылке. Читать дальше →

[Из песочницы] Захват сигнала мышечной активности в систему машинного обучения Около года назад ко мне пришла идея создания открытого фреймворка для нейроинтерфейсов. Читать дальше →

Ведущие производители анонсируют корпоративные серверы на базе процессоров NVIDIA для аналитики данных Cisco, Dell EMC, Fujitsu, Hewlett Packard Enterprise, Inspur, Lenovo и Sugon предлагают серверы на базе NVIDIA T4, оптимизированные для ускоренных приложений для аналитики данных на базе CUDA-X AI, машинного и глубокого обучения

[Перевод] Не соглашайтесь разрабатывать то, чего не понимаете С начала 2018 года я занимаю должность лида/начальника/ведущего разработчика в команде — называйте это как хотите, но суть в том, что я целиком отвечаю за один из модулей и за всех разработчиков, которые над ним работают. Эта позиция открывает мне новый взгляд на процесс р...

10 наивных, но важных вопросов о CRM Трудно быть боссом. Особенно это трудно в малом и среднем бизнесе, когда ты хоть и являешься владельцем компании, всё равно попадаешь в некоторую зависимость от подчинённых, их результативности и трудоспособности. С одной стороны ты ждёшь от них честный и профессиональный по...

NB-IoT, Narrow Band Internet of Things. Общая информация, особенности технологии Добрый день всем! Здесь описывается NB-IoT с точки зрения оконечных устройств и простых пользователей. Так как информации много, то разобью её на несколько частей. В этой части обсудим общую информацию, особенности технологии NB-IoT и состояние на начало 2019 г. Читать даль...

В Тыве нашли древнее море Согласно результатам анализа собранных образцов, море существовало 470 миллионов лет назад и в него впадало несколько рек с окружающих гор. Поскольку древесных растений в ордовикском периоде (485−443 млн. лет назад) еще не было, ученым не так-то просто определить границы дре...

[Перевод] Изучаем Docker, часть 2: термины и концепции В первой части перевода серии материалов, посвящённых Docker, мы сделали общий обзор этой системы. В частности, мы говорили о том, почему технологии контейнеризации важны в наше время, о том, что такое контейнеры Docker, и о том, с чем их можно сравнить. Сегодня мы поговорим...

Как в Яндекс.Такси ищут машины, когда их нет Хороший сервис для заказа такси должен быть безопасным, надёжным и быстрым. Пользователь не станет вдаваться в детали: ему важно, чтобы он нажал кнопку «Заказать» и как можно быстрее получил машину, которая доставит его из точки А в точку Б. Если рядом нет машин — сервис д...

Миссия «Чанъэ-4» — результаты пятого лунного дня: проблемы с ровером «Юйту-2» и новое научное открытие Аппараты миссии «Чанъэ-4» (спускаемый модуль и ровер) успешно выполнили научные исследования во время своего пятого лунного дня на обратной стороне Луны, прислав на Землю уже более 6,6 GB научных данных, а анализ части из них, полученных с помощь спектрометра ровера «Юйту-...

[Из песочницы] Многоуровневое управление освещением на базе КТС НПЛ Управление освещением из нескольких мест и многоуровневое управление освещением в жилом секторе становится все более популярным. Стандартные решения — это использование импульсных реле или ПЛК, но есть и другое решение — Комплекс Технических Средств Непрограммируемой Логи...

Обучение Data Science внутри компании и тематический митап в Воронеже 25 мая в Воронеже пройдет вторая встреча Metaconf, на этот раз посвященная машинному обучению. В программе митапа — пять докладов, бесплатная регистрация доступна здесь. В частности, Антон Долгих, эксперт DataArt по AI-проектам в области здравоохранения, будет говорить о «...

[Перевод] Учебный курс по React, часть 12: практикум, третий этап работы над TODO-приложением В сегодняшней части перевода курса по React мы предлагаем вам выполнить практическое задание по формированию наборов компонентов средствами JavaScript и продолжить работу над TODO-приложением. → Часть 1: обзор курса, причины популярности React, ReactDOM и JSX → Часть 2: ф...

Работа не волк, часть 2. Пройти босса и выжить на испытательном сроке Новая работа — маленькая (а иногда и не очень) новая жизнь. Самое главное это начать её правильно, чтобы верный старт стал началом отличного пути. После того, как вы прошли HR-а, остаётся два важных шага: пройти собеседование с руководителем и удачно завершить испытательный ...

Могут ли машины обладать сознанием? Хотя нейробиологи добились удивительных успехов, происхождение сознания у людей — и его природа и процессы — все еще остаются в значительной степени неизвестными; основные физиологические механизмы, которые делают существ сознательными, до сих пор не совсем понятны. Однако,...

Словарь рекламных метрик.  CTR, CPI, CPM, CPC, CR Для того, чтобы оценить качество рекламных компаний существует большое количество различных метрик. Все они давольно таки простые для понимания, но чтобы было проще ориентироваться, в данном посте будут описаны основные из них. Разберем один из стандартных процессов попа...

Код живой и мёртвый. Часть третья. Код как текст Для сопровождения программы код приходится читать, и тем это делать проще, чем больше он похож на естественный язык, — тогда быстрее вникаешь и сосредотачиваешься на главном. В прошлых двух статьях я показал, что тщательно выбранные слова помогают лучше понимать суть написан...

[Из песочницы] От моделирования процессов к проектированию автоматизированной системы (Часть 1) «Один день из жизни белки» или от моделирования процессов к проектированию автоматизированной системы учёта материальных ценностей «Белка-1.0» (Часть 1) Использована иллюстрация к "Сказке о царе Салтане" А.С.Пушкина, изд."Детская литература", Москва, 194...

[Из песочницы] Как я обучал нейросеть для реализации функции оценки положения на Russian AI Cup CodeBall 2018 Имея возможность качественно оценить положение в игре в какой-то момент времени и возможность симулировать игровой мир, при создании бота, для одного из решений, остается лишь стремиться совершать такие действия, которые приводят к улучшению этой оценки в ближайшем будущем. ...

Как создать фундамент для машинного обучения Хотя машинное обучение может показаться огромной и сложной задачей, создать инфраструктуру для проектов в этой области проще, чем многие думают, пишет главный технолог и член правления компании Exasol Матиас Голомбек на портале InformationWeek Машинное ...

Устройства Ubiquiti и других вендоров уязвимы для взлома Злоумышленники эксплуатируют брешь сетевого оборудования Ubiquiti для проведения DDoS-атак. В настоящее время взломщики только начали экспериментировать с незащищенными портами, однако специалисты прогнозируют разрушительные сценарии, если производитель не устранит брешь. Вп...

Навигация внутри Android приложения Введение При Андроид разработке мы используем разные архитектурные решения(паттерны). Например Mvp, Mvvm, Mvi и т.д… Каждый из этих паттернов решает несколько важных задач и поскольку они не идеальны они нам оставляют кое-какие нерешенные задачи. К примеру этих задач относят...

[Перевод] 10 шагов к успешному Python-проекту Материал, перевод которого мы сегодня публикуем, посвящён инструментам, которые позволяют оснащать Python-проекты средствами форматирования кода, тестирования, непрерывной интеграции и анализа зависимостей. Это помогает ускорить процесс разработки, способствует повышению кач...

Машинное обучение и обработка естественного языка объединяются для истолкования намерений людей Семантика на базе машинного обучения и обработки естественного языка расширит возможности аналитики, пишет …

Обнаружен квадриллион способов создания нашей Вселенной в теории струн Физики, которые блуждали по «ландшафту» теории струн — пространства из миллиардов и миллиардов математических решений теории, в которой каждое решение предоставляет уравнения, с помощью которых физики пытаются описать реальность — наткнулись на подмножество таких уравнений,...

Проблемы пакетной обработки запросов и их решения (часть 1) Практически все современные программные продукты состоят из нескольких сервисов. Часто большое время отклика межсервисных каналов становится источником проблем с производительностью. Стандартное решение такого рода проблем — это упаковка нескольких межсервисных запросов в од...

[Перевод] До Netscape: забытые веб-браузеры начала 1990-х Кто-нибудь помнит Erwise? Viola? Cello? Давайте вспоминать. Когда в 1980-м Тим Бернерс-Ли прибыл в ЦЕРН, знаменитую европейскую лабораторию физики частиц, его наняли для обновления контрольных систем нескольких ускорителей частиц. Но изобретатель современной веб-страницы п...

«И так сойдет»: что облачные провайдеры не договаривают о персональных данных Пришла как-то к нам заявка на услуги облака. Мы прикинули в общих чертах, что от нас потребуется, и отправили в ответ список вопросов для уточнения деталей. Затем проанализировали ответы и поняли: заказчик хочет размещать в облаке персональные данные второго уровня защищенно...

Машинное обучение Google блокирует спам с эффективностью 99,9% В своём блоге компания Google сообщила об использовании машинного обучения на базе TensorFlow, которое блокирует попадание спама на Gmail.

Изучаем MITRE ATT&CK. Mobile Matrices: Device Access. Часть 5 Обзор (Discovery) и Боковое перемещение (Lateral Movement) Ссылки на все части: Часть 1. Первоначальный доступ к мобильному устройству (Initial Access) Часть 2. Закрепление (Persistence) и Эскалация привилегий (Privilege Escalation) Часть 3. Получение учетных данных (Creden...

[Перевод] Так много JDK… Какой использовать и чем это грозит? От переводчика: Решение перевести эту статью пришло не само собой — скорее это вынужденная мера :). К нам, как к вендорам фреймворка CUBA, обращаются с этим вопросом с завидной регулярностью. Безусловно, для нас это тоже крайне важная тема, и в ответ на последние изменения м...

[Перевод] Почему у CockroachDB меняют Open Source-лицензию Прим. перев.: Гибкость и свободы, предлагаемые Open Source-лицензиями, позволили современным поставщикам крупных SaaS-решений поставить под большой вопрос успешность бизнеса у небольших компаний, стоящих за разработкой востребованных Open Source-проектов. В этой заметке от а...

[Из песочницы] Решето Сундарама Решето Сундарама в сети представлено большим количеством источников краткой справочной информации. Тем не менее, я решил изложить то, что хотел бы прочитать сам в начале изучения теоретико-числовых алгоритмов. Решето Сундарама входит в тройку известнейших методов генерации ...

Установка и настройка Sonata Admin на Symfony 4 Приветствую всех. В данной статье поговорим об Symfony 4 и Sonata Admin. В процессе установки я столкнулся с массой неточностей в документации и сама документация была раскидана по нескольким местам. Здесь я рассмотрю весь процесс, начиная от создания проекта и заканчивая а...

[Из песочницы] Реляционно-сетевая модель данных Реляционная модель потеряла свою исключительность Требования функциональности и структурированности баз данных (БД), наиболее полно реализованные в реляционных системах, сейчас находятся под давлением новых требований. Первая проблема – низкая эффективность для больших дан...

[Перевод] Анонимность – иллюзия. По данным из обезличенных датасетов можно идентифицировать реальных людей Theguardian.com опубликовал выводы из исследования, сделанного двумя именитыми вузами: Бельгийским университетом CLouvain и Imperial College London: ученые подтверждают, что существует множество способов связать любые анонимные данные с реальными людьми. К примеру, данные...

ИИ помогает покупать билеты в приложении «Аэроэкспресс» В обновленной версии приложения «Аэроэкспресс» используется модуль автоматического распознавания документов Smart IDReader, который делает процесс покупки билетов быстрым и безопасным. Разработчик внедренной технологии искусственного интеллекта - российская компания S...

Изучаем Adversarial Tactics, Techniques & Common Knowledge (ATT@CK). Часть 7 Часть 7. Обнаружение (Discovery) Ссылки на все части: Часть 1. Получение первоначального доступа (Initial Access) Часть 2. Выполнение (Execution) Часть 3. Закрепление (Persistence) Часть 4. Повышение привилегий (Privilege Escalation) Часть 5. Обход защиты (Defense Evasion) ...

Планшет Samsung Galaxy Tab S5e толщиной всего 5,5 мм Компания Samsung официально представила планшет Galaxy Tab S5e, который трудно превзойти с точки зрения портативности. Его металлический корпус очень тонкий, всего 5,5 мм, а вес составляет 400 г. Есть обложка с клавиатурой, которую вы можете использовать в режиме DeX. ...

Как начать карьеру еще в вузе: рассказывают выпускники пяти профильных магистратур На этой неделе в нашем блоге на Хабре вышла целая серия материалов о том, как проходит обучение и практика в магистратуре Университета ИТМО: Магистранты факультета ИТ и программирования делятся опытом Образовательный процесс и работа со светом в нашей магистратуре Учеба и ...

Проверка проекта CDK с помощью статического анализатора IntelliJ IDEA Я решил потестировать статический анализатор Java-кода IntelliJ IDEA и с его помощью проверил проект The Chemistry Development Kit. Здесь я приведу некоторые ошибки, которые я нашёл. Думаю, что часть из них характерна для Java-программ в целом, поэтому могут быть интересны. ...

[Из песочницы] Редактирование видео в MPC с помощью шейдеров Есть задача: Изменить видео “на лету” при воспроизведении — поменять местами правую и левую часть. Не отразить, а именно поменять, т.е. разрезать картинку на две части и поменять их местами. Можно, конечно, сделать с помощью фреймсервера типа AviSynth'a, но это уже не совсем...

Как анимировать фотографии на Android Создание анимации придаст вашим снимков больший шарм Сегодня практически все имеющиеся смартфоны способны делать крутые снимки и красивой фотографией уже никого не удивишь. То же самое касается и видеороликов. С тех пор, как Instagram дал возможность публиковать видео длиной...

Deep TabNine – инструмент на базе искусственного интеллекта, который помогает писать код За прошедший год искусственный интеллект заметно улучшил свои способности генерировать письменную речь. Сканируя массивные данные, программа на базе машинного обучения может создавать практически всё, начиная от коротких рассказов до текстов песен. Теперь эти же методы приме...

Энергия, тепло и вода: часть вторая Рассмотрим следующий этап развития схемы умного дома из подручных средств :) (продолжение, первая статья тут). Решаемые задачи: Защита от протечек + Удалённое управление + Знать состояние ввода воды (перекрыто или открыто) Знать давление и температуру теплоносителя в кон...

Цифровой дирижер: кто такой Chief Data Officer и почему он нужен вашей компании уже сегодня Директор по данным позволяет реализовывать инновационные решения и использовать потенциал данных, которые важны в контексте повышения прибыли и дальнейшего роста бизнеса. Дискуссия о важности новых технологий для бизнеса ведется уже несколько десятилетий. Тем не менее все...

Немного о простом. Тест-дизайн. Часть 1 Сегодня тестирование ПО, один из ключевых процессов создания продукта. Неважно, какую Вы используете методологию, подход, процесс, тестирование ПО так или иначе всегда существует в Вашем процессе. В последние годы (да даже наверное десятилетие) тестирование ПО сформировалось...

Интеллектуальные технологии - ключ к цифровой трансформации SAP SE анонсировал результаты исследования, проведенного совместно с Forrester Consulting, об интеллектуальных технологиях и их значении для цифровой трансформации предприятия. Чтобы принять участие в исследовании, компании должны были соответствовать двум важным критериям...

[Из песочницы] Программирование для не-программистов. Биография джуна Мне за сорок. По образованию лингвист, работаю в научной сфере. С программированием никогда не сталкивался, хотя формально в школе проходил уроки по информатике, которые, собственно, свелись к набору программы на Бэйсике из методички и к лицезрению загадочного ДОСа на компью...

Не очередной язык программирования. Часть 3: Физика Третья и заключительная часть серии статей о языке lsFusion (ссылки на первую и вторую части) В ней речь пойдет о физической модели: всем том, что не связано с функционалом системы, а связано с ее разработкой и оптимизацией производительности, когда данных становится слиш...

Intel работает с Facebook над созданием ИИ-чипа, который выйдет в этом году Корпорация Intel сделала немало важных анонсов во время крупнейшей выставки потребительской электроники CES 2019, которая сейчас проходит в Лас-Вегасе. В частности, она заявила, что совместно с Facebook работает над созданием нового чипа для вычислений в области маш...

Российский рынок публичных облаков вырос на 31% Большая часть спроса приходится на решения SaaS.

Бот генерирует учебники из статей Википедии Пример викиучебника (иллюстрация из научной статьи) Всем известно, что Википедия — ценный информационный ресурс. Можно часами изучать тему, переходя от одной ссылки к другой для получения контекста по интересующему предмету. Но не всегда очевидно, как собрать весь контент ...

Uber выпустил открытый инструмент, обучающий ИИ-системы без написания кода Как пишет TAdviser со ссылкой на издание VentureBeat, Ludwig стал результатом двухлетней работы компании над оптимизацией разработки ИИ-систем для практических проектов. Сам сервис заказа такси задействует этот инструмент для таких задач, как извлечение данных из сканированн...

Текстурирование, или что нужно знать, чтобы стать Художником по поверхностям. Часть 3. PBR и материалы В прошлой части тутора мы разобрали принцип работы масок, что такое «текстура», и что абсолютно для всего используются каналы — параметры пикселя. Теперь рассмотрим всеми любимый PBR И соберем текстуры для создания мокрого грязного асфальта. В этом уроке я буду очень много...

Словарик айтишника или Что? Где? Куда? Часть 2 В первой части статьи я перечислила и объяснила слова, которые разработчики и менеджеры компании Wrike используют в своем ежедневном общении. Как в устном, так и в письменном. Но остался еще ряд слов из тех же категорий. Знание значений этих слов помогает коллегам легче пони...

Facebook начал понижать посты с сомнительными методами лечения Facebook начал понижать контент, который продвигает сомнительные методы лечения, включая обещания «чудесного исцеления». По мнению VentureBeat, это обновление может быть ответом на расследование The Wall Street Journal, посвящённое продвижению фальшивых методов лечения от ра...

Забудьте о тщеславии и повышайте прозрачность, когда дело касается системных метрик Многие компании существенно зависят от очень важного компонента – мониторинга инфраструктуры и приложений. Это ответственная область, к которой нужно относиться очень серьёзно и понимать, насколько важно для пользователя сразу знать, связана ли обнаруженная проблема с их со...

Как я научила робота бегать по видео с YouTube Мы продолжаем рассказывать о совместных научных проектах наших студентов и JetBrains Research. В этой статье поговорим об алгоритмах глубокого обучения с подкреплением, которые используются для моделирования двигательного аппарата человека. Смоделировать все возможные движе...

Caller Name Announcer Pro 4.70 Приложение «Caller Name Announcer Pro» озвучивает имя абонента, когда он вам звонит или отправляет сообщение. Эта программа, которая мгновенно определяет абонента, вы даже не успеете дотянуться до телефона и посмотреть на экран. Наше приложение также способно идентифицироват...

Cerebras Systems представила компьютер с самым большим в мире процессором 22×22 сантиметра Схема компьютера CS-1 показывает, что большая часть отведена для питания и охлаждения гигантского «процессора-на-пластине» Wafer Scale Engine (WSE). Фото: Cerebras Systems В августе 2019 года компания Cerebras Systems и её производственный партнер TSMC анонсировали крупне...

SNA Hackathon 2019: усложняем архитектуру — упрощаем признаки В этой статье я расскажу про свое решение текстовой части задачи SNA Hackathon 2019. Какие-то из предложенных идей будут полезны участникам очной части хакатона, которая пройдет в московском офисе Mail.ru Group с 30 марта по 1 апреля. Кроме того, этот рассказ может быть ин...

Правильный выбор: практическое исследование когнитивных способностей человекообразных обезьян Что общего между шваброй, письменным столом, автомобилем и телескопом Хаббл? Все это разные и по сложности реализации, и по цели применения, и по важности вещи. Однако их можно объединить в одну общую категорию — инструменты. Все эти предметы мы, люди, используем как помощ...

Какие бывают электровелосипеды (групповой обзор пяти моделей двух производителей), часть 2 В этой части мы рассмотрим три модели электровелосипедов «для ленивых» пользователей. Эти велосипеды так классифицированы за то, что могут двигаться полностью на силе мотора, без каких бы то ни было усилий велосипедиста (хотя и приложить собственную силу не возбраняется). П...

Проектируем космическую ракету с нуля. Часть 2 — Полу-решение задачи двух тел Содержание Часть 1 — Задача двух тел Трюкачество с заменой переменных Приветствую всех! В прошлой части мы с вами получили уравнения движения системы из двух материальных точек, а также некоторую мотивацию на использование этой модели. Теперь же попробуем выжать как мож...

[Перевод] Машинно-синестетический подход к обнаружению сетевых DDoS-атак. Часть 2 И снова здравствуйте. Сегодня мы продолжаем делиться материалом, приуроченным к запуску курса «Сетевой инженер», который стартует уже в начале марта. Мы видим, что многих заинтересовала первая часть статьи «Машинно-синестетический подход к обнаружению сетевых DDoS-атак» и се...

Методика D.I.Y. проекта. Часть вторая В заключительной части статьи «Методика D.I.Y. проекта» будет рассмотрен комплекс организационных мероприятий на стадии исполнения и закрытия любительского проекта. Предыдущие части статьи опубликованы здесь и здесь. Читать дальше →

Security Week 46: микрофоны, лазеры и безопасность обучаемых машин Про взлом умных колонок на расстоянии с использованием лазера на прошлой неделе написали почти все СМИ (новость, сайт проекта, научное исследование, пост на Хабре). Тема и правда привлекательная: такой хак в стиле фильмов про Джеймса Бонда. Исследователи из университетов США...

Как ускорить загрузку: оптимизируем код верхней части страницы Как оптимизировать верхнюю часть страницы, как уменьшить ее вес, ускорить загрузку и улучшить результат в PageSpeed Insights. Объединяем и сокращаем JavaScript и CSS, используем кэширование и другие способы.

Cruise открывает исходный код Worldview В Cruise Automation сотни инженеров и тестировщиков работают с данными, собранными на дорогах и через симулятор. Также специальная внутренняя команда AV Tools создает приложения для визуализации, поиска и анализа этих данных. Ведь пользователи и разработчики должны понимать ...

"Вояджер-2" прислал на Землю первые данные из межзвездного пространства В журнале Nature Asronomy вышло пять научных статей, авторы которых анализируют данные, полученные с приборов аппарата, покинувшего гелиосферу. "Совокупность этих результатов помогает нарисовать картину этой космической "прибрежной полосы", где заканчивается окружающая среда...

Стильная, модная, молодежная разработка BPM на Camunda BPM-разработка — дело непростое. Это обусловлено тем, что процесс должен быть читаемым и понятным заказчику, а не только корректным с технической точки зрения. Не все средства разработки бизнес-процессов позволяют найти компромисс между понятным описанием и технической фун...

Компактный небулайзер Glenmark: полезная штука в быту Небулайзер — не «супер-мега-архи» гаджет, не уникальное явление современности, не инновационное открытие. Это давно и хорошо знакомое средство доставки лекарственных средств в «трудно доступные» места, бронхи и легкие. Их задача измельчать лекарственный препарат, чтобы части...

Что мы знаем о микросервисах Привет! Меня зовут Вадим Мадисон, я руковожу разработкой System Platform Авито. О том, как мы в компании переходим с монолитной архитектуры на микросервисную, было сказано не раз. Пора поделиться тем, как мы преобразовали свою инфраструктуру, чтобы извлечь из микросервисов м...

Свежий воздух на Марсе: согнуть молекулу СО2 и получить кислород Что мы вспоминаем при словосочетании «научная фантастика»? Конечно же роботов, летающие машины, исследование ранее неизведанных уголков Вселенной, инопланетян и еще целую вереницу сюжетов. Среди них особое место всегда занимала тема заселения другой планеты, то ли от увере...

Система управления движением корабля «Союз-ТМ» часть 2 В первой части я начал рассказывать вам о работе Системы Управления Движением (СУД) на этапе сближения. Остановились мы на методе свободных траекторий и я обещал вам рассказать о методе наведения по линии визирования и параллельном наведении. Пост будет небольшой, но интерес...

Представлены процессор Arm Cortex-A77, графический процессор Arm Mali-G77 и процессор машинного обучения Arm ML Компания Arm представила три разработки, которые, по ее словам, обеспечат «опыт использования ИИ будущего поколения в мире 5G». Во-первых, это процессор Arm Cortex-A77, который обеспечивает расширенные возможности ML и AR/VR за счет повышения производительн...

[Перевод] Ускорение instagram.com. Часть 1 В последние годы на instagram.com появилось много нового. Очень много. Например — средства создания историй, фильтры, творческие инструменты, уведомления, прямые сообщения. Однако по мере роста проекта всё это дало один печальный побочный эффект, который заключался в том, чт...

Библиотека генератора ассемблерного кода для микроконтроллеров AVR. Часть 4 ← Часть 3. Косвенная адресация и управление потоком исполнения Библиотека генератора ассемблерного кода для микроконтроллеров AVR Часть 4. Программирование периферийных устройств и обработка прерываний В этой части поста мы, как и обещали, займемся одним из самых востребован...

Сотовый оператор «МТС» запустил самый лучший в мире тарифный план, и вот почему Каждый оператор связи стремится в первую очередь к тому, чтобы зарабатывать как можно больше денежных средств на постоянной основе, а все остальное для него уже вторично. Впрочем, показатели дохода и численности клиентов тесно связаны друг Сообщение Сотовый оператор «МТС» з...

5 заметок для новоиспеченного менеджера Специально для студентов курса «Team Lead 2.0» подготовили небольшой полезный материал. Приятного прочтения. Вот вас повысили до тимлида или даже до Project менеджера, вы пришли домой и невероятно рады новой должности. Вечером вы лежите в кровати, пытаетесь уснуть, но в д...

Энергия, тепло и вода часть третья: выходим в радио Вступление В процессе выбора решений для умного дома я стараюсь обходить коробочные решения, требующие наличие связи с внешними облаками или имеющие собственные приложения, особенно решения без возможности прямого подключения к устройству. Все доступные метрики сводятся в од...

Спецификации в PHP Кратко о спецификациях: Спецификация — это шаблон проектирования, с помощью которого можно отразить правила бизнес-логики в виде цепочки объектов, связанных операциями булевой логики. Спецификации позволяют избавится от повторяющихся, однотипных методов в репозитории и от д...

Alibaba представила ИИ-процессор для облачных вычислений Разработчики из Alibaba Group Holdings Ltd представили собственный процессор, который является специализированным решением для машинного обучения и будет использоваться для повышения качества услуг, предоставляемых подразделением облачных вычислений. Представленное изделие п...

Половина пути «Юноны» После официального продления летом прошлого года работы юпитерианского зонда «Юнона» до 2021 года получилось, что половина ее миссии выпала на декабрь. И с начала работы на орбите в 2016 году появляются все новые научные результаты. Облако в виде дельфина на Юпитере, фото ...

Новый алгоритм работает как дата-сайентист Сбербанк создал новую модель машинного обучения Auto ML, сообщил на Российском инвестиционном форуме заместитель Председателя Правления Сбербанка Анатолий Попов.Auto ML - алгоритм, который умеет создавать другие модели. А они, в свою очередь, уже решают прикладные задачи - н...

[Перевод] «Глубокое обучение с подкреплением. AlphaGo и другие технологии»: анонс книги Всем привет! У нас доступна для предзаказа одна из лучших книг по обучению с подкреплением, в оригинале именуемая "Deep Reinforcement Learning Hands-on" под авторством Максима Лапаня. Вот как будет выглядеть обложка русского перевода: Чтобы вы могли оценить краткое содер...

Метод мониторинга актуального состояния российских автодорог смартфонами пользователей Целью одной из федеральных программ, направленных на реализацию Указа Президента «О национальных целях и стратегических задачах развития Российской Федерации на период до 2024 года» № 204 от 7 мая 2018 года (kremlin.ru/events/president/news/57425) является улучшение качества...

Сергей и научный метод Все совпадения случайны. Кто не спрятался, я не виноват. — Проходи, что стоишь как не родной? Сергей огляделся — в квартире своего учителя-профессора он еще не бывал. Обыкновенная московская, в старом доме — видимо, еще с тех времен, когда их выдавали… или не выдавали, чер...

Самогонный аппарат — полный автомат. Часть 2. Сепаратор. Холодильник. Куб. Алгоритмы Прошло 4 года с тех пор, как я опубликовал статью «Концепт: самогонный аппарат — полный автомат». 4 года, Карл! Идея не была заброшена. Мало того, она — как заноза в мозгу не давала покоя. И за 4 года было кое-что сделано. Методом проб и ошибок я постепенно вышел на реализац...

Введение в аннотации типов Python. Продолжение Автор иллюстрации — Magdalena Tomczyk В первой части статьи я описал основы использования аннотаций типов. Однако несколько важных моментов остались не рассмотрены. Во-первых, дженерики — важный механизм, во-вторых иногда может оказаться полезным узнать информацию об ожидае...

[Перевод] Использование UIViewPropertyAnimator для создание пользовательских анимаций Создание анимаций это здорово. Они являются важной частью iOS Human Interface Guidelines. Анимации помогают привлечь внимание пользователя к важным вещам или попросту делают приложение не таким скучным. Существует несколько способов реализовать анимацию в iOS. Вероятно, са...

Если у Вас нет Питона, но есть Керас-модель и Джава Всем привет! В построении ML-моделей Python сегодня занимает лидирующее положение и пользуется широкой популярностью сообщества Data Science специалистов [1]. Также, как и большинство разработчиков, Python привлекает нас своей простотой и лаконичным синтаксисом. Мы использу...

[recovery mode] 10 способов защиты интеллектуальной собственности IT-стартапа Проблема защиты интеллектуальной собственности (далее — ИС) часто является одной из наиболее важных, с которой сталкивается любой технологический стартап. Это тесно связано с процессом разработки продукта, наймом квалифицированных сотрудников, привлечением капитала и многи...

Искусственный интеллект создал картину Искусственный интеллект неумолимо развивается, во многих сферах превысив возможности человека. И вот на днях, компания Microsoft в Музее русского импрессионизма представила картину, написанную нейросетью по мотивам песни группы «Альянс» «На заре». В основе алгоритма заложены...

Не заставляйте слушателей рефлексировать Введение В процессе разработки очень часто возникает необходимость создать экземпляр класса, имя которого хранится в конфигурационном XML файле, или вызвать метод, название которого написано в виде строки как значение атрибута аннотации. В таких случаях ответ один: “Использ...

Вебинар «Безопасность машинного обучения: естественные проблемы искусственного интеллекта» 21 марта специалисты Digital Security представят свой критический взгляд на повсеместное внедрение искусственного интеллекта (ИИ) и машинного обучения (МО). Читать дальше →

Используйте GIT при документировании Иногда не только сама документация, но и процесс работы над ней может быть критичным. Например, в случае проектов львиная часть работы связана именно с подготовкой документации, и неправильный процесс может привести к ошибкам и даже к потере информации, а, следовательно, и к...

Новое поколение домашних решений ESET NOD32 использует расширенное машинное обучение Международная антивирусная компания ESET представила новое поколение домашних продуктов ESET NOD32. Отличительными чертами этой версии стали кроссплатформенность, использование расширенного машинного обучения, а также обновление ряда ключевых ...

Ivideon Counter 3D: кому, как и зачем считать посетителей Подсчёт посетителей начался, вероятно, с появления первых магазинов. Требовал ответа главный вопрос, возникавший у владельца магазина после старта продаж: сколько из пришедших людей удалось превратить в покупателей? Со временем к этой задаче добавились и другие сложные воп...

LQR оптимизация систем управления Введение На Habr были опубликованы несколько статей [1,2,3], прямо или косвенно касающиеся указанной темы. В связи с этим, нельзя не отметить публикацию [1] с названием “Математика на пальцах: линейно-квадратичный регулятор”, которая популярно поясняет принцип работы оптимал...

Julia и метод покоординатного спуска Метод покоординатного спуска является одним из простейших методов многомерной оптимизации и неплохо справляется с поиском локального минимума функций с относительно гладким рельефом, поэтому знакомство с методами оптимизации лучше начинать именно с него. Поиск экстремума ве...

Google Anthos: Повсеместное облако Платформа управления гибридными облачными средами будет работать в ЦОДах клиентов, собственном облаке Google Cloud и даже облаках конкурентов компании. Подразделение Google Cloud официально представило платформу Cloud Services Platform (GCP) Anthos для управления гибридны...

NEC научила ИИ опознавать человека, даже если он скрывается или отворачивается В деле автоматического распознавания персоны наметился прогресс. Компания NEC разработала технологию машинного обучения, которая способна с 90 % точностью идентифицировать личность по неполным изображениям. Уточним, для идентификации не обязательно иметь снимок лица или част...

Страх и ненависть DevSecOps У нас было 2 анализатора кода, 4 инструмента для динамического тестирования, свои поделки и 250 скриптов. Не то, чтобы это всё было нужно в текущем процессе, но раз начал внедрять DevSecOps, то надо иди до конца. Источник. Авторы персонажей: Джастин Ройланд и Дэн Хармон. ...

С кем подружатся роботы? Три профессии, которые появятся в ближайшем будущем Вопреки расхожему мнению, искусственный интеллект не лишит людей работы, а создаст новые рабочие места. Правда, это будут абсолютно новые специальности, которые потребуют от людей способности «воспитывать» машины. Возможно ли это, и кто это будет делать? Искусственный ин...

Сотрудник Amazon сделал дверцу на ИИ для кота, чтобы тот не нёс добычу в дом Машинное обучение может стать существенным дополнением к арсеналу любого изобретателя-умельца, помогая решать небольшие проблемы, с которыми не может справиться ни один коммерческий гаджет. Для инженера компании Amazon Бена Хэмма (Ben Hamm) эта проблема заключалась в том, чт...

Как резидентные прокси помогают в бизнесе: реальный кейс использования Infatica в сфере Data Mining В нашем блоге мы не только пишем о технологиях обеспечения приватности, но и рассказываем о реальном применении сервиса Infatica для решения бизнес-задач. Сегодня речь пойдет о применении сервиса резидентных прокси в сфере Data Mining. Читать дальше →

[Перевод] Машинное (радио)зрение видит сквозь стены Слева два человека жмут руки, причем один из них за стеной от камеры. Справа человек в темноте кидает предмет человеку, который звонит по телефону. Снизу — сгенерированная скелетная модель и предсказание действий. Про радиозрение команды лаборатории CSAIL (Computer Scienc...

[Перевод] Учебный курс по React, часть 19: методы жизненного цикла компонентов В сегодняшней части перевода учебного курса по React вашему вниманию будет представлен обзор методов жизненного цикла компонентов. → Часть 1: обзор курса, причины популярности React, ReactDOM и JSX → Часть 2: функциональные компоненты → Часть 3: файлы компонентов, структу...

Яндекс открывает датасеты Толоки для исследователей Толока — крупнейший источник размеченных людьми данных для задач машинного обучения. Каждый день в Толоке десятки тысяч исполнителей производят более 5 миллионов оценок. Для любых исследований и экспериментов, связанных с машинным обучением, необходимы большие объёмы качеств...

Хабрастатистика: анализируем комментарии читателей. Часть 2, ответы на вопросы Привет Хабр. В предыдущей части были проанализированы сообщения пользователей этого сайта, что вызвало достаточно оживленную дискуссию на тему различных параметров (числа сообщений, рейтинга, «кармы» и пр). Таких вопросов накопилось достаточно, чтобы сделать вторую часть. ...

[Перевод] Конференция DEFCON 19. Anonymous и мы. Часть 1 Вы видите на экране фразу «Кто сражается с монстрами», а я – модератор этой презентации Пол Робертс, редактор threatpost.com, новостного портала, посвященного компьютерной безопасности. У нас большая группа выступающих, которых я представлю через пару секунд, а пока что расс...

OpenSceneGraph: Управление окнами и режимами отображения Введение Мы уже говорили о том, что класс osg::Camera управляет связанным с ним графическим контекстом OpenGL. Графический контекст инкапсулирует информацию о том, как и куда происходит отрисовка объектов и какие атрибуты состояния к ним применяются. Под контекстом понимают...

7 точек роста конверсии или как повысить кликабельность кнопок Кнопки играют важную роль в процессе покупок в интернете: неправильно оформленные кнопки имеют низкую кликабельность и, как следствие, низкую конверсию. В статье пойдет речь о том, как это исправить. Читать дальше →

Не судите чужой код строго Так сложилось что большую часть своей сознательной жизни я программирую на PHP. Наш мозг, воспринимая информацию из любого источника, делает это без отрыва от авторитетности этого источника. Грубо говоря, если вы любите PHP — вы автоматически добавили очков авторитетности ав...

[Из песочницы] Мечтают ли нейросети о Джоконде? Я хотел бы, не вдаваясь в технические детали, немного коснуться вопроса о том могут ли нейронные сети достичь чего-нибудь значимого в искусстве, литературе, и является ли это творчеством. Техническую информацию, легко отыскать, существуют и известные приложения, для примера....

Sony объявила о реорганизации и переименовании бизнеса, связанного с датчиками изображения Как известно, в Sony решили не продавать бизнес, связанный с датчиками изображения. Однако это направление деятельности будет реорганизовано. Изменения вступят в силу завтра, 1 октября. Сообщение об этом сегодня было опубликовано на сайте производителя. Большая час...

Проект Open Data Hub – открытая платформа машинного обучения на базе Red Hat OpenShift Будущее наступило, технологии искусственного интеллекта и машинного обучения уже успешно используют ваши любимые магазины, транспортные компании и даже фермы, выращивающие индеек. А если что-то существует, значит в интернете про это уже есть… открытый проект! Смотрите к...

Крестики-нолики: демонстрация управляемого процесса реконфигурации ДНК структур Ученые провели партию в крестики-нолики с помощью ДНК. Звучит забавно, но это лишь верхушка айсберга притрушенная легким юмором от самих ученых. На самом же деле сегодняшнее исследование раскрывает новые методики контроля кинетики взаимодействия ДНК-наноструктур, которые в...

Прогнозирование результатов футбольных матчей Модель машинного обучения на Python c использованием библиотеки Scikit-learn, для прогнозирования результатов футбольных матчей Российской Премьер Лиги (РПЛ). Читать дальше →

[Перевод] Анонсирован ML.NET 1.0 Недавно мы анонсировали выпуск ML.NET 1.0. ML.NET — это бесплатный, кроссплатформенный и открытый фреймворк машинного обучения, предназначенный для использования возможностей машинного обучения (ML) в приложениях .NET. github.com/dotnet/machinelearning Начать: dot.net/ml...

Заглянуть в черный ящик — новая система от MIT покажет, как работают алгоритмы машинного обучения В MIT представили интерактивный инструмент, который дает понять, почему интеллектуальная система принимает то или иное решение. В этом материале — о том, как он работает. Читать дальше →

Свет, камера… облако: Как облака меняют индустрию кино Вы бы предпочли 10 000 часов обработки отснятого материала на 100 машинах или один час на 1 000 000 машин? Цена одинаковая. Добро пожаловать в облако. Как и в случае с футболом, на первый взгляд непонятно, как связаны между собой облачные решения и киноиндустрия. Но если...

IT-Хогвартс: Школа программистов hh.ru В этом году Школа программистов hh.ru отмечает свой юбилей: вот уже десять лет как мы превращаем людей в full stack разработчиков. Обучение в Школе бесплатное, и это принципиально. Учебный процесс состоит из двух больших блоков: теория и проектная работа в команде. Два основ...

Вредные советы про внедрение Machine Learning в бизнес Не стоит полагаться на искусственный интеллект, если у вас нет глубокого понимания процесса. Рэй Далио В компании «Инфосистемы Джет» мы внедряем машинное обучение в самых разных отраслях, и на основе нашего опыта выделяем необходимые составляющие успешного внедрения: пос...

Xiaomi взялась за реструктуризацию мобильного ... Xiaomi вознамерилась провести серьезные внутренние изменения. Реструктуризация не выглядит как шаг к большой перетряске внутри компании, это лишь стремление максимально оптимизировать процессы и сделать управление более гибким. Первым шагом в перестройке стало выделение в от...

В Индонезии задумались над спасением столицы от затопления Как сообщает Associated Press, проблемы индонезийской столицы стали следствием двух дополняющих друг друга тенденций. Уровень мирового океана в последние годы повышается в результате глобального потепления. Этот процесс идет с нарастающей скоростью и открывает перед нами дов...

[Перевод] Ускорение instagram.com. Часть 3 Сегодня публикуем перевод третьей части серии материалов об ускорении instagram.com. В первой части мы говорили о предварительной загрузке данных, во второй — об отправке данных клиенту по инициативе сервера. Здесь речь пойдёт о кэшировании. Читать дальше →

Конструирующий XPath? Алгоритмический XPath? Ничего, кроме XPath Здравствуйте, уважаемые читатели. В этой публикации речь пойдет о немного нестандартных применениях такого хорошо известного формализма как XPath. Все знают, что он очень удобен для извлечения информации из XML- или HTML- или еще каких-нибудь *ML-документов (как простых текс...

Проектируем космическую ракету с нуля. Часть 3 — Ужепочти-решение задачи двух тел Содержание Часть 1 — Задача двух тел Часть 2 — Полу-решение задачи двух тел Движение в плоскости Осталось сделать последний штрих. Решить это уравнение: где — относительное расстояние между телами. В прошлом выпуске было показано, что при значительн...

[Перевод] Конференция DEFCON 17. Мои неудачи. Часть 2 Конференция DEFCON 17. Мои неудачи. Часть 1 Вопрос: можете сказать нам о легенде, которую никогда не станете развенчивать? Адам Сэвидж: думаю, существует несколько таких легенд. Если вы видели наши передачи, то заметили, что мы стараемся не делать скучных вещей типа срав...

Яндекс выделит на поддержку партнеров Облака 100 миллионов рублей Яндекс.Облако запускает партнерскую программу для разработчиков и интеграторов. Компании, которые используют Облако или предлагают решения на его основе, смогут получать премии, гранты, бесплатное обучение и техническую поддержку. В ближайшие тр...

[Перевод] Развертывание кластера Kubernetes в OpenStack с помощью Kubespray Kubernetes быстро стал стандартом для поставок и масштабирования контейнерных приложений и управления ими. Это очень гибкое и универсальное решение с открытым исходным кодом. У него обширная документация, и в ней не всегда легко найти нужный раздел. Поэтому Kubernetes так н...

Когда побеждать — это твой профиль Всем привет! Меня зовут Лида, и я провожу соревнования по программированию уже 12 лет. (Привет, Лида!) В этом году я присоединилась к Команде ВКонтакте и теперь курирую VK Cup. Целых 5 сезонов это был чемпионат только по спортивному программированию. Но настала пора серьёзны...

HolyJS 2019: Разбор задач от компании SEMrush (Часть 1) На прошедшей 24-25 мая в Санкт-Петербурге очередной конференции для JavaScript-разработчиков HolyJS стенд нашей компании предлагал всем желающим новые задачки. В этот раз их было 3 штуки! Задачи выдавались по очереди, а за решение каждой последующей полагался знак отличия ...

Ученые поняли, как мозг запоминает последовательность событий Наша память является крайне интересным с точки зрения медицины и физиологии явлением. С одной стороны медики прекрасно осведомлены о принципах ее работы. С другой же, если попытаться «копнуть глубже», то конкретные механизмы функционирования тех или иных процессов...

47% компаний осознанно используют уязвимые контейнеры Аналитики компании изучили угрозы ИБ, связанные с растущей популярностью контейнеров ПО. Как выяснилось, использование упакованных приложений уже вызвало проблемы с безопасностью более чем у половины компаний, а значительная часть так или иначе знала, что использует уязвимые...

Проблемы роста стартапа — мониторинг Фактор времени – своевременность выполнения заказов, работ, договоренностей – является важным в бизнесе. Клиенты и партнеры ожидают предсказуемых временных затрат при сотрудничестве. В традиционном бизнесе на это влияет работа сотрудников, действия поставщиков, географичес...

Типичные ошибки при работе с PostgreSQL Чуть более месяца назад в Москве состоялась крупнейшая конференция постгресового сообщества PGConf.Russia 2019, собравшая в МГУ свыше 700 человек. Мы решили выложить видео и расшифровку лучших докладов. Выступление Ивана Фролкова с разбором типичных ошибок при работе с Postg...

Cisco представила технологии искусственного интеллекта и машинного обучения Cisco представила новые возможности искусственного интеллекта и машинного обучения, помогающие ИТ-подразделениям лучше понимать поведение сети и прогнозировать проблемы.

Одна сплошная «дыра» — это про Android. Не верите? Вы знаете, зачем нужен акселерометр в вашем смартфоне? Это очень широкопрофильный компонент, несмотря на то что его основное предназначение состоит в ориентации в пространстве. Именно благодаря ему смартфон считает шаги, а также понимает, в какой плоскости мы его держим, по...

[Перевод] 6 уроков, извлечённых из поиска решения масштабной проблемы на gitlab.com. Часть 1 Материал, первую часть перевода которого мы публикуем сегодня, посвящён масштабной проблеме, которая возникла в gitlab.com. Здесь пойдёт речь о том, как её обнаружили, как с ней боролись, и как, наконец, её решили. Кроме того, столкнувшись с этой проблемой, команда gitlab.co...

Основы реактивного программирования с использованием RxJS. Часть 2. Операторы и пайпы В предыдущей статье мы рассмотрели, что такое потоки и с чем их едят. В новой части мы познакомимся с тем, какие методы RxJS предоставляет для создания потоков, что такое операторы, пайпы(pipes) и как с ними работать. RxJS обладает богатейшим API. В документации описано б...

Hitachi Vantara представила новый класс СХД на базе ИИ Среди ключевых анонсов конференции NEXT 2019 компании Hitachi Vantara — платформа Hitachi Virtual Storage Platform серии 5000 и новая программная система управления Hitachi Ops Center. Решения Hitachi VSP&nbsp;серии 5000,...

Вия, Уая, Вая, Вайя – “трудности перевода”, или что скрывается за новой платформой SAS Viya (Вайя)    В сети можно найти огромное количество разнообразных статей о методах использования алгоритмов математической статистики, о нейронных сетях и в целом о пользе машинного обучения. Данные направления способствуют существенному улучшению жизни человека и светлому будущем...