Apache Kafka — это решение для распределенной потоковой передачи сообщений. Проект, построенный на основе Scala и Java, направлен на создание единой платформы с высокой пропускной способностью и низкой задержкой для управления потоками данных в реальном времени. Основными возможностями платформы потоковой передачи данных является возможность публиковать потоки записей и подписываться на них, подобно очереди сообщений или системе бизнес‑обмена сообщениями. Также большое значение имеет возможность обрабатывать потоки записей по мере их поступления и хранить их отказоустойчивым и долговечным способом.
Читать далееВсем привет, меня зовут Илья Гордеев, я дизайн-менеджер направления b2b продуктов в X5 Tech. На протяжении этого года я и моя команда разработали и внедрили в свои продукты ряд единых практик и артефактов, которые повысили общую гигиену дизайна, уровень продуктового подхода и понимание потребностей пользователей. Как мы это делали – расскажу в статье.
Читать далееМы с вами живем в трехмерном мире и не можем игнорировать третью компоненту координат в пространстве. Но в мониторинге транспорта исторически так сложилось, что высота зачастую игнорируется. Возможно, это наследие от мореплавателей, откуда и зародилась навигация, которым высота над уровнем моря казалась неизменной константой ;) У нас в системе до сих пор есть трекеры-"долгожители", которые шлют свою скорость в морских узлах.
Например, в экспертной статье от разработчиков СМТ Wialon про неверный пробег вообще не упоминается высота. При этом в разделе документации про основные счетчики указано, что высота все-таки учитывается, если ее разброс менее 500 (!) метров между телематическими сообщениями. На практике же зачастую учет высоты отключают из-за недостаточной точности его значения в данных от GPS-трекеров. В этой статье мы попробуем оценить разницу в пробеге с учетом высоты и без нее.
Читать далееРазмеры медиа-файлов кардинально растут, а вместе с ними растут и требования к скорости носителей. Копировать сотни гигабайт RAW-изображений с обычной, даже высокоскоростной SD-карты стандарта UHS-II стало слишком долго. И вот жалобы фотографов на то, что кофе успевает остыть, пока все данные будут скопированы с карты, дошли до председателей SD Association и CompactFlash Association, и те приняли решительные меры: выпустили стандарт SD Express (и CFexpress).
Наша команда (Positive Labs) занимается исследованием безопасности программно-аппаратных систем и системного ПО. Поэтому мы внимательно наблюдали за развитием событий еще с 2018 года — с момента публикации стандарта, который обещал огромный прирост скорости за счет подключения карты к шине PCIe. Но мы следили не только за бенчмарками скорости, хотя она, конечно, внушительная. Наличие PCIe потенциально опасно из-за возможности доступа к памяти устройства, а это очень интересный вектор атак.Вот только до недавнего времени производители контроллеров и пользовательских устройств не спешили с поддержкой стандарта SD Express. Мы уже даже было обрадовались, что они научились на своих ошибках, и теперь не хотят давать внешним устройствам доступ к памяти (спойлер: нет). А пока расскажем, почему уделяем столько внимания почтенной шине PCI.
Читать далееМир радиоламп стремительно уходит, уступая микросхемам и транзисторам. Осваивая конструирование электронных систем, вы можете оставить за бортом эти, некогда очень широко распространенные устройства. Между тем, и сегодня ламповые устройства применяются, например, в очень высококачественной звуковой аппаратуре. Радиолюбители до сих пор конструируют ламповые радиоприемники и передатчики. Возможно, что конструирование ламповых устройств станет вашим хобби или даже профессией.
Я написал эту статью для тех, кто хочет не только узнать про радиолампы, но и попробовать провести с ними эксперименты, создать различные ламповые устройства, например, усилитель низкой частоты (УНЧ) или электроскоп. Еще в школьные и студенческие годы я с удовольствием собирал приемники и передатчики на лампах дома и в радиокружке, работал на коллективной радиостанции.
В первой части статьи кратко расскажу, какие бывают радиолампы, как они устроены и как работают. А во второй — проведём простой и относительно безопасный эксперимент с доступными радиолампами.
Читать далееПриветствую, Хабр! В сегодняшней статье я расскажу про работу режима шифрования CBC (Cipher block chaining), паддинг PKCS7, а также атаку на их совместное использование на примере решения задачи Pad Thai с сервиса Cryptohack.
Читать далееПривет!
Кажется, первая статья нашла своего благодарного читателя.Снова мысли от CDO трудящегося вместе с одной небольшой компанией ру-сегмента.
Продолжу о том, что "наболело".
Эта статья может быть Вам полезна, если консалтинг/интегратор/CTO/CIO/сын маминой подруги настойчиво хочет решить все Ваши "проблемы" в аналитике классным корпоративным хранилищем, далее - DWH.
Микроэлектроника на сегодняшний момент является самой сложной областью человеческой деятельности. Текущий технологический уклад основан на нанометровых кремниевых (и не только) структурах, количество вложенных материальных и интеллектуальных средств в микроэлектронную индустрию колоссально. Вся эта сложность порождает громадный стек технологий и высокую специализацию в цепочке разделения труда, необходимого, чтобы произвести то устройство, с которого вы сейчас читаете данную статью. И как следствие, высокий порог входа в понимание того, как научиться создавать конкурентоспособные микропроцессоры. В российских реалиях добавим к этому общую слабость индустрии, сильно оторванной от мировой системы разделения труда, что вкупе с врождённой закрытостью большинства наших предприятий приводит к ситуации, когда осознание масштаба проблем и способов их решения в обществе и государстве достаточно слабое. Серия данных статей призвана глубже познакомить читателя с тем, как устроен процесс разработки высокопроизводительных Систем на Кристалле (СнК или SoC – System on Chip).
Читать далееОу, таблица merchants2? Ну, у нас кончились столбцы в merchants, так что мы сделали merchants2.
Когда я начал заниматься программированием в детстве, я не знал, что людям за это платят. Даже когда я закончил высшую школу, я предполагал, что мир "профессиональной разработки" был устроен совершенно иначе, чем мой код, написанный в свободное время. Когда мне посчастливилось попасть на первую работу разработчиком, я быстро понял насколько я был прав и неправ. Моя первая работа была "испытанием огнём", и по сей день эта кодовая база является и худшей, и лучшей из тех, с которыми я работал. И пусть она навеки останется закрытой в стенах той конкретной компании, я всё же могу поделиться парой самый забавных и страшных историй.
Читать далееСтартап Trasec разрабатывает новый язык программирования, который называется TrapC. Авторы проекта провозглашают его «наследником» C и C++. ЯП обещает устранить главные проблемы «предков», включая небезопасное управление памятью. Для этого в TrapC внедрены автоматические проверки и защита программ от типичных ошибок. Это делает невозможным выход за границы буфера или обращение к несуществующей памяти и значительно усложняет жизнь хакерам. Давайте оценим новинку.
Читать далееПривет, Хабр! Меня зовут Матвей, я staff-инженер по автоматизации тестирования в компании Купер (кто это такие — можете почитать в статье). Сегодня хочу остановиться на ключевых трудностях, которые ставит перед тестированием микросервисная архитектура, и рассказать, как мы в компании справляемся с этими вызовами с помощью экспериментальных подходов.
Читать далееПридумал как зайти красиво на счёт интеллекта. Есть ведь идеальный пример универсальности интеллекта у животных, да ещё и выживающих в супер-разных средах. Бурые медведи и их относительно не далёкая родня ( могут спариваться и получаются нормальные медвежата ) - белые медведи. Бурые медведи между прочим, как вид появились не в некие сверх древние времена. Бурые отделились от одной ветки с пещерными медведями ( те самые, которых утопорили в итоге древние люди ) - около 1 400 000 лет назад. Для сравнения - первые каменные орудия, пусть и примитивные, начал колотить Человек Умелый, 2 300 000 лет назад. Так что бурые не такой уж "старострой" в эволюции, наоборот вид крайне молодой по всем меркам и при этом успешный.
Что в бурых важно - широчайшее расселение по Европе, Азии и Северной Америке. Мало того, вымершие подвиды бурого обитали в Северной Африке. В Европу они попали из Азии, 250 000 лет назад. В Северную Америку дошли по Берингии около 177 000 лет назад, но им не очень повезло, эта линия вымерла из за начавшегося жестокого оледенения, но затем новые ветки бурых успешно закрепились на этом континенте.
Общий вывод - крайне удачная тварь получилась. Жрёт в прямом смысле всё. Падаль, свежую дичь, умеет отнимать дичь у конкурентов. Мёд, орехи, рыба. ягоды, ветки, корни. Между прочим классический, европейский бурый медведь, до 90% своего рациона набивает без мяса и рыбы. он реально больше травоядный, чем мясоед. Исключение - белый медведь, но у того просто с травой туго, при возможности он отлично ест тоже всё подряд. По способности есть падаль медведи обходят любых приматов, мы не умеем есть реальную тухлятину, только квашенное-ферментированное мясо, такое как игунак и прочее.
Читать далееВ данной статье рассматривается процесс восстановления блока управления ABS, который перестал функционировать после неудачной попытки замены ПО. Прошивка была выполнена с использованием файла ODIS, предназначенного для другой модификации блока управления. В результате оригинальное программное обеспечение было повреждено, и его восстановление оказалось сложной задачей из-за отсутствия доступа к исходным данным.
Читать далееСпрашивать о зарплате — неприличный вопрос. Конечно, если вас не спросили об этом на Патриках 🙂. Прогнозирование доходов клиентов — это одна из ключевых задач, стоящих перед современными финансовыми учреждениями. Оно не просто помогает в оптимизации внутренних процессов, но и играет важную роль в улучшении клиентского опыта. Поэтому, даже если бы мы были на Патриках, то не доверяли бы утверждениям из уст опрашиваемых.
Для этого у нас есть модели.
Читать далееПериодически в комментариях проскакивает что-то типа: «А, да это кто-то политические очки набивает» или «Сейчас помогают, а потом проберутся в верха и будут бабки пилить». В общем, комментаторы пытаются выяснить, кто стоит за профсоюзом. Поскольку простой ответ типа «кучка айтишников занимается этим ради улучшения жизни» всё равно никого не устроит, мы приоткроем завесу тайны, как устроен наш профсоюз изнутри.
Читать далееВыучить английский быстро и легко. Минимум усилий, максимум результата. Большинство грамотных и квалифицированных репетиторов, преподавателей курсов и учителей английского языка знают этот секрет. В этой статье я поделюсь с вами ответом на вопрос, который вы наверняка давно ищете. А ведь большинство из вас даже не догадывается, что ответ крайне прост и он на поверхности.
Я вам гарантирую, что узнав этот секрет и приняв его на вооружение, ваш прогресс в изучении английского языка начнет стремительно расти.
Узнать секрет"Trino — это PostgreSQL для аналитики" — нескромно охарактеризовали Trino в одном из блогов. Я не люблю кликбейтные заголовки, но эта фраза действительно емко описывает одну из самых сильных сторон Trino — расширяемость.
В этом блоге я расскажу, как устроены плагины Trino — строительные блоки, которые позволяют гибко адаптировать возможности продукта под потребности современных аналитических платформ.
Читать далееПрогресс в машинном обучении и компьютерном зрении изменил подходы к оптическому распознаванию символов (OCR), обеспечив высокую точность оцифровки документов. Однако современные сверточные нейронные сети (CNN), используемые в большинстве OCR‑систем, сталкиваются с нехваткой качественных тренировочных данных. Эта проблема особенно затрагивает языки с ограниченными ресурсами, что создает трудности в разработке надежных систем распознавания текста. Ограниченные обучающие наборы часто снижают точность и устойчивость моделей при работе с различными форматами документов, нестандартными шрифтами и изображениями низкого качества.
Поэтому необходимо разрабатывать новые модели OCR, которые могут эффективно распознавать текст даже при недостатке данных. Такие модели должны быть гибкими и адаптивными, чтобы успешно обрабатывать документы разных стилей и форматов, а также оставаться устойчивыми к шумам и искажениям. Важно найти методы, которые обеспечат высокую точность распознавания независимо от объема обучающей выборки, что откроет возможности для применения OCR в многоязычных и многоформатных контекстах.
Исследования по улучшению эффективности и универсальности систем OCR имеют большое значение для повышения качества распознавания текста в разных условиях. В таких работах рассматриваются перспективные подходы, такие как аугментация данных, трансферное обучение и специализированные архитектуры нейронных сетей, адаптированные для работы с ограниченными данными. Эти исследования могут привести к созданию более совершенных и доступных систем OCR, что расширит их практическое применение. Улучшение качества распознавания текста позволит автоматизировать процессы обработки информации в бизнесе, образовании, архивировании, научных исследованиях и других областях, способствуя более эффективному взаимодействию с текстовыми данными в цифровую эпоху.
Читать далееUnit-тестирование — критически важный этап разработки ПО и камень преткновения для джунов. Начинающие разработчики не всегда понимают, почему тестирование должны делать они, ведь для этого есть специальные отделы. И это отличает крутого спеца от рядового — ответственность. В первую очередь за то, что вы делаете, каким передаете продукт для дальнейшей разработки. В этой статье мы расскажем вам про Unit-тестирование, для чего оно нужно и почему важно.
Читать далееПривет, Хабр!
Однажды передо мной вырос, как снежный ком, чудовищный God Object — класс, который хотел быть всем сразу. У него была и бизнес-логика, и данные, и контроллеры, и, кажется, даже немного души. Вдохновленный этой катастрофой, решил поделиться несколькими способами, как избежать этого монстра.
Читать далееПочти каждый из нас в детстве грезил карьерой разработчика игр – или, как минимум, игрового журналиста. Целые миры умещались на страничках тетрадей в клетку – фантазии юных геймдизайнеров хватало как минимум на Самую Лучшую Игру Всех Времен и Народов.
В отдельную категорию можно выделить всех, у кого был клон ZX Spectrum: многие игры предполагали конструкторы уровней, и на просторах интернета до сих пор можно встретить рассказы в стиле «как мы с другом в игре для Спектрума родную школу воссоздали». У самых «продвинутых» были книги «Как написать игру для ZX Spectrum» и «Как написать игру на Ассемблере для ZX Spectrum» и прочая подобная литература.
Но все это дела давно минувших дней. Дети выросли, мечты в большинстве своем забылись и остались мечтами. А состоявшиеся программисты, сценаристы, художники, аниматоры и даже маркетологи нашли себе применение в других, более стабильных сферах.
А геймдев тем временем оформился в колоссальных размеров рынок. По состоянию на 2023 год его совокупная выручка оценивается в $184 млрд. Причем более половины от этой суммы – заслуга мобильного сегмента. Как говорилось в одном популярном фильме, «деньги – есть!».
При этом из каждого утюга звучит реклама платных курсов «от нуля до профи» с гарантией трудоустройства, существует несколько популярных движков и платформ дистрибуции. Казалось бы, идеальный момент запрыгнуть в разработку игр. На самом деле – и да, и нет. Жаркий спор о сущности рынка разработки игр и связанных с ним профессиях побудил нас написать эту статью. Итак, поехали!
Читать далееСегодня будет сказ о наболевшем для любого Руководителя проектов, да и вообще – для любого участника ИТ команды и их заказчиках – сказ об идеальной и прозрачной системе управления ИТ проектами. Чем пользуется большинство команд, какие боли при этом испытывают и как их решают. Существует ли серебряная пуля – решение, которое удовлетворит всех (спойлер - нет), кто в этом виноват, и что делать?
Почему эта статья? Я вижу, что в область, где я работаю с 2000 года приходит много новичков. При этом сами процессы управления в командах часто не выстроены и даже местами не осознаны (то есть болит, но участники не понимают, что болит и почему). Все пробуют новые подходы, но неизменно наступают на все те же самые грабли, на которые наступало большинство команд, которые я видел за 10-15-20 лет. Количество новичков растет, а качество управления падает. И вот уже возникает ощущение, что большинство ИТ команд выживает как умеет.
Как этому помочь, куда копать, как копать, и есть ли инструмент, который поможет? Я попробую ответить.
Тех, кому интересна тематика проектного управления и управления ИТ командами, я приглашаю на свой ТГ канал «Морковка спереди, морковка сзади», где я рассказываю лайфхаки для менеджеров, которые им не рассказывают на курсах РП, да и вообще делюсь опытом из своей практики.
Итак, статья состоит из четырех частей.
Читать далееВ этой статье я добавлю поддержку нескольких языков в NestJS
и Angular
приложениях, для сообщений в ошибках, уведомлениях и данных полученных из базы данных.
Привет! Меня зовут Александр Булатов, я старший инженер данных в Блоке Данных билайна. В этой серии статей я расскажу, как выглядит создание Source и Sink для Table API & SQL и как Table API взаимодействует с DataStream API.
Я работаю на проекте Radcom, в котором мы получаем данные о детализации звонков. И есть источник потоковых данных, которые мы получаем с Kafka. Таких потоков у нас внутри Radcom одиннадцать штук, и данные от них идут в формате csv. Формат не самый удобный для обработки, потому что он не имеет в себе схему — нам присылают просто голые строки csv, без какой-либо схемы, и нам нужно парсить эти строки относительно ее.
В одном подобном потоке вполне может находиться сто миллиардов записей в сутки, а это со всех потоков почти семь терабайт в день. У нас в билайне это считается одним из самых больших потоков, которому требуется очень много ресурсов, в год с учетом репликации мы занимаем почти семь петабайт данных.
Так вот, мы принимаем данные в csv и должны их сохранять в Hive в колоночных форматах, чтобы впоследствии аналитики и Data Scientists могли пользоваться этими данными. У нас принято использовать либо ORC, либо Parquet. Мы попробовали оба формата, пришли к Parquet.
Читать далееПривет! Новая неделя – новая статья. Я тут подумала, что уже успела поговорить о пуш-уведомлениях и о релиз-ноутс, но и словом не затронула ещё один преинтереснейший формат – сторис. В этом материале поговорим о происхождении формата, о его особенностях, реализации в приложениях, которыми мы с вами ежедневно пользуемся. И о противоречивости формата тоже поговорим – именно он на данный момент все чаще критикуется пользователями.
Читать далееПривет, Хабр!
Сегодня рассмотрим библиотеку Redux для JS, зачем она нужна, и стоит ли она вашего внимания. Redux — это библиотека для управления состоянием приложения. Redux создан для тех случаев, когда:
• У вас огромное приложение, и нужно управлять кучей данных.
• Эти данные нужно шарить между компонентами, которые находятся на разных уровнях иерархии.
• Есть сложная логика обновления данных, и хочется, чтобы код этой логики был не просто работающим, но и понятным через полгода.
Читать далееЗнакомые говорят, что история мотивирующая.
Сколько себя помню, всегда хотел знать иностранные языки, особенно английский, но видел перед собой огромную глухую стену, к которой не знаешь, как подступиться. На курсы денег нет. Припадки заучивания слов глохнут уже через несколько дней из-за ощущения бесперспективности, да и забываются эти слова моментально.
15 мешков картошки. Всё началось с них. Моя деревенская семья всегда выращивала картошку, взрослые продавали потом. В 1999-м отец показал мне на мешки и сказал: «Иди продавать к магазину, 50% твои.» Впервые в жизни появились свободные деньги, достаточные, чтобы пойти на курсы.
На курсах объяснили, что через will выражается будущее время, «have + 3-я форма глагола» значит, что действие имело место ранее заданной расчётной точки, а вот ещё Present Perfect Continuous есть. В провинции до Интернета это было сопоставимо по масштабам с библейским раздвиганием воды – наконец появилась возможность учить самостоятельно!
Вскоре переехал в столицу и получил дополнительную мотивацию: в Москве как-то всё про английский, всё вокруг него. После нескольких месяцев выживания и работы на трёх работах жизнь устаканилась, пора было браться за язык всерьёз.
В 7 лет, не имея доступа к детской литературе, читал дома всё, что попадалось, вплоть до русской классики. Классика неплохо прокачала язык, ну как минимум письменную речь. Как-то в продлёнке мне навешали два третьеклассника, а потом мне же ещё досталось «за драку»! Продолжая реветь, лежал прямо на полу и писал развёрнутое официальное обращение к учителям и ученикам школы: «…потому что вы – Козлы! Козлы с большой буквы потому, что это ваше имя.» Вручил воспитательнице продлёнки и засим удалился. Все ближайшие дни трясся от страха: в те времена назвать учителей «козлами»…
Читать далееСегодня в официальной документации PHP появилась новая фича: почти любой пример кода можно выполнить и сразу посмотреть результат.
Читать далееНедавно вышла новая версия IntelliJ IDEA 2024.3, в которой появилось довольно много новых фич. Команда Amplicode подготовила обзор основных возможностей IDE.
Читать далееЧто если у вас диабет и вы используете программу Android APS, но вас что то в ней не устраивает и вы хотите ее усовершенствовать?
Здесь я напишу небольшой гайд на тему того как можно улучшать opensource программу даже если вы не программист.
Дисклеймер. Приведенные в данной статье методы и разработки не являются частью более ранних разработок AIAPS, не касаются, не влияют на основное разрабатываемое приложение и ведутся параллельно основным усилиям по созданию ИПЖ.
Предыстория заключается в том, что есть замечательная программа "искусственная поджелудочная железа" Android APS, которую люди с диабетом 1 типа используют для точного дозирования инсулина. Я задался целью внести в нее некоторые изменения и вот что я сделал для этого.
Читать далееПо просьбе большинства решил оформить данное видео в форме статьи.
В начале давайте быстренько пробежимся по возможностям контрольки:
Режим тестера: для активации его голосовой командой нужно сказать ДАТА (Вы можете вместо этой и других команд записать свои команды, данные команды приведены в качестве примера), или сделать свайп по экрану, или выбрать в меню на телефоне. В этом режиме контролька может измерять сопротивление и напряжение, при чём переполюсовка ей не страшна, при измерении напряжения прямой полярности она показывает данные без знака минус, при обратной полярности - со знаком минус, при чём не только на дисплее измерительного прибора, но и на телефоне, так же знак минус произносится при озвучивании показаний. При команде ДАТА контролька озвучит показания на дисплее.
Читать далее• Это умопомрачительное видео — самая большая симуляция Вселенной за всю историю человечества
• «Уэбб» выдал новое фантастическое изображение галактики Сомбреро
• На космической станции проверяяют эффективность самовосстанавливающейся квантовой технологии
• Автоматическая межпланетная станция НАСА «Europa Clipper» прошла уже миллионы километров и вводит в строй свои приборы
• Учёные обнаружили электроны космических лучей с самой высокой энергией за всю историю наблюдений
Читать далееУже по наличию этой статьи очевидно что DW - далеко не самое дружелюбное приложение для удалённого администрирования. За то одно из самых старых. Отсутствие программных закладок в нём проверено временем. Обойти лицензию (осуждаю) - всего пару кликов. Его функционал просто огромен, а системные требования ниже плинтуса.
Довольно много организаций всё ещё используют его и их можно понять.
Читать далееВсем привет. Меня зовут Вика. Я работаю в компании Магнит уже 10 лет. Начинала свой путь в компании я на позиции аналитика, далее стала руководителем сектора аналитики, а после и руководителем команды разработки.
Основную проблему, которую я наблюдаю в затягивающихся задачах:
1. Заказчик, который не понимает, какой эффект он получит от задачи.
2. Аналитики, которые боятся отстаивать свое мнение.
Эти две проблемы еще на этапе начала работы над задачей создают очень много проблем для проектирования и разработки решения.
Сегодня детальнее я бы хотела поговорить о второй проблеме.
Основная задача аналитика в работе моей команды: быть посредником между бизнесом и командой разработки. В этом и состоит сложность, т.к. аналитик должен уметь «разговаривать» на двух языках. Когда аналитик уже опытный, у него есть навык разговора на двух языках, а также он уже сработался с заказчиком и многие требования понимает с полуслова. Но как помочь новым аналитикам ничего не упустить?
Читать далееОколо двух недель назад китайская лаборатория DeepSeek представила свою новую AI модель DeepSeek-R1-Lite, которая специализируется на логических рассуждениях. Конечно, у всего AI-сообщества быстро загорелся огонь в глазах от заявленных возможностей модели.
И я один из них. Как обычно: раз новая модель - значит новые идеи и тесты...
Читать далееВ небе над Аль-Айном в Объединённых Арабских Эмиратах пилот Марк Ньюман ждёт сигнала. Получив сигнал, он щёлкает несколькими серебристыми переключателями на панели у своей ноги, крутит два чёрных циферблата, а затем нажимает красную кнопку с надписью FIRE.
Тонкая канистра, установленная на крыле его небольшого винтового самолёта, открывается, выпуская шлейф мелкой белой пыли. Эта пыль — на самом деле обычная поваренная соль, покрытая наноразмерным слоем оксида титана, — будет унесена восходящими потоками тёплого воздуха в сердце пушистых конвективных облаков, которые образуются в этой части ОАЭ, где многоцветные пески Абу-Даби встречаются с горами на границе с Оманом. По крайней мере, теоретически, она будет притягивать молекулы воды, образуя маленькие капельки, которые будут сталкиваться и сливаться с другими капельками, пока те не вырастут достаточно большими, чтобы гравитация смогла вытащить их с неба в виде дождя.
Это и есть засев облаков. Это одна из сотен миссий, которые Ньюман и его коллеги-пилоты совершат в этом году в рамках амбициозной десятилетней попытки ОАЭ увеличить количество осадков в пустынных районах. Сидя рядом с ним в кресле второго пилота, я вижу красную землю, простирающуюся до горизонта. Единственная вода в поле зрения — бассейн роскошного отеля, расположенного на склоне горы под дворцом шейха, сверкающим, как драгоценный камень.
Читать далееВ этой статье я рассказываю про линейную регрессию, свойства, которыми должны обладать данные для модели, процесс обучения, регуляризацию, метрики качества. Кроме чистой теории я показываю как это все реализовать. Я рассказываю все в своем стиле и понимании - с инженерной точки зрения, с точки зрения того, как реализовывать с нуля.
Читать далееApache Kafka — это решение для распределенной потоковой передачи сообщений. Проект, построенный на основе Scala и Java, направлен на создание единой платформы с высокой пропускной способностью и низкой задержкой для управления потоками данных в реальном времени. Основными возможностями платформы потоковой передачи данных является возможность публиковать потоки записей и подписываться на них, подобно очереди сообщений или системе бизнес‑обмена сообщениями. Также большое значение имеет возможность обрабатывать потоки записей по мере их поступления и хранить их отказоустойчивым и долговечным способом.
Читать далееВсем привет, меня зовут Илья Гордеев, я дизайн-менеджер направления b2b продуктов в X5 Tech. На протяжении этого года я и моя команда разработали и внедрили в свои продукты ряд единых практик и артефактов, которые повысили общую гигиену дизайна, уровень продуктового подхода и понимание потребностей пользователей. Как мы это делали – расскажу в статье.
Читать далееМы с вами живем в трехмерном мире и не можем игнорировать третью компоненту координат в пространстве. Но в мониторинге транспорта исторически так сложилось, что высота зачастую игнорируется. Возможно, это наследие от мореплавателей, откуда и зародилась навигация, которым высота над уровнем моря казалась неизменной константой ;) У нас в системе до сих пор есть трекеры-"долгожители", которые шлют свою скорость в морских узлах.
Например, в экспертной статье от разработчиков СМТ Wialon про неверный пробег вообще не упоминается высота. При этом в разделе документации про основные счетчики указано, что высота все-таки учитывается, если ее разброс менее 500 (!) метров между телематическими сообщениями. На практике же зачастую учет высоты отключают из-за недостаточной точности его значения в данных от GPS-трекеров. В этой статье мы попробуем оценить разницу в пробеге с учетом высоты и без нее.
Читать далееРазмеры медиа-файлов кардинально растут, а вместе с ними растут и требования к скорости носителей. Копировать сотни гигабайт RAW-изображений с обычной, даже высокоскоростной SD-карты стандарта UHS-II стало слишком долго. И вот жалобы фотографов на то, что кофе успевает остыть, пока все данные будут скопированы с карты, дошли до председателей SD Association и CompactFlash Association, и те приняли решительные меры: выпустили стандарт SD Express (и CFexpress).
Наша команда (Positive Labs) занимается исследованием безопасности программно-аппаратных систем и системного ПО. Поэтому мы внимательно наблюдали за развитием событий еще с 2018 года — с момента публикации стандарта, который обещал огромный прирост скорости за счет подключения карты к шине PCIe. Но мы следили не только за бенчмарками скорости, хотя она, конечно, внушительная. Наличие PCIe потенциально опасно из-за возможности доступа к памяти устройства, а это очень интересный вектор атак.Вот только до недавнего времени производители контроллеров и пользовательских устройств не спешили с поддержкой стандарта SD Express. Мы уже даже было обрадовались, что они научились на своих ошибках, и теперь не хотят давать внешним устройствам доступ к памяти (спойлер: нет). А пока расскажем, почему уделяем столько внимания почтенной шине PCI.
Читать далееМир радиоламп стремительно уходит, уступая микросхемам и транзисторам. Осваивая конструирование электронных систем, вы можете оставить за бортом эти, некогда очень широко распространенные устройства. Между тем, и сегодня ламповые устройства применяются, например, в очень высококачественной звуковой аппаратуре. Радиолюбители до сих пор конструируют ламповые радиоприемники и передатчики. Возможно, что конструирование ламповых устройств станет вашим хобби или даже профессией.
Я написал эту статью для тех, кто хочет не только узнать про радиолампы, но и попробовать провести с ними эксперименты, создать различные ламповые устройства, например, усилитель низкой частоты (УНЧ) или электроскоп. Еще в школьные и студенческие годы я с удовольствием собирал приемники и передатчики на лампах дома и в радиокружке, работал на коллективной радиостанции.
В первой части статьи кратко расскажу, какие бывают радиолампы, как они устроены и как работают. А во второй — проведём простой и относительно безопасный эксперимент с доступными радиолампами.
Читать далееПриветствую, Хабр! В сегодняшней статье я расскажу про работу режима шифрования CBC (Cipher block chaining), паддинг PKCS7, а также атаку на их совместное использование на примере решения задачи Pad Thai с сервиса Cryptohack.
Читать далееПривет!
Кажется, первая статья нашла своего благодарного читателя.Снова мысли от CDO трудящегося вместе с одной небольшой компанией ру-сегмента.
Продолжу о том, что "наболело".
Эта статья может быть Вам полезна, если консалтинг/интегратор/CTO/CIO/сын маминой подруги настойчиво хочет решить все Ваши "проблемы" в аналитике классным корпоративным хранилищем, далее - DWH.
Микроэлектроника на сегодняшний момент является самой сложной областью человеческой деятельности. Текущий технологический уклад основан на нанометровых кремниевых (и не только) структурах, количество вложенных материальных и интеллектуальных средств в микроэлектронную индустрию колоссально. Вся эта сложность порождает громадный стек технологий и высокую специализацию в цепочке разделения труда, необходимого, чтобы произвести то устройство, с которого вы сейчас читаете данную статью. И как следствие, высокий порог входа в понимание того, как научиться создавать конкурентоспособные микропроцессоры. В российских реалиях добавим к этому общую слабость индустрии, сильно оторванной от мировой системы разделения труда, что вкупе с врождённой закрытостью большинства наших предприятий приводит к ситуации, когда осознание масштаба проблем и способов их решения в обществе и государстве достаточно слабое. Серия данных статей призвана глубже познакомить читателя с тем, как устроен процесс разработки высокопроизводительных Систем на Кристалле (СнК или SoC – System on Chip).
Читать далееОу, таблица merchants2? Ну, у нас кончились столбцы в merchants, так что мы сделали merchants2.
Когда я начал заниматься программированием в детстве, я не знал, что людям за это платят. Даже когда я закончил высшую школу, я предполагал, что мир "профессиональной разработки" был устроен совершенно иначе, чем мой код, написанный в свободное время. Когда мне посчастливилось попасть на первую работу разработчиком, я быстро понял насколько я был прав и неправ. Моя первая работа была "испытанием огнём", и по сей день эта кодовая база является и худшей, и лучшей из тех, с которыми я работал. И пусть она навеки останется закрытой в стенах той конкретной компании, я всё же могу поделиться парой самый забавных и страшных историй.
Читать далееСтартап Trasec разрабатывает новый язык программирования, который называется TrapC. Авторы проекта провозглашают его «наследником» C и C++. ЯП обещает устранить главные проблемы «предков», включая небезопасное управление памятью. Для этого в TrapC внедрены автоматические проверки и защита программ от типичных ошибок. Это делает невозможным выход за границы буфера или обращение к несуществующей памяти и значительно усложняет жизнь хакерам. Давайте оценим новинку.
Читать далееПривет, Хабр! Меня зовут Матвей, я staff-инженер по автоматизации тестирования в компании Купер (кто это такие — можете почитать в статье). Сегодня хочу остановиться на ключевых трудностях, которые ставит перед тестированием микросервисная архитектура, и рассказать, как мы в компании справляемся с этими вызовами с помощью экспериментальных подходов.
Читать далееПридумал как зайти красиво на счёт интеллекта. Есть ведь идеальный пример универсальности интеллекта у животных, да ещё и выживающих в супер-разных средах. Бурые медведи и их относительно не далёкая родня ( могут спариваться и получаются нормальные медвежата ) - белые медведи. Бурые медведи между прочим, как вид появились не в некие сверх древние времена. Бурые отделились от одной ветки с пещерными медведями ( те самые, которых утопорили в итоге древние люди ) - около 1 400 000 лет назад. Для сравнения - первые каменные орудия, пусть и примитивные, начал колотить Человек Умелый, 2 300 000 лет назад. Так что бурые не такой уж "старострой" в эволюции, наоборот вид крайне молодой по всем меркам и при этом успешный.
Что в бурых важно - широчайшее расселение по Европе, Азии и Северной Америке. Мало того, вымершие подвиды бурого обитали в Северной Африке. В Европу они попали из Азии, 250 000 лет назад. В Северную Америку дошли по Берингии около 177 000 лет назад, но им не очень повезло, эта линия вымерла из за начавшегося жестокого оледенения, но затем новые ветки бурых успешно закрепились на этом континенте.
Общий вывод - крайне удачная тварь получилась. Жрёт в прямом смысле всё. Падаль, свежую дичь, умеет отнимать дичь у конкурентов. Мёд, орехи, рыба. ягоды, ветки, корни. Между прочим классический, европейский бурый медведь, до 90% своего рациона набивает без мяса и рыбы. он реально больше травоядный, чем мясоед. Исключение - белый медведь, но у того просто с травой туго, при возможности он отлично ест тоже всё подряд. По способности есть падаль медведи обходят любых приматов, мы не умеем есть реальную тухлятину, только квашенное-ферментированное мясо, такое как игунак и прочее.
Читать далееВ данной статье рассматривается процесс восстановления блока управления ABS, который перестал функционировать после неудачной попытки замены ПО. Прошивка была выполнена с использованием файла ODIS, предназначенного для другой модификации блока управления. В результате оригинальное программное обеспечение было повреждено, и его восстановление оказалось сложной задачей из-за отсутствия доступа к исходным данным.
Читать далееСпрашивать о зарплате — неприличный вопрос. Конечно, если вас не спросили об этом на Патриках 🙂. Прогнозирование доходов клиентов — это одна из ключевых задач, стоящих перед современными финансовыми учреждениями. Оно не просто помогает в оптимизации внутренних процессов, но и играет важную роль в улучшении клиентского опыта. Поэтому, даже если бы мы были на Патриках, то не доверяли бы утверждениям из уст опрашиваемых.
Для этого у нас есть модели.
Читать далееПериодически в комментариях проскакивает что-то типа: «А, да это кто-то политические очки набивает» или «Сейчас помогают, а потом проберутся в верха и будут бабки пилить». В общем, комментаторы пытаются выяснить, кто стоит за профсоюзом. Поскольку простой ответ типа «кучка айтишников занимается этим ради улучшения жизни» всё равно никого не устроит, мы приоткроем завесу тайны, как устроен наш профсоюз изнутри.
Читать далееВыучить английский быстро и легко. Минимум усилий, максимум результата. Большинство грамотных и квалифицированных репетиторов, преподавателей курсов и учителей английского языка знают этот секрет. В этой статье я поделюсь с вами ответом на вопрос, который вы наверняка давно ищете. А ведь большинство из вас даже не догадывается, что ответ крайне прост и он на поверхности.
Я вам гарантирую, что узнав этот секрет и приняв его на вооружение, ваш прогресс в изучении английского языка начнет стремительно расти.
Узнать секрет"Trino — это PostgreSQL для аналитики" — нескромно охарактеризовали Trino в одном из блогов. Я не люблю кликбейтные заголовки, но эта фраза действительно емко описывает одну из самых сильных сторон Trino — расширяемость.
В этом блоге я расскажу, как устроены плагины Trino — строительные блоки, которые позволяют гибко адаптировать возможности продукта под потребности современных аналитических платформ.
Читать далееПрогресс в машинном обучении и компьютерном зрении изменил подходы к оптическому распознаванию символов (OCR), обеспечив высокую точность оцифровки документов. Однако современные сверточные нейронные сети (CNN), используемые в большинстве OCR‑систем, сталкиваются с нехваткой качественных тренировочных данных. Эта проблема особенно затрагивает языки с ограниченными ресурсами, что создает трудности в разработке надежных систем распознавания текста. Ограниченные обучающие наборы часто снижают точность и устойчивость моделей при работе с различными форматами документов, нестандартными шрифтами и изображениями низкого качества.
Поэтому необходимо разрабатывать новые модели OCR, которые могут эффективно распознавать текст даже при недостатке данных. Такие модели должны быть гибкими и адаптивными, чтобы успешно обрабатывать документы разных стилей и форматов, а также оставаться устойчивыми к шумам и искажениям. Важно найти методы, которые обеспечат высокую точность распознавания независимо от объема обучающей выборки, что откроет возможности для применения OCR в многоязычных и многоформатных контекстах.
Исследования по улучшению эффективности и универсальности систем OCR имеют большое значение для повышения качества распознавания текста в разных условиях. В таких работах рассматриваются перспективные подходы, такие как аугментация данных, трансферное обучение и специализированные архитектуры нейронных сетей, адаптированные для работы с ограниченными данными. Эти исследования могут привести к созданию более совершенных и доступных систем OCR, что расширит их практическое применение. Улучшение качества распознавания текста позволит автоматизировать процессы обработки информации в бизнесе, образовании, архивировании, научных исследованиях и других областях, способствуя более эффективному взаимодействию с текстовыми данными в цифровую эпоху.
Читать далееUnit-тестирование — критически важный этап разработки ПО и камень преткновения для джунов. Начинающие разработчики не всегда понимают, почему тестирование должны делать они, ведь для этого есть специальные отделы. И это отличает крутого спеца от рядового — ответственность. В первую очередь за то, что вы делаете, каким передаете продукт для дальнейшей разработки. В этой статье мы расскажем вам про Unit-тестирование, для чего оно нужно и почему важно.
Читать далееПривет, Хабр!
Однажды передо мной вырос, как снежный ком, чудовищный God Object — класс, который хотел быть всем сразу. У него была и бизнес-логика, и данные, и контроллеры, и, кажется, даже немного души. Вдохновленный этой катастрофой, решил поделиться несколькими способами, как избежать этого монстра.
Читать далееПочти каждый из нас в детстве грезил карьерой разработчика игр – или, как минимум, игрового журналиста. Целые миры умещались на страничках тетрадей в клетку – фантазии юных геймдизайнеров хватало как минимум на Самую Лучшую Игру Всех Времен и Народов.
В отдельную категорию можно выделить всех, у кого был клон ZX Spectrum: многие игры предполагали конструкторы уровней, и на просторах интернета до сих пор можно встретить рассказы в стиле «как мы с другом в игре для Спектрума родную школу воссоздали». У самых «продвинутых» были книги «Как написать игру для ZX Spectrum» и «Как написать игру на Ассемблере для ZX Spectrum» и прочая подобная литература.
Но все это дела давно минувших дней. Дети выросли, мечты в большинстве своем забылись и остались мечтами. А состоявшиеся программисты, сценаристы, художники, аниматоры и даже маркетологи нашли себе применение в других, более стабильных сферах.
А геймдев тем временем оформился в колоссальных размеров рынок. По состоянию на 2023 год его совокупная выручка оценивается в $184 млрд. Причем более половины от этой суммы – заслуга мобильного сегмента. Как говорилось в одном популярном фильме, «деньги – есть!».
При этом из каждого утюга звучит реклама платных курсов «от нуля до профи» с гарантией трудоустройства, существует несколько популярных движков и платформ дистрибуции. Казалось бы, идеальный момент запрыгнуть в разработку игр. На самом деле – и да, и нет. Жаркий спор о сущности рынка разработки игр и связанных с ним профессиях побудил нас написать эту статью. Итак, поехали!
Читать далееСегодня будет сказ о наболевшем для любого Руководителя проектов, да и вообще – для любого участника ИТ команды и их заказчиках – сказ об идеальной и прозрачной системе управления ИТ проектами. Чем пользуется большинство команд, какие боли при этом испытывают и как их решают. Существует ли серебряная пуля – решение, которое удовлетворит всех (спойлер - нет), кто в этом виноват, и что делать?
Почему эта статья? Я вижу, что в область, где я работаю с 2000 года приходит много новичков. При этом сами процессы управления в командах часто не выстроены и даже местами не осознаны (то есть болит, но участники не понимают, что болит и почему). Все пробуют новые подходы, но неизменно наступают на все те же самые грабли, на которые наступало большинство команд, которые я видел за 10-15-20 лет. Количество новичков растет, а качество управления падает. И вот уже возникает ощущение, что большинство ИТ команд выживает как умеет.
Как этому помочь, куда копать, как копать, и есть ли инструмент, который поможет? Я попробую ответить.
Тех, кому интересна тематика проектного управления и управления ИТ командами, я приглашаю на свой ТГ канал «Морковка спереди, морковка сзади», где я рассказываю лайфхаки для менеджеров, которые им не рассказывают на курсах РП, да и вообще делюсь опытом из своей практики.
Итак, статья состоит из четырех частей.
Читать далееВ этой статье я добавлю поддержку нескольких языков в NestJS
и Angular
приложениях, для сообщений в ошибках, уведомлениях и данных полученных из базы данных.
Привет! Меня зовут Александр Булатов, я старший инженер данных в Блоке Данных билайна. В этой серии статей я расскажу, как выглядит создание Source и Sink для Table API & SQL и как Table API взаимодействует с DataStream API.
Я работаю на проекте Radcom, в котором мы получаем данные о детализации звонков. И есть источник потоковых данных, которые мы получаем с Kafka. Таких потоков у нас внутри Radcom одиннадцать штук, и данные от них идут в формате csv. Формат не самый удобный для обработки, потому что он не имеет в себе схему — нам присылают просто голые строки csv, без какой-либо схемы, и нам нужно парсить эти строки относительно ее.
В одном подобном потоке вполне может находиться сто миллиардов записей в сутки, а это со всех потоков почти семь терабайт в день. У нас в билайне это считается одним из самых больших потоков, которому требуется очень много ресурсов, в год с учетом репликации мы занимаем почти семь петабайт данных.
Так вот, мы принимаем данные в csv и должны их сохранять в Hive в колоночных форматах, чтобы впоследствии аналитики и Data Scientists могли пользоваться этими данными. У нас принято использовать либо ORC, либо Parquet. Мы попробовали оба формата, пришли к Parquet.
Читать далееПривет! Новая неделя – новая статья. Я тут подумала, что уже успела поговорить о пуш-уведомлениях и о релиз-ноутс, но и словом не затронула ещё один преинтереснейший формат – сторис. В этом материале поговорим о происхождении формата, о его особенностях, реализации в приложениях, которыми мы с вами ежедневно пользуемся. И о противоречивости формата тоже поговорим – именно он на данный момент все чаще критикуется пользователями.
Читать далееПривет, Хабр!
Сегодня рассмотрим библиотеку Redux для JS, зачем она нужна, и стоит ли она вашего внимания. Redux — это библиотека для управления состоянием приложения. Redux создан для тех случаев, когда:
• У вас огромное приложение, и нужно управлять кучей данных.
• Эти данные нужно шарить между компонентами, которые находятся на разных уровнях иерархии.
• Есть сложная логика обновления данных, и хочется, чтобы код этой логики был не просто работающим, но и понятным через полгода.
Читать далееЗнакомые говорят, что история мотивирующая.
Сколько себя помню, всегда хотел знать иностранные языки, особенно английский, но видел перед собой огромную глухую стену, к которой не знаешь, как подступиться. На курсы денег нет. Припадки заучивания слов глохнут уже через несколько дней из-за ощущения бесперспективности, да и забываются эти слова моментально.
15 мешков картошки. Всё началось с них. Моя деревенская семья всегда выращивала картошку, взрослые продавали потом. В 1999-м отец показал мне на мешки и сказал: «Иди продавать к магазину, 50% твои.» Впервые в жизни появились свободные деньги, достаточные, чтобы пойти на курсы.
На курсах объяснили, что через will выражается будущее время, «have + 3-я форма глагола» значит, что действие имело место ранее заданной расчётной точки, а вот ещё Present Perfect Continuous есть. В провинции до Интернета это было сопоставимо по масштабам с библейским раздвиганием воды – наконец появилась возможность учить самостоятельно!
Вскоре переехал в столицу и получил дополнительную мотивацию: в Москве как-то всё про английский, всё вокруг него. После нескольких месяцев выживания и работы на трёх работах жизнь устаканилась, пора было браться за язык всерьёз.
В 7 лет, не имея доступа к детской литературе, читал дома всё, что попадалось, вплоть до русской классики. Классика неплохо прокачала язык, ну как минимум письменную речь. Как-то в продлёнке мне навешали два третьеклассника, а потом мне же ещё досталось «за драку»! Продолжая реветь, лежал прямо на полу и писал развёрнутое официальное обращение к учителям и ученикам школы: «…потому что вы – Козлы! Козлы с большой буквы потому, что это ваше имя.» Вручил воспитательнице продлёнки и засим удалился. Все ближайшие дни трясся от страха: в те времена назвать учителей «козлами»…
Читать далееСегодня в официальной документации PHP появилась новая фича: почти любой пример кода можно выполнить и сразу посмотреть результат.
Читать далееНедавно вышла новая версия IntelliJ IDEA 2024.3, в которой появилось довольно много новых фич. Команда Amplicode подготовила обзор основных возможностей IDE.
Читать далееЧто если у вас диабет и вы используете программу Android APS, но вас что то в ней не устраивает и вы хотите ее усовершенствовать?
Здесь я напишу небольшой гайд на тему того как можно улучшать opensource программу даже если вы не программист.
Дисклеймер. Приведенные в данной статье методы и разработки не являются частью более ранних разработок AIAPS, не касаются, не влияют на основное разрабатываемое приложение и ведутся параллельно основным усилиям по созданию ИПЖ.
Предыстория заключается в том, что есть замечательная программа "искусственная поджелудочная железа" Android APS, которую люди с диабетом 1 типа используют для точного дозирования инсулина. Я задался целью внести в нее некоторые изменения и вот что я сделал для этого.
Читать далееПо просьбе большинства решил оформить данное видео в форме статьи.
В начале давайте быстренько пробежимся по возможностям контрольки:
Режим тестера: для активации его голосовой командой нужно сказать ДАТА (Вы можете вместо этой и других команд записать свои команды, данные команды приведены в качестве примера), или сделать свайп по экрану, или выбрать в меню на телефоне. В этом режиме контролька может измерять сопротивление и напряжение, при чём переполюсовка ей не страшна, при измерении напряжения прямой полярности она показывает данные без знака минус, при обратной полярности - со знаком минус, при чём не только на дисплее измерительного прибора, но и на телефоне, так же знак минус произносится при озвучивании показаний. При команде ДАТА контролька озвучит показания на дисплее.
Читать далее• Это умопомрачительное видео — самая большая симуляция Вселенной за всю историю человечества
• «Уэбб» выдал новое фантастическое изображение галактики Сомбреро
• На космической станции проверяяют эффективность самовосстанавливающейся квантовой технологии
• Автоматическая межпланетная станция НАСА «Europa Clipper» прошла уже миллионы километров и вводит в строй свои приборы
• Учёные обнаружили электроны космических лучей с самой высокой энергией за всю историю наблюдений
Читать далееУже по наличию этой статьи очевидно что DW - далеко не самое дружелюбное приложение для удалённого администрирования. За то одно из самых старых. Отсутствие программных закладок в нём проверено временем. Обойти лицензию (осуждаю) - всего пару кликов. Его функционал просто огромен, а системные требования ниже плинтуса.
Довольно много организаций всё ещё используют его и их можно понять.
Читать далееВсем привет. Меня зовут Вика. Я работаю в компании Магнит уже 10 лет. Начинала свой путь в компании я на позиции аналитика, далее стала руководителем сектора аналитики, а после и руководителем команды разработки.
Основную проблему, которую я наблюдаю в затягивающихся задачах:
1. Заказчик, который не понимает, какой эффект он получит от задачи.
2. Аналитики, которые боятся отстаивать свое мнение.
Эти две проблемы еще на этапе начала работы над задачей создают очень много проблем для проектирования и разработки решения.
Сегодня детальнее я бы хотела поговорить о второй проблеме.
Основная задача аналитика в работе моей команды: быть посредником между бизнесом и командой разработки. В этом и состоит сложность, т.к. аналитик должен уметь «разговаривать» на двух языках. Когда аналитик уже опытный, у него есть навык разговора на двух языках, а также он уже сработался с заказчиком и многие требования понимает с полуслова. Но как помочь новым аналитикам ничего не упустить?
Читать далееОколо двух недель назад китайская лаборатория DeepSeek представила свою новую AI модель DeepSeek-R1-Lite, которая специализируется на логических рассуждениях. Конечно, у всего AI-сообщества быстро загорелся огонь в глазах от заявленных возможностей модели.
И я один из них. Как обычно: раз новая модель - значит новые идеи и тесты...
Читать далееВ небе над Аль-Айном в Объединённых Арабских Эмиратах пилот Марк Ньюман ждёт сигнала. Получив сигнал, он щёлкает несколькими серебристыми переключателями на панели у своей ноги, крутит два чёрных циферблата, а затем нажимает красную кнопку с надписью FIRE.
Тонкая канистра, установленная на крыле его небольшого винтового самолёта, открывается, выпуская шлейф мелкой белой пыли. Эта пыль — на самом деле обычная поваренная соль, покрытая наноразмерным слоем оксида титана, — будет унесена восходящими потоками тёплого воздуха в сердце пушистых конвективных облаков, которые образуются в этой части ОАЭ, где многоцветные пески Абу-Даби встречаются с горами на границе с Оманом. По крайней мере, теоретически, она будет притягивать молекулы воды, образуя маленькие капельки, которые будут сталкиваться и сливаться с другими капельками, пока те не вырастут достаточно большими, чтобы гравитация смогла вытащить их с неба в виде дождя.
Это и есть засев облаков. Это одна из сотен миссий, которые Ньюман и его коллеги-пилоты совершат в этом году в рамках амбициозной десятилетней попытки ОАЭ увеличить количество осадков в пустынных районах. Сидя рядом с ним в кресле второго пилота, я вижу красную землю, простирающуюся до горизонта. Единственная вода в поле зрения — бассейн роскошного отеля, расположенного на склоне горы под дворцом шейха, сверкающим, как драгоценный камень.
Читать далееВ этой статье я рассказываю про линейную регрессию, свойства, которыми должны обладать данные для модели, процесс обучения, регуляризацию, метрики качества. Кроме чистой теории я показываю как это все реализовать. Я рассказываю все в своем стиле и понимании - с инженерной точки зрения, с точки зрения того, как реализовывать с нуля.
Читать далее