Видео

зачем последние 2 доклада?

Доклад офигительный, НО. Какой стартап? Реплики, шардирование :D Стоят секондари. У секондарей другие секондари. Вы че))) Стартап. За доклад спасибо. Откинув "стартап" и слушая доклад нагруженной данными системы - очень полезно.

1:51:36 Павел Шерепо ВК Укрощаем хайлоад из тысячи разработчиков и разрабатываем управляемую систему деплоя

Спасибо!

я ни разу не профи. сисадмин настроил нам почтовый сервер, прикрутил к нему этот антиспам. дал мне доступ в веб админку антиспама. в разделе истории вижу, что процентов 10 нужным писем в состоянии reject и они не дошли до наших ящиков, и процентов 15% писем в состоянии softreject и я их вижу в наших ящиках. можно посмотреть заголовки этих писем , но нельзя просмотреть тело письма в админке антиспама. т.е. мне сложно на 100% понять, его справедливо забанили или нет ,сужу только по заголовкам. рядом с забаненым письмом нет кнопки типа "не спам" ,чтобы письмо таки дошло до нашего почтового ящика. нет кнопки "обучиться", чтобы я мог как то добавить его в обучение или правила белый или черный лист и пр. нет нигде ссылки на хелпы по этому чуду. я не знаю, возможно с точки зрения архитектуры проверки и для профессионала это крутой антиспам, но мне как простому пользователю он непонятен и даже вреден, потому что забанил точно правильные письма и возможности восстановить их я не вижу.

Очень мелко всё в презентации, ничего не видно

super!

Хорошая реализация книги Искусство неизменяемой архитектуры: теория и практика управления данными в распределенных системах

А все, п...а рулю, из за санкций США, вы до сентября 2024 года потеряете AWS S3, потому что гладиолус, без злорадства.

Основные недостатки монолита - это limits по coonection к DB, и TCP pooling (почти одно и то же), количеству соединений с клиентами. Если решить обе данные проблемы изменением исходного кода операционной системы хоста, базы данных и клиента, (т.к. аппаратное железо стало в 400 раз мощнее, чем в 1980 году, когда оформилась модель OSI и ограничения по стеку TCP/IP, например. Если на WX3990 можно свободно повесить в 400 раз больше пользователей, то экономия составит те самые 95% (но это потребует скилловых системных программистов, и отличных девопсов, способных сделать хороший api-gateway на lambda)

wow its cool

Все свалили уже

подкину еще один язык программирования который может легко переходить из монолита в микросервисы это Clojure И всегда нужно помнить про "no silver bullet"

Лютая вода

18:47 - "Python - слабо типизированные сопли". В Python так-то СИЛЬНАЯ динамическая типизация. Число со строкой не сложишь

да, ладно)

“Не надо понимать как работает rust. Надо просто писать». Мужчину заставили восхвалять что-то, но он перегнул и очень сильно. Или таким образом пытаются привить нелюбовь к расту? Шикарный язык, но его надо понять.

Никаких цифр, сравнений, ничего. Просто объяснение что такое акторы ? Да вроде и так литературы полно, кому надо сами прочитают. Мне кажется суть хайлоада в том чтобы на практике показать результативность определённых подходов, чтобы люди могли посмотреть, понять пользу и возможно применить. А это всё звучит так - "ну мы это, акторы заюзали. Они недооценённые и клёвые." А вот правда жизни - акторы нафиг никому не нужны, и никакой волшебной производительности сами по себе не дают.

короткое содержание доклада: наши факапы.

Суть доклада: 1. Авито вместо разработки играются микросервисами 2.в авито зашли на сайт с готовыми решениями, выбрали и настроили их

Спасибо за доклад! Посмотрел с большим интересом, открыл для себя Андрея, буду теперь специально искать :)

Спасибо за доклад. Не знаю, как это сказывается на Elixir, но Erlang последние несколько лет очень прибавил в темпах развития, например, оператор maybe -- просто пушка. Да и то что в другие языки потихоньку берут к себе фичи из E. говорит о многом. Надеюсь, благодаря подобным докладам, люди чаще будут выбирать Erlang/Elixir вместо странного выбора в пользу JavaScript/Python для бекенда

Какой-то баг с Щ

Коллеги как всегда великолепен

Респект таким разработчикам. $mol'юсь что когда-нибудь эти идеи пройдут в массы!

теперь понятно, почему новые процессоры не показывают одинаковый прирост в производительности для всех игр.

Так и не понял о чём доклад. И почему нельзя автоматизировать crud для большинства задач, чтобы не писать их?

Есть вариант с нормальным звуком?

Мало что полезного узнал из этого доклада. Как пользователь Дзена, могу сказать что рекомендации там некачественные

Спасибо за доклад!

о, нашли ещё одно оправдание почему SQL (ЭсКьюЭль) называют Сиквелом.

администратор базы данных

"Уезжало фсе в облака" только у дураков и воришек - поскольку даже тогда когда снималось видео было ясно, что западенцы данные начнут воровать. Плюс в перспективе начнут игнорить все запросы по мониторингу. Те кто "уезжал в облака" теперь либо бегают кругами пытаясь данные вернуть - либо уволены. Ну а если честно это все делалось IRL этими людьми просто из-за откатов.

Бомбезно!

что-то не нашел обещанного оптимального конфига мускула на гите в указанной ветке?

Нет в законодательстве РФ портала госуслуг, вы вводите в заблуждение или некомпетентны. Есть электронное правительство, на портале электронного правительства не упоминается человек или гражданин. Это портал не для граждан. Отсюда следует, что паспорт РФ не является документом гражданина, а является документом МВД РФ, разработанным Правительством РФ по указу некого Президента РФ. Кем являются люди перемещающие паспорта РФ на портал электронного правительства, установить невозможно, в связи с отсутствием такой информации на этом портале. Но установлено точно, что они являются посыльными от МВД РФ по транспортировке паспортов от МВД РФ на портал электронного правительства, то есть физическими лицами - работниками МВД РФ по договору о регистрации паспортов РФ.

Говорите о best practices, а разворачиваете 5 серверов.... Сциллу как и кассандру нужно разворачивать в 3х availability зонах, если у вас replication_factor=3, в каждой availability зоне должно быть одинаковое кол-во нод, чтобы не было перекоса данных. А потом настраивать через GossipingPropertyFileSnitch, так, чтобы rack=AZ. В итоге, используя NetworkTopologyStrategy для репликации, у вас каждая реплика будет в своей availability зоне, тем самым вы гарантируете правильную защиту от потери данных и high availability. Нельзя разворачивать все в одной availability зоне, потому что кассандра даже если у вас durability=true, пишет в commitlog только раз в 10 секунд, и между этими 10 секундными интервалами, данные commitlog'a пишутся в оперативку (посмотрите настройку commitlog_sync в scylla.yaml). Если в AZ пропадет свет, то есть большой риск потери данных. Ну и если в одной AZ отрубят свет, с алгоритмом деплоймента, описанным выше, вы все равно сможете читать и писать с уровнем consistency QUORUM. А вообще решение очень странное, зачем архивные данные хранить в еще одной базе данных, когда есть дешевые managed сервисы, как S3, и данные можно хранить в Iceberg, или хотя бы в parquet файлах, которые не нужно менеджить, как ценый кластер базы данных.. Пардон за критику, но меня прям ужасает такая архитектура. Это как говнокод, только в плане архитектуры.

Apple, Netflix, Facebook, Microsoft и многие другие компании используют Cassandra, а не Scylla.

🎯 Key Takeaways for quick navigation: 00:04 *🎤 Introduction and Speaker Background* - Speaker introduces himself and his intentions for the talk, - Provides a brief career history and his approach to leadership and project management. 02:10 *🚩 Understanding Failures in Projects* - Definition and classification of "fail", - Different types of fails: technical, conceptual, business, and social, - Explanation with real-life examples. 05:06 *🚀 Importance of Detecting Potential Failures* - The necessity for engineers to identify potential fails, - Methods for detecting fails within a project, - Steps to mitigate and respond to identified fails. 07:50 *🔧 Practical Example of a Fail: Backup Systems* - Real-world example of a fail involving backup systems, - Issues due to manual processes and lack of automation, - Lessons learned and the importance of automated backup systems. 10:53 *🖥️ Failure in Automating Server Upgrades* - Example of automating server upgrades gone wrong, - Problems caused by not testing procedures properly, - The need for suitable automation tools and ensuring thorough testing. 13:43 *⚠️ Importance of Proper Risk Analysis* - Technical and reputational issues arise from improper decisions, - Lack of tests for single-use tasks and insufficient risk analysis. 14:53 *📉 High Performance Failures in Trading Platforms* - Robots for trading platforms failed to keep up with user demand, - Impro bug fixes leading to system overload, - Misalignment between platform and robot maintenance teams. 17:27 *🧩 Coordination Issues and System Dependencies* - No singular vision for product behavior, - Conflicts between teams responsible for different system components, - Robots and platform integration issues causing operational failures. 17:58 *🛠️ Agile Methodology Misapplications* - Incorrect application of Agile in infrastructure-related projects, - Early server purchases leading to capacity issues, - Importance of choosing suitable methodology for the project type. 21:23 *📨 Large-Scale Messaging System Failures* - Designing a messaging service to handle unrealistic user load, - Long reconnection times for users during server restarts, - Overengineering vs. practical solutions for user reconnections. 26:14 *🚩 Warning Signs in Project Management* - Project over-reliance on investor demands, - Overextended testing and selection of storage solutions, - Signs that a project is stalling or overly focused on minor details. 27:56 *📊 Language Choice in Projects* - The discussion about choosing Groovy as the programming language over Java, - Challenges faced with the asynchronous code and control in projects. 30:01 *🚩 Social and Technical Failures in Projects* - Example of a failed project due to poorly chosen technical implementation, - Importance of recognizing non-technical arguments as red flags in decision-making. 32:17 *🏢 Misalignment Between Business and Development Goals* - Challenges with business planning and development timelines not aligning, - Discussion of the failures resulting from premature business expectations. 34:53 *📉 Identifying Project Red Flags* - Signs that a project is in trouble, such as lack of deliverables after a long period, - Strategies for recognizing when to move on or reassess project roles. 36:04 *📝 Questions and Answers* - Interactive Q&A session with the presenter addressing audience queries, - Discussion on conceptual understanding and systematization issues in projects. 38:04 *💡 Audience Questions on Specific Failures* - Detailed questions about specific project failures mentioned in the talk, - Insights on practical experiences and decision-making during project management. Made with HARPA AI

Доклад интересный. Но что то состоящий из одной воды

оооочень много тупых кривляний, смотрел через силу, но не осилил...

Хуєта для джунів

а можно где-то почитать об этих опросах по языкам программирования подробнее?

Даниил абсолютно прав, выводы выстраданы опытом, это чувствуется. p.s. Агрессивные комментаторы-хомяки со смузи в голове как всегда. Извините.

Представим глобальное распределение - ЦОДы с БД на разных континентах. Переводим сумму денег А > B и одновременно другой транзакцией (в интервале 5 мс) обнуляем баланс А. Выполнится ли перевод, если 30% узлов отключились с интервалом 3 мс?

"Мы думаем о микросервисах с технологической точки зрения". "Облик микросервиса определяет технология на которой мы его строим". Понимаю почему этот пингвин в 50% случаев стоит распределенные монолиты. Но в упор не понимаю, что он делает на сцене?

спасибо

Если ты рассказываешь на русском презентацию, дак будь добр, подготовь презу тоже на русском