MOEX - загрузка данных о ценных бумагах и котировках (Airflow) - Необходимо изучить API MOEX (Московской биржи) - https://habr.com/ru/articles/781006/, https://vc.ru/952955-izuchaem-i-parsim-birzhevuyu-informaciyu-s-mosbirzhi-nash-pervyy-parser-na-python-razbor-koda, https://habr.com/ru/articles/759922/ - Описание ИСС Московской биржи - https://www.moex.com/a2193 - Необходимо реализовать DAG для Airflow на основе примеров на Python для загрузки данных в PostgreSQL на периодической основе - Необходимо будет покрыть код авто тестами для возможности выявления ошибок при добавлении нового функционала - Загрузка всей информации, как референсной информации, так и котировок - Необходимо будет оценить скорость загрузки и предложить решения по оптимизации - Необходимо будет предложить идеи по построению правильной модели данных и хранению истории - В дальнейшем предполагается отображение биржевой информации на сайте, предполагается построение витрин - В идеале - если сможете спроектировать и предложить полный процесс - ETL -> Data Model -> BI
При отклике, сообщите, пожалуйста - Все ли отдельные задачи возможно выполнить, или готовы предложить более лучшее решение - Какие потенциальные сложности видите, с учетом того, что в дальнейшем планируется добавление нового функционала, новых источников данных и т.д. - Подходит ли стек технологий - Примеры реализованных проектов на Airflow, по возможности - Этапность реализации и оценка по срокам - Стоимость
