Skip to content

Latest commit

 

History

History
448 lines (290 loc) · 18.8 KB

HomeWork.md

File metadata and controls

448 lines (290 loc) · 18.8 KB

Оценки

Дедлайн 9 декабря

оценка - 20% квизы + 70% среднее за дз 10% среднее за домашние контрльные - зачет 3,5

Домашки

Лекция 2

Лекции 3

Лекция 4

Лекция 5

Лекция 6

прочитать https://tproger.ru/translations/demystifying-decorators-in-python/

Лекция 8

сделать дз хотя бы 1 запро до 24 числа

Лекция 9

  • почитать по datetime - это полезно и знать
  • посмотреть, почему не работает относительная ссылка из notebook - done - все работает
  • bs links проверить вопрос??? LXML - чем лучше или хуже element tree? soup = BeautifulSoup(requests.get(link).text, 'lxml') - вкусовщина
    • не работает пример про сайт вышки - сайт не отдает в запрос то, что показывает человеку, что делать?
  • установить selenium по шагам из lect selenium 1 dpo
    • нужно чтобы driver = webdriver.Chrome запускался
    • если что - писать в чат
  • openpyxl дочитать - готово
  • сделать рисование графиков –– создать файл с гистограммой для star_rating - done ставить через conda проверить в chrome = дома скачать дрова для chrome - блочат драйверы в крыму

Лекция 10

  • почитать статьи по ссылкам
  • hackerrank
  • leetcode
  • codeforces
  • kaggle - like platform - zindi
  • яндекс - всегда надо знать алгоритмы driver = wb.Chrome('../chromedriver_win32/chromedriver.exe')
  • собрать информацию в магазине/чем-то через веб драйвер - done
  • почитать https://habr.com/ru/post/349860/
  1. !! selenium: прочитать список статей из этой серии https://habr.com/ru/post/250921/
  2. SQL: решить задания по презентациям 1-2 – https://docs.google.com/document/d/1LrnVs8xX3ig8R9yRdlRH6fVtYgyvVLlRlct6Hh2WS8M/edit?usp=sharing (инструкция куда грузить файлы внутри) – 10 баллов, каждое задание из бонуса по 2.5б -- готово

Презентации (первые 2 обсудили, вторые 2 можете прочитать, но мы их обсудим в начале пары): -- готово

  1. https://docs.google.com/presentation/d/1XbR2-HH8SG49O3p-hYOhekvV_iOJ4gM6re_dfNaft6E/edit#slide=id.p
  2. https://docs.google.com/presentation/d/1qMMLMpQNYYRtkask1BbqmCwGcJF-r9FJcilMbobD-0A/edit#slide=id.p
  3. https://docs.google.com/presentation/d/13UlGEp-ga9vXyeWKgP2hDi9cwXmW4UMmTHkJxusrvbs/edit#slide=id.p
  4. https://docs.google.com/presentation/d/1f0cBqR3wRWA4V9f5gvPuMfBUiN-DDOXp1ozNhbVBLqQ/edit#slide=id.p

Бонусы:

  • selenium: скачать любой набор данных с любого сайта как мы сделали на семинаре – от 10 до 20 баллов в зависимости от приложенных усилий, файл можете также грузить на диск (ссылка та же, что и для SQL) – ноутбук с кодом, файл с результатом. код должен быть воспроизводим и красив (pep8)
  • решать sql задачи (выбрать уровень на свой вкус) https://www.sql-ex.ru/ (не оценивается, но настоятельно рекомендуется)

Материалы, которые сегодня показывала для тренировки задач на питон/алгоритмы: https://www.hackerrank.com/ https://leetcode.com/

Лекция 11

Еще одно задание по SQL

Лекция 12

  • магические методы почитать что есть разные
  • 2020_DPO_11_1_Classes_KNN сделать посмотреть

Лекция 1 алгоритмы

Домашнее Задание

  1. Потренироваться в рекурсии, например, здесь: https://informatics.mccme.ru/mod/statements/view.php?id=2543#1 (задачи в менюшке справа, нужно зарегаться чтобы решать)

  2. Задачи на метод двух указателей:

Простые

https://leetcode.com/problems/longest-substring-without-repeating-characters/ https://leetcode.com/problems/remove-duplicates-from-sorted-array/ https://leetcode.com/problems/merge-sorted-array/

Посложнее

https://leetcode.com/problems/long-pressed-name/ https://leetcode.com/problems/trapping-rain-water/

  1. Придумать решение первой задачи с ассимптотикой по времени O(n) (например используя метод двух указателей) - done

Лекция 13 питон

  • https://habr.com/ru/company/ods/blog/322626/
  • попросить у анастасии - для работы с категориальными переменными советов и для из кодировки - done
  • Задание 1. Реализуйте функцию, возвращающую максимальный элемент в векторе x среди элементов, перед которыми стоит нулевой. Для x = np.array([6, 2, 0, 3, 0, 0, 5, 7, 0]) ответом является 5. Если нулевых элементов нет, функция должна возвращать None. - done
  1. https://github.com/pileyan/DPO_2020_autumn/blob/master/lect13/6_Homework.ipynb - done
  2. сдавать сюда (создать папку со своим именем и фамилией): https://drive.google.com/drive/folders/1e2EbyzpxnyYwpdVgEUV8VH83uxQvYs1o?usp=sharing

Лекция 2 алгоритмы

Лекция 14 питон

Лекция 15 питон

  • hackerank про данные по pandas

Лекция 16 питон

Лекция 4 алгоритмы

  • поискать dfs + stack можно сделать
  • задачи из
  • Сорян, я не успеваю сделать ноутбук с решениями, first thing tomorrow morning, а пока дз

  1. https://informatics.mccme.ru/mod/statements/view.php?id=654&chapterid=912#1

  2. https://informatics.mccme.ru/mod/statements/view.php?id=654&chapterid=2963#1

  3. https://informatics.mccme.ru/mod/statements/view.php?id=657#1

  4. https://informatics.mccme.ru/mod/statements/view.php?id=657&chapterid=212#1

  5. https://informatics.mccme.ru/mod/statements/view.php?id=766&chapterid=205#1

  6. https://leetcode.com/problems/longest-palindromic-substring/ - some

  7. https://leetcode.com/problems/best-time-to-buy-and-sell-stock/

  8. https://leetcode.com/problems/number-of-dice-rolls-with-target-sum/

Лекция 5 алгоритмы

https://www.dissercat.com/content/o-skorosti-skhodimosti-statistik-kriteriev-soglasiya-so-stepennymi-merami-raskhozhdeniya-k-k

https://informatics.mccme.ru/mod/statements/view.php?id=766&chapterid=1790#1 - частичное

Лекция 18 питон

Лекция 6 алгоритмы

https://leetcode.com/problems/reverse-linked-list/

Лекция 10 алгоритмы

записать сортировку кучей попробовать интвервью на литкод

Математика

https://drive.google.com/drive/folders/1nOknKs7fyCRoXHU6Y28ZnlnGUgf437eD

основная книга https://publications.hse.ru/mirror/pubs/share/direct/393719078.pdf

Лекция 2

лекцию 2, стр 44 - 65 (комбинаторика), и лекцию 10 стр 264 - 275 (вероятность)

Лекция 3

Материал лекции соответствует страницам 95-124 основной книги. - done

Лекция 4

  • Материал лекции соответствует страницам 124 - 142 основной книги.
  • В книге E. Lehman, F. T. Leighton, A. R. Meyer. Mathematics for Computer Science можно найти материал, посвященный раскраскам графа и путям (стр 149-155).
  • Кроме того, там довольно интересно изложен материал про деревья (168), пути в графах (152), ациклические графы (231) и т.д.

NP

Задания для самостоятельного решения

ML

про бустинг почитать

https://www.gormanalysis.com/blog/gradient-boosting-explained/

https://youtu.be/3CC4N4z3GJc

https://en.wikipedia.org/wiki/Gradient_boosting

https://dyakonov.org/2017/06/09/градиентный-бустинг/

кластеризация

  • попробовать linkage перебрать
  • попробовать kmeans ++

практическое

  • для гауссовских процессов:
    • botorch
    • gpytorch
    • gpflow
    • gaussian process summer school
  • монотонная регрессия существует

to read

* statistical learning theory Tibshiray (как учебник)
* Murphy - Справочник
* Bishop Pattern recognition (как учебник) - смотреть интересующие главы

периодика

ML - conferences

  • NIPS (nairi PS)

    • workshop time series
    • workshop inverse problems

  • A/A* conference

  • ICML - академическое

  • Зрение - CVPR

  • KDD для практиков

  • summer school Machine learning XXX

    • mlss

  • ICLR, AAAI, UAI, IJACI

  • NLP - есть конференции

  • MIDL - медицинское

  • karpov courses

Big Data

Лекция 1

  • Поставить https://community.cloud.databricks.com/ - done
  • Разобраться, что это такое
  • https://habr.com/ru/post/485180/
  • merge sort для Н массивовов (на несколько частей)
  • погонять ноутбук 1 - done
  • домашка на каггле - посмотреть задачи m5 forecasting, нужно скачать данные из кегла и выполнить команды из ноутбука с подгрузкой данных

Лекция 2

Лекуция 3

  1. код F.expr("")

Лекция 4

  1. почитать про repartition https://habr.com/ru/post/578654/
  2. книжку по питону и по спарку
  3. сделать фичи и групбаи для М5 в Guide to M5 - сделать несколько groupby и window признаков
  4. Разобраться с ноутбуком Seminar 3
  5. https://habr.com/ru/company/jugru/blog/568638/

Лекция 5

  1. почитать

Лекция 5

  1. почитать про партиции и репартишн high performance spark

Лекция 7

  1. https://docs.databricks.com/applications/machine-learning/index.html
  2. попробовать полезные штуки https://docs.databricks.com/applications/machine-learning/preprocess-data/mllib.html
  3. Пройти задачки, которые были показаны в лекции
  4. Поковыряться в файле проекта, который выдан

готово.

ML

ДЗ 2 ML

  • добавить скейлинг 1 семинар + арх сети - done
  • 2 семинар покрутить
  • реализовать 2-3 других sceduler -> получить лучше результат PyTorch_SGD_seminar
  • HW02 - gradient реализовать
  • посмотреть https://www.jeremyjordan.me/nn-learning-rate/ - done

ДЗ 3 ML

Тем временем уже стоит влпотную заниматься вторым заданием:) Оно есть на гитхабе по адресу: HSE_DL_2021/02_week/HW02_gradient.ipynb

Присылайте, пожалуйста, в формате HW_2_Surname_Name.ipynb или ссылку на колаб с аналогичным названием

ДЗ 4 ML

ДЗ 5 ML

Batchnorm_and_dropout.ipynb - попробовать 3 слойную сеть

ДЗ 6 ML

https://www.coursera.org/lecture/deep-neural-network/dropout-regularization-eM33A

  • сделать our firs cnn pytorch - прочитать статью - по ссылке "хорошая статья"

ДЗ 7 ML

  • сделать домашку от 6 лекции our firs cnn pytorch
  • посмотреть что он дал

ДЗ 9 ML

  • сверточный автокодировщик улучшить
  • улучшить manifold learning в этом ноутбуке - обучение сети оптимизировать

ДЗ 1 практические вещи - NLP

ДЗ 3 практические вещи - NLP

  • посмотреть лекции - модель трансформер и берт
  • посмотреть 4_bert - и использовать hugging face - для русского языка.

ДЗ 10 ML

что делать с ошибкой

  • запустить в колабе и проверить, что получится на том же коде - если пойдет, то проблема в версиях у меня
  • попробовать убрать все слои и усложнения - попробовать посмотреть что получится, если добавлять по 1
    • гуглить совместно с этим слоем

задание

почитать из конца лекций

ДЗ 11 DL

https://lena-voita.github.io/nlp_course.html

ДЗ 12 DL

  • реализовать RNN по прогнозу погоды

DSP to learn

  • interspeech - speech

  • ICML - conference

  • NIPS

  • ICLR

  • neptuneblog

  • Keyword spotting - это задача

  • librespeech

  • LJSpeech - датасет популярный

    • по ним были бенчмарки
    • weights and biasses

  • курс попробовать https://github.com/markovka17/dla

DL

https://github.com/girafe-ai/ml-mipt