Доработать лекцию про SVM

[Yorko]

Оригинальный PR – #187

Хочется добавить:

• истории, про Вапника и Червоненкиса, оживить статью
• (опционально) про VC-размерность
• про ядра подробнее
• как SVM применяется ко всяким сложным структурам - последовательностям, графам, какие ядра бывают

[alexey-pronkin]

Было бы круто еще добавить математической перчинки в виде современных способов аппроксимировать большую ядерную матрицу через различные разложения:

• low-rank: Fast Low-Rank Kernel Matrix Factorization through Skeletonized Interpolation by Léopold Cambier, Eric Darve https://arxiv.org/abs/1706.02812
• Kronecker product:

1. KoPA: Automated Kronecker Product Approximation by Chencheng Cai, Rong Chen, Han Xiao https://arxiv.org/abs/1912.02392
2. Fast Kronecker product kernel methods via generalized vec trick by Antti Airola, Tapio Pahikkala

• Random Features: Quadrature-based features for kernel approximation by Marina Munkhoeva, Yermek Kapushev, Evgeny Burnaev, Ivan Oseledets https://arxiv.org/abs/1802.03832

И ещё для инференса трюки с разложениями из gpytorch https://arxiv.org/abs/1809.11165 вроде как применимы к SVM.

PS: Нужно, конечно, сначала проверить, что методы работают, первые две статьи я сам еще не читал :)

[Yorko]

upd: Подключился Алексей Клоков, автор статьи про SVM на хабре со своей реализацией с нуля.

Планируем скрестить с имеющейся статьей и параллельно перевести на англ для этого курса и для mlcourse.ai (для него Алексей еще задание сделает). @SemyonSinchenko согласен на такую колаборацию с млкурсом?

Честно говоря, до многих перечисленных тут хардкорных вещей не доберемся

истории, про Вапника и Червоненкиса, оживить статью

это можно, веселая тема

(опционально) про VC-размерность

упомянуть могу, но без суровой теории

про ядра подробнее
как SVM применяется ко всяким сложным структурам - последовательностям, графам, какие ядра бывают

это можно, по диссеру делал. Правда, хз, даже тут SVM уже уступает первенство трансформерам и графовым сеткам

@alexey-pronkin сорри, прочитал твой комент уже давно, тогда не ответил. Я, пожалуй, не потащу. Добавить то, что перечислил, + задание + перевод всего дела на англ. – уже достаточно.

[SemyonSinchenko]

согласен на такую колаборацию с млкурсом?

Я последнее время очень слабо участвую в курсе. Поэтому надо спрашивать @vvssttkk Конкретно я лишь за

[vvssttkk]

upd: Подключился Алексей Клоков, автор статьи про SVM на хабре со своей реализацией с нуля.

Планируем скрестить с имеющейся статьей и параллельно перевести на англ для этого курса и для mlcourse.ai (для него Алексей еще задание сделает). @SemyonSinchenko согласен на такую колаборацию с млкурсом?

Честно говоря, до многих перечисленных тут хардкорных вещей не доберемся

истории, про Вапника и Червоненкиса, оживить статью

это можно, веселая тема

(опционально) про VC-размерность

упомянуть могу, но без суровой теории

про ядра подробнее
как SVM применяется ко всяким сложным структурам - последовательностям, графам, какие ядра бывают

это можно, по диссеру делал. Правда, хз, даже тут SVM уже уступает первенство трансформерам и графовым сеткам

@alexey-pronkin сорри, прочитал твой комент уже давно, тогда не ответил. Я, пожалуй, не потащу. Добавить то, что перечислил, + задание + перевод всего дела на англ. – уже достаточно.

делай, в этом году ожидать?

[Yorko]

@vvssttkk привет! Уточнял. Не, в этом году ожидать не стоит, все же конец года, все дела.

Какие вообще планы? Если Семён не в деле, то, честно говоря, я не представляю, что куда может двигаться.