Skip to content
This repository has been archived by the owner on Jul 3, 2022. It is now read-only.

Commit

Permalink
attempt add project description and update readme
Browse files Browse the repository at this point in the history
  • Loading branch information
hbaniecki committed Apr 6, 2022
1 parent e3b4086 commit e8b26e1
Show file tree
Hide file tree
Showing 3 changed files with 62 additions and 14 deletions.
26 changes: 12 additions & 14 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -6,9 +6,7 @@ Semestr Wiosenny 2021/22 [@hbaniecki](https://github.com/hbaniecki)

Kontekst: [Knowing What and Why? — Explaining Image Classifier Predictions](https://towardsdatascience.com/knowing-what-and-why-explaining-image-classifier-predictions-680a15043bad)

Projekty:
1. Klasyfikacja obrazu i kreatywne wyjaśnianie zagadnień opisanych w pracy [Kandinsky Patterns](https://www.sciencedirect.com/science/article/pii/S0004370221000977)
2. Zostanie podany na zajęciach
Projekt: Klasyfikacja obrazu i kreatywne wyjaśnianie zagadnień opisanych w pracy [Kandinsky Patterns](https://www.sciencedirect.com/science/article/pii/S0004370221000977).

Materiały:
1. [Neural networks by 3Blue1Brown](https://www.youtube.com/playlist?list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi); [Neural Network Playground](https://playground.tensorflow.org)
Expand Down Expand Up @@ -100,7 +98,7 @@ Literatura:
<tr>
<td>8</td>
<td>04-14</td>
<td>Przegląd danych związanych z projektem.</td>
<td>Przegląd danych i modeli związanych z projektem.</td>
<td><a href="https://github.com/MI2-Education/2022L-WB-XIC/tree/main/homeworks/pd3" target="_blank">PD-3 oddanie</a></td>
</tr>
<tr>
Expand All @@ -112,37 +110,37 @@ Literatura:
<tr>
<td>10</td>
<td>04-28</td>
<td>Przegląd modeli związanych z projektem.</td>
<td>Przegląd wyjaśnień związanych z projektem i struktury artykułu.</td>
<td></td>
</tr>
<tr>
<td>11</td>
<td>05-05</td>
<td>05-<b>05</b></td>
<td>Przedstawienie postępów projektów, konsultacje.</td>
<td>KM-2 oddanie,<br>KM-3 start</td>
</tr>
<tr>
<td>12</td>
<td>05-19</td>
<td>Przegląd wyjaśnień związanych z projektem.</td>
<td>
<td>05-<b>19</b></td>
<td>Przedstawienie postępów projektów, konsultacje.</td>
<td>KM-3 oddanie</td>
</tr>
<tr>
<td>13</td>
<td>05-26</td>
<td>Przedstawienie postępów projektów, konsultacje.</td>
<td>KM-3 oddanie,<br>Prezentacja</td>
<td>Przedstawienie i dyskusja wyników projektu na zajęciach.</td>
<td>Prezentacja</td>
</tr>
<tr>
<td>14</td>
<td>06-02</td>
<td>*Manipulowanie wyjaśnieniami sieci neuronowych.</td>
<td>*Wykład: Manipulowanie wyjaśnieniami sieci neuronowych.</td>
<td>Raport</td>
</tr>
<tr>
<td>15</td>
<td>06-09</td>
<td>Podsumowanie projektu.</td>
<td>Podsumowanie zajęć laboratoryjnych i projektowych.</td>
<td></td>
</tr>
</tbody>
Expand All @@ -152,7 +150,7 @@ Literatura:

Warszataty Badawcze składają się z wykładu, zajęć laboratoryjnych i projektowych:

- praca podczas projektu -- 6 x 8 pkt = 48 pkt.
- praca podczas laboratoriów i projektu -- 6 x 8 pkt = 48 pkt.
- prezentacja końcowa na wykładzie -- 16 pkt. (deadline: 29 maja)
- raport końcowy -- 32 pkt. (deadline: 3 czerwca)
- stosowanie dobrych praktyk wykorzystania GitHub -- 4 pkt.
50 changes: 50 additions & 0 deletions projects/README.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,50 @@
# WB-XIC: Projekt

TL;DR: W projekcie staramy się podejść do wyzwania z dziedziny wyjaśnialnego uczenia maszynowego zdefiniowanego w artykule: H. Müller & A. Holzinger. **Kandinsky Patterns**. *Artificial Intelligence*, 300, 103546. 2021. URL: https://doi.org/10.1016/j.artint.2021.103546.

## Opis

| ![Kandinsky Patterns introduce a set of challenges focusing on developing **human-understandable** explanations of machine learning predictive models. Each challenge is associated with a corresponding dataset generated from the **ground-truth** human explanation of a given abstract phenomenon. An exemplary challenge is “Objects and Shapes”, where the ground-truth defines strict relations between the patterns’ shapes and colors, while the **contradictory** and **random** patterns need to be carefuly distinguished and explained.](graphical_abstract.png) |
|:--:|
| Kandinsky Patterns wprowadzają zbiór wyzwań skupiających się na rozwijaniu **zrozumiałych przez człowieka** wyjaśnień modeli predykcyjnych uczenia maszynowego. Każde wyzwanie związane jest z odpowiadającym jemu zbiorem danych wygenerowanym z pewnej **definicji** wyjaśnienia; ludzkiego wyjaśnienia danego abstrakcyjnego zjawiska. Przykładowym wyzwaniem są “Obiekty i Kształty”, gdzie definicja ta opisuje ścisłe reguły powstawania wzorców z odpowiednimi kształtami i kolorami na obrazie, podczas gdy **sprzeczne** i **losowe** wzory powinny być odróżnione i wyjaśnione. |

Podstawowy plan projektu zakłada wytrenowanie modeli klasyfikacyjnych na wybranym wyzwaniu (danych), a następnie wyjaśnienie ich przy pomocy ogólnodostępnych metod. Częścią rozszerzającą projekt powinna być próba zaadresowania szczególnego zjawiska/problemu; na przykład:
- wyjaśnienie związane z kolorem,
- wyjaśnienie związane z kształtem,
- klasyfikacja i wyjaśnienie wielu wyzwań jednocześnie,
- analiza wektora/przestrzeni reprezentacji,
- analiza wyjaśnień klas sprzecznych i losowych,
- generowanie nowych wyzwań i danych,
- animacja i wizualizacja wyjaśnień.

## Harmonogram

1. Na 04-21: raport z KM1 w postaci jupyter notebook
- Wybranie i poprawne zdefiniowanie problemu do rozwiązania (1pkt)
- Wstępne podejście do modelowania danych związanych z artykułem (2pkt)
- 3x [TL;DR wybranego artykułu z dziedziny + dobra i słaba strona artykułu + zaleta/wada metody, danych etc. (łącznie 4-6 zdań)] (3pkt)
- Jakość raportu oraz wyniki ponad powyższy program (2pkt)
2. Na 05-05: raport z KM2 w postaci jupyter notebook
- Działające modele do klasyfikacji (1pkt)
- Wstępne podejście do wyjaśnień związanych z postawionym problemem (2pkt)
- 3x [TL;DR wybranego artykułu z dziedziny + dobra i słaba strona artykułu + zaleta/wada metody, danych etc. (łącznie 4-6 zdań)] (3pkt)
- Jakość raportu oraz wyniki ponad powyższy program (2pkt)
3. Na 05-19: raport z KM3 w postaci jupyter notebook
- Wyjaśnienia modelu do klasyfikacji metodami z laboratoriów (1pkt)
- Dopracowane podejście do wyjaśnień związanych z postawionym problemem (2pkt)
- 3x [TL;DR wybranego artykułu z dziedziny + dobra i słaba strona artykułu + zaleta/wada metody, danych etc. (łącznie 4-6 zdań)] (3pkt)
- Jakość raportu (1pkt)
- Szablon sekcji raportu <ins>końcowego</ins> (1pkt)
4. Na 06-03: raport końcowy (co najmniej pierwsza wersja)
- Abstrakt, wstęp, motywacja [0-5 punktów]
- Literatura i jakość bibliografii [0-4 punktów]
- Główne wyniki pracy [0-14 punktów]
- Wnioski [0-5 punktów]
- Jakość wykresów / wizualizacji / diagramów, umiejętne korzystanie z LaTeXa [0-4 punktów]

## Przydatne linki
- Dane (wyzwania) https://github.com/human-centered-ai-lab/dat-kandinsky-patterns
- Generator https://github.com/human-centered-ai-lab/app-kandinsky-pattern-generator
- Artykuł https://doi.org/10.1016/j.artint.2021.103546
- Wyjaśnienia oparte na konceptach https://christophm.github.io/interpretable-ml-book/detecting-concepts.html; https://arxiv.org/abs/1711.11279; https://arxiv.org/abs/1902.03129
- Holzinger et al. **KANDINSKY Patterns as IQ-Test for Machine Learning**. CD-MAKE, 2019. https://link.springer.com/chapter/10.1007/978-3-030-29726-8_1
Binary file added projects/graphical_abstract.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.

0 comments on commit e8b26e1

Please sign in to comment.