Skip to content

Commit 90a1c82

Browse files
claudeclaude
committed
Setup Physical AI research project structure
Created comprehensive project structure for medical Physical AI research: Project Structure: - docs/: Research proposal and technical documentation - data/: Raw, processed, and synthetic data directories - src/: Source code organized by functionality - data/: Data processing and loading - generation/: MONAI, MAISI, Cosmos models - simulation/: ORBIT-Surgical, Isaac Sim integration - training/: Isaac Lab, LeRobot frameworks - evaluation/: Metrics (FVD, RMSE) and validation - notebooks/: Jupyter notebooks for experimentation - scripts/: Utility scripts including dataset downloaders - configs/: Configuration files - experiments/: Experiment logs and results Key Additions: 1. Dataset documentation (JIGSAWS, Cholec80, EndoVis) 2. Download script for surgical video datasets 3. Requirements.txt with full dependency stack 4. PoC notebook for MONAI Generative Models testing Technical Stack: - MONAI Generative Models for video generation - MAISI for CT synthesis - ORBIT-Surgical for surgical robot simulation - Isaac Lab + LeRobot for robot learning Next Steps: - Download JIGSAWS dataset - Run PoC notebook to validate video generation - Setup ORBIT-Surgical environment
1 parent 532a558 commit 90a1c82

File tree

6 files changed

+965
-0
lines changed

6 files changed

+965
-0
lines changed

‎physical-ai-research/README.md‎

Lines changed: 129 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,129 @@
1+
# Physical AI Research: Medical Motion Content Generation
2+
3+
**과제명**: (2세부) 의료용 Physical AI 학습을 위한 의료 동작 콘텐츠 생성 및 증강 기술 개발
4+
5+
## 프로젝트 개요
6+
7+
NVIDIA 통합 생태계(MONAI, Isaac Sim, Cosmos)를 기반으로 물리적·해부학적 정합성이 보장된 의료 동작 콘텐츠를 생성하고 증강하는 기술 개발
8+
9+
### 최종 목표 (4년)
10+
- 합성 수술 비디오 FVD ≤ 300
11+
- 동작 추론 RMSE ≤ 5° (관절각) 또는 ≤ 5mm (도구 tip)
12+
- 물리 제약 조건 만족률 99%
13+
- 표준 데이터 포맷 v3.0 개발 및 공개
14+
15+
### 1차년도 목표 (9개월)
16+
1. ORBIT-Surgical 기반 의료 시뮬레이션 환경 v1.0
17+
2. 파일럿 합성 비디오 (FVD 기준선 확보)
18+
3. 액션 데이터 표준 포맷 v0.1
19+
20+
## 기술 스택
21+
22+
| 영역 | 기술 | 용도 |
23+
|------|------|------|
24+
| CT 합성 | NVIDIA MAISI (MONAI) | 3D CT 합성 데이터 생성 |
25+
| 비디오 생성 | MONAI Generative Models | 수술 비디오 생성 |
26+
| Sim2Real | NVIDIA Cosmos Transfer | 시뮬레이션→실제 영상 변환 |
27+
| 수술 로봇 시뮬레이션 | ORBIT-Surgical | Isaac Sim 기반 수술 환경 |
28+
| 로봇 학습 | NVIDIA Isaac Lab | 물리 시뮬레이션 및 학습 |
29+
| 모방학습 | LeRobot (Hugging Face) | 로봇 정책 학습 |
30+
31+
## 프로젝트 구조
32+
33+
```
34+
physical-ai-research/
35+
├── README.md # 프로젝트 개요
36+
├── docs/ # 문서
37+
│ ├── research_proposal.pdf # 연구 제안서
38+
│ ├── progress/ # 진행 상황 리포트
39+
│ └── technical/ # 기술 문서
40+
├── data/ # 데이터
41+
│ ├── raw/ # 원본 수술 비디오
42+
│ ├── processed/ # 전처리된 데이터
43+
│ └── synthetic/ # 생성된 합성 데이터
44+
├── src/ # 소스 코드
45+
│ ├── data/ # 데이터 처리
46+
│ │ ├── preprocessing.py # 전처리
47+
│ │ ├── augmentation.py # 증강
48+
│ │ └── loaders.py # 데이터 로더
49+
│ ├── generation/ # 생성 모델
50+
│ │ ├── monai_gen/ # MONAI Generative Models
51+
│ │ ├── maisi/ # MAISI CT 합성
52+
│ │ └── cosmos/ # Cosmos Transfer
53+
│ ├── simulation/ # 시뮬레이션
54+
│ │ ├── orbit_surgical/ # ORBIT-Surgical
55+
│ │ └── isaac_sim/ # Isaac Sim
56+
│ ├── training/ # 학습
57+
│ │ ├── isaac_lab/ # Isaac Lab
58+
│ │ └── lerobot/ # LeRobot
59+
│ ├── evaluation/ # 평가
60+
│ │ ├── metrics.py # FVD, RMSE 계산
61+
│ │ └── validation.py # 물리 규칙 검증
62+
│ └── utils/ # 유틸리티
63+
├── notebooks/ # 실험 노트북
64+
│ ├── 01_data_exploration.ipynb
65+
│ ├── 02_monai_generation_test.ipynb
66+
│ └── 03_orbit_surgical_setup.ipynb
67+
├── configs/ # 설정 파일
68+
│ ├── data.yaml
69+
│ ├── training.yaml
70+
│ └── generation.yaml
71+
├── experiments/ # 실험 결과
72+
│ └── logs/
73+
├── tests/ # 테스트
74+
└── requirements.txt # 의존성
75+
```
76+
77+
## 환경 설정
78+
79+
### 하드웨어
80+
- GPU: 2x NVIDIA RTX 6000 (48GB each)
81+
- CUDA 지원
82+
83+
### 소프트웨어
84+
```bash
85+
# MONAI 기반 환경
86+
pip install monai[all]
87+
pip install generative-models
88+
89+
# Isaac Sim/Lab (별도 설치 필요)
90+
# ORBIT-Surgical
91+
# LeRobot
92+
```
93+
94+
## 빠른 시작
95+
96+
### Phase 1: PoC - 의료 영상 생성 테스트
97+
```bash
98+
# 1. 오픈소스 수술 데이터셋 다운로드
99+
python scripts/download_datasets.py
100+
101+
# 2. MONAI Generative Models 테스트
102+
jupyter notebook notebooks/02_monai_generation_test.ipynb
103+
104+
# 3. 기준선 메트릭 계산
105+
python src/evaluation/metrics.py --baseline
106+
```
107+
108+
### Phase 2: ORBIT-Surgical 환경 구축
109+
```bash
110+
# Isaac Sim 설치 후
111+
python scripts/setup_orbit_surgical.py
112+
```
113+
114+
## 진행 상황
115+
116+
- [x] 프로젝트 초기 설정
117+
- [x] 연구 제안서 분석
118+
- [ ] 오픈소스 수술 데이터셋 조사
119+
- [ ] MONAI Generative Models PoC
120+
- [ ] ORBIT-Surgical 환경 구축
121+
- [ ] 파일럿 합성 비디오 생성
122+
123+
## 참고 문헌
124+
125+
연구 제안서의 참고문헌 참조 (research_proposal.pdf)
126+
127+
## 라이선스
128+
129+
과기정통부 연구 과제 - 내부 사용

research_proposal.pdf renamed to physical-ai-research/docs/research_proposal.pdf

File renamed without changes.

‎physical-ai-research/docs/technical/open_source_datasets.md‎

Lines changed: 157 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,157 @@
1+
# 오픈소스 수술 비디오 데이터셋
2+
3+
## 1. Cholec80 (복강경 담낭 절제술)
4+
5+
### 개요
6+
- **비디오 수**: 80개 수술 비디오
7+
- **해상도**: 1920x1080 @ 25fps
8+
- **총 길이**: ~80시간
9+
- **내용**: 복강경 담낭 절제술 전체 과정
10+
- **어노테이션**: 7가지 수술 단계, 7가지 수술 도구
11+
12+
### 다운로드
13+
- **웹사이트**: http://camma.u-strasbg.fr/datasets
14+
- **논문**: Twinanda et al., "EndoNet: A Deep Architecture for Recognition Tasks on Laparoscopic Videos" (2017)
15+
- **라이선스**: 연구 목적 사용 가능 (신청 필요)
16+
17+
### 활용 방안
18+
- 수술 단계 인식 학습
19+
- 도구 검출 및 추적
20+
- 비디오 생성 모델의 기준 데이터
21+
22+
---
23+
24+
## 2. JIGSAWS (Da Vinci Surgical Skills Dataset)
25+
26+
### 개요
27+
- **비디오 수**: 39명의 외과의가 수행한 103개 시연
28+
- **태스크**: Suturing, Needle Passing, Knot Tying
29+
- **데이터**: 비디오 + 키네마틱스 (관절 위치, 속도, 그리퍼 각도)
30+
- **로봇**: da Vinci Research Kit (dVRK)
31+
32+
### 다운로드
33+
- **웹사이트**: https://cirl.lcsr.jhu.edu/research/hmm/datasets/jigsaws_release/
34+
- **논문**: Gao et al., "JHU-ISI Gesture and Skill Assessment Working Set (JIGSAWS)" (2014)
35+
- **라이선스**: 오픈 액세스
36+
37+
### 활용 방안
38+
- **1차년도 핵심**: 비디오-키네마틱스 쌍 데이터
39+
- 로봇 동작 학습 및 검증
40+
- 액션 데이터 추출 기술 검증
41+
- da Vinci 로봇 ORBIT-Surgical 시뮬레이션 검증
42+
43+
---
44+
45+
## 3. MICCAI EndoVis Challenge Datasets
46+
47+
### 개요
48+
- **시리즈**: 2015-2024 매년 개최
49+
- **태스크**:
50+
- Instrument Segmentation
51+
- Tracking
52+
- Robotic Scene Segmentation (2017, 2019)
53+
- Surgical Action Triplet (2021-2022)
54+
55+
### 주요 데이터셋
56+
- **EndoVis 2017**: Robotic Instrument Segmentation (8 videos, 255 frames)
57+
- **EndoVis 2018**: Robotic Scene Segmentation (19 videos)
58+
- **SAR-RARP50**: 50 prostatectomy videos
59+
60+
### 다운로드
61+
- **웹사이트**: https://endovis.grand-challenge.org/
62+
- **라이선스**: Challenge 등록 후 다운로드
63+
64+
### 활용 방안
65+
- 수술 장면 세그멘테이션
66+
- 도구 추적 및 동작 인식
67+
- 합성 데이터 품질 평가 벤치마크
68+
69+
---
70+
71+
## 4. HeiChole (Heidelberg Colorectal Dataset)
72+
73+
### 개요
74+
- **비디오 수**: 30개 복강경 대장 수술
75+
- **어노테이션**: 수술 단계, 해부학적 구조, 도구
76+
- **해상도**: Full HD
77+
78+
### 다운로드
79+
- **웹사이트**: https://www.synapse.org/#!Synapse:syn18824884/
80+
- **라이선스**: 연구 목적 사용 가능
81+
82+
---
83+
84+
## 5. CholecT50 (Surgical Action Triplet)
85+
86+
### 개요
87+
- **비디오 수**: 50개 복강경 담낭 절제술
88+
- **어노테이션**: Triplet (Instrument, Verb, Target) - 100개 action triplets
89+
- **예시**: <grasper, grasp, gallbladder>
90+
91+
### 다운로드
92+
- **웹사이트**: http://camma.u-strasbg.fr/datasets
93+
- **논문**: Nwoye et al., "Rendezvous: Attention Mechanisms for the Recognition of Surgical Action Triplets in Endoscopic Videos" (2020)
94+
95+
### 활용 방안
96+
- 수술 동작의 세밀한 이해
97+
- 액션 데이터 표준 포맷 설계 참고
98+
99+
---
100+
101+
## 6. m2cai16-tool (MICCAI 2016 Tool Detection)
102+
103+
### 개요
104+
- **비디오 수**: 15개 훈련, 10개 테스트
105+
- **태스크**: 7가지 수술 도구 실시간 검출
106+
- **프레임**: 10,000+ 어노테이션
107+
108+
### 다운로드
109+
- **웹사이트**: http://ai.stanford.edu/~syyeung/tooldetection.html
110+
111+
---
112+
113+
## 추천 우선순위 (1차년도 PoC용)
114+
115+
### 1순위: **JIGSAWS**
116+
- ✅ **비디오 + 키네마틱스** 모두 포함
117+
- ✅ da Vinci 로봇 (ORBIT-Surgical 호환)
118+
- ✅ 즉시 다운로드 가능
119+
- ✅ 1차년도 목표 직접 부합
120+
121+
### 2순위: **Cholec80**
122+
- ✅ 대용량 수술 비디오
123+
- ✅ 비디오 생성 모델 학습/평가
124+
- ⚠️ 키네마틱스 없음 (추출 필요)
125+
126+
### 3순위: **EndoVis 2017/2018**
127+
- ✅ 로봇 수술 특화
128+
- ✅ 세그멘테이션 어노테이션
129+
- ⚠️ 상대적으로 적은 비디오 수
130+
131+
---
132+
133+
## 다운로드 스크립트 작성 계획
134+
135+
```python
136+
# scripts/download_datasets.py
137+
def download_jigsaws():
138+
"""JIGSAWS 데이터셋 다운로드"""
139+
pass
140+
141+
def download_cholec80():
142+
"""Cholec80 신청 및 다운로드 안내"""
143+
pass
144+
145+
def download_endovis():
146+
"""EndoVis 데이터셋 다운로드"""
147+
pass
148+
```
149+
150+
---
151+
152+
## 참고 링크
153+
154+
- CAMMA Lab (Strasbourg): http://camma.u-strasbg.fr/
155+
- Johns Hopkins CIRL: https://cirl.lcsr.jhu.edu/
156+
- EndoVis Grand Challenge: https://endovis.grand-challenge.org/
157+
- Surgical Data Science Review: https://arxiv.org/abs/2206.02053

0 commit comments

Comments
 (0)