데이터베이스에 저장할 정보를 제안받습니다! AI 개발에 필요한 데이터, 로깅 등등 무엇이든 제안 주세요!

[gitchannn]

@J-nowcow
@JunhyeongPark-kr
@seojunsoo

현재는 저작권 검토를 아직 하지 않았지만, 서비스 출시 이전임을 감안해서 아래와 같은 정보들을 저장할 계획입니다.

오랫동안 가져갈 데이터

• 원본 pdf 파일 이름 (준형군의 제안)
• 원본 pdf 저장 위치
• Latex 파일 저장 위치
• brf 파일 저장 위치
• OCR, 점역 작업의 소요 시간 (간접적인 성능 지표)
• 사용자로부터 받은 점역 파일의 정확도/만족도

일시적으로 저장할 데이터

• OCR/점역 작업의 진행도

사용자 편의성을 위해 진행도를 확인하는 API 용도로 사용하고, 작업이 모두 완료된 이후에는 주기적으로 삭제할 예정입니다.

[J-nowcow]

ocr 인공지능 모델 학습에 다음과 같은 bounding box 데이터가 필요합니다.

"position": {
"height": 263,
"top_left_x": 59,
"top_left_y": 25,
"width": 578
},

어떤 api를 사용하는지에 따라 값이 다르게 나오는 것 같은데, bounding box를 표현하는 방법이 크게 2가지가 있어요

• 1. 네 꼭짓점의 좌표 표시
• 2. 왼쪽 위 꼭짓점의 좌표와, 너비 / 높이 표시

둘중에 어떤 형태로 저장하던지 상관없이 나중에 제가 맞춰서 변형해서 사용하면 되니 현재 사용중이신 api에서 보내주는 대로 저장만 해주시면 감사드립니다 ~~!~!

[gitchannn]

bounding data는 현재 일시적으로 사용중인 Mathpix API로 pdf 파일을 전송하면 반환받을 수 있는 정보인가요?

[J-nowcow]

https://docs.mathpix.com/#pdf-lines-data

명세에 적혀있는 대로라면 ocr 결과값 반환해줄때 저 정보도 같이 반환해주는 것 같아용

[gitchannn]

아하! 현재는 호출하고 있지 않은 API인데, 별도로 뒤에서 비동기로 몰래 호출해서 데이터를 받아놔야겠네요,,,!

[J-nowcow]

ocr 완료된 txt 데이터랑 점역 완료된 brf 데이터는 (저작권 문제가 없다면) db에 같이 저장되나요?

[gitchannn]

관계형 데이터베이스를 사용하고 있어서 현재는 백엔드 서버에 업로드 후 그 경로만 db에 저장하고 있습니다.
나중에 이미지 서버용으로 S3라던가 등등 사용할 필요도 있을 것 같아요.
다같이 터지면,,ㅋㅋ

[J-nowcow]

그러네요 rdb에 한번에 다 담아버렸다가 털리면ㅋㅋ;; 곤란하겠네요 알겠습니다~!

[gitchannn]

네 조회 측면에서도 전체 다 넣는건 안될 것 같고, 빠른 조회가 당장에 필요할 것 같지도 않아서
빠른조회가 필요하다면 NoSQL에 통으로 저장하면 될 것 같고, 아니라면 암튼 외부 어딘가에 넣어놓으면 될 것 같아요