[FEAT] Make cafeteria scrapper #9

vcho1958 · 2021-10-12T17:58:18Z

👀 이슈

resolve #2

📌 개요

학생식당 스크래퍼 추가

👩‍💻 작업 사항

WeekMenu, DateMenu, Menu 인터페이스 작성

추후 아침 저녁 추가될 경우 고려하여 queryselectorAll을 활용해 작업했습니다.

✅ 참고 사항

공유할 내용, 스크린샷 등을 넣어 주세요.

vcho1958 · 2021-10-13T06:38:37Z

👀 이슈

resolve #2

📌 개요

학생식당 데이터 구조 SQL에 용이하게 변경

👩‍💻 작업 사항

DateMenu 인터페이스 작성

추후 아침 저녁 추가될 경우 고려하여 queryselectorAll을 활용해 작업했습니다.

✅ 참고 사항

[
  {
    cafeteria: 0,
    date: {},
    kind: '일품',
    time: '점심식사',
    mainMenu: '미운영(휴무)',
    menus: [],
    price: [ 0 ]
  },
  {
    cafeteria: 0,
    date: {},
    kind: '일품',
    time: '점심식사',
    mainMenu: '김치제육덮밥',
    menus: [ '깍두기', '사각어묵전', '팽이무국' ],
    price: [ 4200, 4000 ]
  },
  {
    cafeteria: 0,
    date: {},
    kind: '일품',
    time: '점심식사',
    mainMenu: '돈코츠라멘',
    menus: [ '배추김치', '밥 반공기', '단무지무침' ],
    price: [ 4200, 4000 ]
  },
  {
    cafeteria: 0,
    date: {},
    kind: '일품',
    time: '점심식사',
    mainMenu: '오징어볶음비빔밥',
    menus: [ '배추김치', '미역국', '계란야채찜', '수제달고나라떼' ],
    price: [ 4200, 4000 ]
  },
  {
    cafeteria: 0,
    date: {},
    kind: '일품',
    time: '점심식사',
    mainMenu: '지코바치밥',
    menus: [ '배추김치', '요구르트', '통배추된장국' ],
    price: [ 4200, 4000 ]
  },
  {
    cafeteria: 1,
    date: {},
    kind: '정식',
    time: '점심식사',
    mainMenu: '미운영(휴무)',
    menus: [],
    price: [ 0 ]
  },
  {
    cafeteria: 1,
    date: {},
    kind: '정식',
    time: '점심식사',
    mainMenu: '김치눈꽃치즈함박스테이크',
    menus: [ '깍두기', '요구르트', '쫄면', '배추된장국', '양상추샐러드/유자드레싱' ],
    price: [ 5300, 4900 ]
  },
  {
    cafeteria: 1,
    date: {},
    kind: '정식',
    time: '점심식사',
    mainMenu: '돈육콩나물불고기',
    menus: [ '배추김치', '들깨미역국', '자두쿨피스', '야채계란찜', '파스타샐러드' ],
    price: [ 5300, 4900 ]
  },
  {
    cafeteria: 1,
    date: {},
    kind: '정식',
    time: '점심식사',
    mainMenu: '맛쵸킹탕수육',
    menus: [ '어묵무국', '배추김치', '석류에이드', '오이부추무침', '짜장면' ],
    price: [ 5300, 4900 ]
  },
  {
    cafeteria: 1,
    date: {},
    kind: '정식',
    time: '점심식사',
    mainMenu: '찜닭',
    menus: [ '배추김치', '무생채', '감귤주스', '감자수제비', '두부&가지튀김/칠리소스' ],
    price: [ 5300, 4900 ]
  },
  {
    cafeteria: 2,
    date: {},
    kind: '정식',
    time: '점심식사',
    mainMenu: '미운영(휴무)',
    menus: [],
    price: [ 0 ]
  },
  {
    cafeteria: 2,
    date: {},
    kind: '정식',
    time: '점심식사',
    mainMenu: '돈육주물럭',
    menus: [ '요구르트', '포기김치', '돈육잡채', '어묵전', '북어콩나물국', '양배추샐러드/오리엔탈드레싱' ],
    price: [ 7000, 6000 ]
  },
  {
    cafeteria: 2,
    date: {},
    kind: '정식',
    time: '점심식사',
    mainMenu: '데리야끼닭볶음',
    menus: [ '요구르트', '포기김치', '꼬시래기야채무침&초고추장', '단호박죽', '멸치땅콩볶음', '무어묵국' ],
    price: [ 7000, 6000 ]
  },
  {
    cafeteria: 2,
    date: {},
    kind: '정식',
    time: '점심식사',
    mainMenu: '취나물밥(양념간장)',
    menus: [ '요구르트', '포기김치', '계란파국', '김구이', '고등어카레구이', '소고기숙주볶음' ],
    price: [ 7000, 6000 ]
  },
  {
    cafeteria: 2,
    date: {},
    kind: '정식',
    time: '점심식사',
    mainMenu: '생선가스&타르타르소스',
    menus: [ '포기김치', '무생채', '유부장국', '비벼먹는계란장', '추억의토마토스파게티' ],
    price: [ 7000, 6000 ]
  }
]

date부분은 콘솔 출력시 제대로 나옵니다. 터미널이라 올바르게 출력되지 않네요.
cafeteria는 0:한빛 1:별빛 2:은하수입니다.

jaryapp

오 잘하셨네요! 고생하셨습니다!! 근데 아직 몽고DB는 구축전이라서 몽고DB와 관련된 사항들은 추후에 고려하는게 좋을듯합니다. 그때 스키마 구조도 같이 고민해보는게 좋을것 같아요.
특히 학생식당과 기숙사식당은 같은 UI구조를 생각하고 있어서 서로 맞춰야할게 좀 있을것 같구요
그래서 데이터 반환값은 현재 사용하고 있는 DB테이블 구조에 맞춰서 #2 와 같은 형태로 맞춰주시면 좋을것 같아요. 스크래퍼는 구현이 완료되면 바로 사용하려고 하거든욤

jaryapp · 2021-10-13T11:57:17Z

scrapper-server/src/scrappers/CafeteriaScrapper/index.ts

+  loadScript(scriptPath: string) {
+    find.file(/\.js$/, scriptPath, (paths: string[]) => {
+      for (const path of paths) {
+        const script = require(path);
+        this.queue.push(new Scenario(script));
+      }
+      this.loadedScript = true;
+    });
+  }
+


이부분은 Scrapper에 있는 코드인데 혹시 옮기신 이유가 있을까요?

아 3번 따로 긁어야 하는 줄 알고 코드 재사용을 위해서 클로저로 만들어볼 생각이었습니다.
그런데 구조가 그냥 탭 안누르면 숨겨져있다가 전환되는거더라구요 정보가 html에 다 남아있길래 그냥 수정안했는데
다시 지우는 걸 깜빡했네요!
그 구조는 가격이랑 종류(반응형으로 가로 줄이면 백반 정식 특식 등이 다 나뉘는 걸로 보아 나중에 추가될 것 같은 느낌이..) 있어서 따로 만들긴 해야할 것 같은데 어떻게 해야할까요?
배열로 되어있는 프로퍼티들은 말씀해주신 구조대로 |로 구분해서 한 문자열로 합치도록하겠습니다.
일단 말씀해주신대로 수정해서 다시 커밋 올리겠습니다.

아니면 foreign key로 활용할 수 있게 primary key값을 연결시킬 구조를 하나 더 만들어서 하는 게 나을까요?

흠.. 그러네요 지금은 한빛식당에서 일품밖에 안보이는데 나중에 백반 정식이랑 특식이 추가될수도 있을것 같군요..
일단 지금은 한빛식당(일품)하고 (별빛,은하수)정식만 스크래핑하고 백반이 추가되면 기숙사 식단과 UI와 데이터 구조를 다르게 해야하는 방법까지도 고려해봐야겠습니다

[ { restaurant_name: '한빛 식당', food_name: '미운영(휴무)|', date: '2021-11-11', time: 1 }, { restaurant_name: '한빛 식당', food_name: '김치제육덮밥|깍두기|사각어묵전|팽이무국', date: '2021-11-12', time: 1 }, { restaurant_name: '한빛 식당', food_name: '돈코츠라멘|배추김치|밥 반공기|단무지무침', date: '2021-11-13', time: 1 }, { restaurant_name: '한빛 식당', food_name: '오징어볶음비빔밥|배추김치|미역국|계란야채찜|수제달고나라떼', date: '2021-11-14', time: 1 }, { restaurant_name: '한빛 식당', food_name: '지코바치밥|배추김치|요구르트|통배추된장국', date: '2021-11-15', time: 1 }, { restaurant_name: '별빛 식당', food_name: '미운영(휴무)|', date: '2021-11-11', time: 1 }, { restaurant_name: '별빛 식당', food_name: '김치눈꽃치즈함박스테이크|깍두기|요구르트|쫄면|배추된장국|양상추샐러드/유자드레싱', date: '2021-11-12', time: 1 }, { restaurant_name: '별빛 식당', food_name: '돈육콩나물불고기|배추김치|들깨미역국|자두쿨피스|야채계란찜|파스타샐러드', date: '2021-11-13', time: 1 }, { restaurant_name: '별빛 식당', food_name: '맛쵸킹탕수육|어묵무국|배추김치|석류에이드|오이부추무침|짜장면', date: '2021-11-14', time: 1 }, { restaurant_name: '별빛 식당', food_name: '찜닭|배추김치|무생채|감귤주스|감자수제비|두부&가지튀김/칠리소스', date: '2021-11-15', time: 1 }, { restaurant_name: '은하수 식당', food_name: '미운영(휴무)|', date: '2021-11-11', time: 1 }, { restaurant_name: '은하수 식당', food_name: '돈육주물럭|요구르트|포기김치|돈육잡채|어묵전|북어콩나물국|양배추샐러드/오리엔탈드레싱', date: '2021-11-12', time: 1 }, { restaurant_name: '은하수 식당', food_name: '데리야끼닭볶음|요구르트|포기김치|꼬시래기야채무침&초고추장|단호박죽|멸치땅콩볶음|무어묵국', date: '2021-11-13', time: 1 }, { restaurant_name: '은하수 식당', food_name: '취나물밥(양념간장)|요구르트|포기김치|계란파국|김구이|고등어카레구이|소고기숙주볶음', date: '2021-11-14', time: 1 }, { restaurant_name: '은하수 식당', food_name: '생선가스&타르타르소스|포기김치|무생채|유부장국|비벼먹는계란장|추억의토마토스파게티', date: '2021-11-15', time: 1 } ]

완료 후 커밋했습니다.

오 넵 고생하셨습니다. 근데 혹시 메뉴 이름 구분할때 | 대신 띄어쓰기로 바꿔주실 수 있을까요?
그리고 커밋 메시지명은 {prefix}: {action} {subject} (#{issue_number})형태로 부탁드립니다.
참고: CMI-OSS/common#1

수정했습니다!

jaryapp · 2021-10-13T11:58:36Z

scrapper-server/src/scrappers/CafeteriaScrapper/index.ts

@@ -21,9 +32,9 @@ class CafeteriaScrapper extends Scrapper<CafeteriaScript> {
    await this.cralwer.goto(cafeteriaScript.url);
    await this.cralwer.waitForSelector(cafeteriaScript.waitSelector);
    await this.evaluateScript(cafeteriaScript);
-    await this.cralwer.evaluate(`script.selectCafetera()`);
    const menus = await this.cralwer.evaluate(`script.getMenus()`);


menu의 타입을 Menu[]라고 생각해주시면 될듯합니다

feat: make cafeteria scrapper

e052e11

vcho1958 changed the title ~~feat: make cafeteria scrapper~~ [FEAT] make cafeteria scrapper Oct 12, 2021

vcho1958 changed the title ~~[FEAT] make cafeteria scrapper~~ [FEAT] Mke cafeteria scrapper Oct 12, 2021

vcho1958 changed the title ~~[FEAT] Mke cafeteria scrapper~~ [FEAT] Make cafeteria scrapper Oct 12, 2021

vcho1958 linked an issue Oct 13, 2021 that may be closed by this pull request

[FEAT] 학생식당 스크래퍼 #2

Closed

vcho1958 added 학생식당 labels Oct 13, 2021

[CHORE] Reshape cafeteria DateMenu object interface for using SQL

e684e2d

vcho1958 requested a review from jaryapp October 13, 2021 10:36

jaryapp reviewed Oct 13, 2021

View reviewed changes

jaryapp assigned vcho1958 Oct 13, 2021

vcho1958 added 2 commits October 13, 2021 21:40

[CHORE]Change interface to Menu

6a92ee3

chore: modify food_name separator from bar to space (#9)

d1e8d9a

jaryapp approved these changes Oct 13, 2021

View reviewed changes

jaryapp merged commit 6de715a into CMI-OSS:feature/i2 Oct 13, 2021

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

[FEAT] Make cafeteria scrapper #9

[FEAT] Make cafeteria scrapper #9

vcho1958 commented Oct 12, 2021

vcho1958 commented Oct 13, 2021

jaryapp left a comment

jaryapp Oct 13, 2021

vcho1958 Oct 13, 2021 •

edited

Loading

vcho1958 Oct 13, 2021

jaryapp Oct 13, 2021 •

edited

Loading

vcho1958 Oct 13, 2021

jaryapp Oct 13, 2021 •

edited

Loading

vcho1958 Oct 13, 2021

jaryapp Oct 13, 2021 •

edited

Loading

[FEAT] Make cafeteria scrapper #9

[FEAT] Make cafeteria scrapper #9

Conversation

vcho1958 commented Oct 12, 2021

👀 이슈

📌 개요

👩‍💻 작업 사항

✅ 참고 사항

vcho1958 commented Oct 13, 2021

👀 이슈

📌 개요

👩‍💻 작업 사항

✅ 참고 사항

jaryapp left a comment

Choose a reason for hiding this comment

jaryapp Oct 13, 2021

Choose a reason for hiding this comment

vcho1958 Oct 13, 2021 • edited Loading

Choose a reason for hiding this comment

vcho1958 Oct 13, 2021

Choose a reason for hiding this comment

jaryapp Oct 13, 2021 • edited Loading

Choose a reason for hiding this comment

vcho1958 Oct 13, 2021

Choose a reason for hiding this comment

jaryapp Oct 13, 2021 • edited Loading

Choose a reason for hiding this comment

vcho1958 Oct 13, 2021

Choose a reason for hiding this comment

jaryapp Oct 13, 2021 • edited Loading

Choose a reason for hiding this comment

vcho1958 Oct 13, 2021 •

edited

Loading

jaryapp Oct 13, 2021 •

edited

Loading

jaryapp Oct 13, 2021 •

edited

Loading

jaryapp Oct 13, 2021 •

edited

Loading