curl

개요

Linux 의 curl 명령어와 유사한 동작을 하는 명령어입니다.

curl 을 통해 가져온 데이터를 DataFrame 으로 만들어 spark 을 통해 처리 가능하도록 합니다.

설명

Linux 의 curl 과 유사하게 동작하는 명령어로, 현재 지원되는 옵션은 세 가지 입니다.

지원되는 옵션

  • -X: GET | POST - 요청 메소드

  • -H: 요청 헤더

  • -d: 요청 파라미터

Parameters

... | curl2 (op)? (-X (GET/POST))? (-H Header)? (-d data)? url

이름

설명

필수/옵션

op

사이트 형식에 따라 요청 결과가 다르기 때문에 해당 사이트라는 것을 명시해주는 값, (2block 사이트를 지원하기 위해 만든 옵션이므로 일반 사용자는 무시)

옵션

-X

요청 method 를 선택하는 옵션, 현재 지원되는 것은 GET, POST (Default: GET)

옵션

-H

요청 header 를 작성하는 옵션

옵션

-d

요청 파라미터를 설정하는 옵션

옵션

url

요청할 url 을 입력하는 부분

옵션

Example

  • 예제 명령어

https://raw.githubusercontent.com/jooeungen/coronaboard_kr/master/kr_daily.csv 사이트에 있는 csv 파일 데이터를 가져오는 명령어

* | curl2 -X GET https://raw.githubusercontent.com/jooeungen/coronaboard_kr/master/kr_daily.csv

결과

date

confirmed

20200121

1

20200122

3

20200123

4