혹시 대용량 csv 파일을 삽일 하는 경우 쿼리문을 입력하고 실행이 안된다면 timeout을 확인해봐야한다. edit -> SQL editor에 들어가면 csv파일의 하나의 인덱스를 읽어들일 떄 걸리는 timeout을 설정할 수 있다. 기존에 60seconds를 90seconds로 설정하니 나는 import하는데 문제가 해결되었다

현대 자동차 국제사업본부 공모전을 시작하면서 , , 를 받게 되었다. 용량이 너무 크다보니(그렇게 큰 편은 아니지만) 쥬피터 노트북, 파이썬을 사용하여 JOIN을 처리하기에는 너무 오래 걸렸다. 각 파일의 용량은 약 69.1MB, 878MB, 182MB이다. 쥬피터 노트북으로 처리하기엔 너무 무거운 파일들이다. 그래서 파이참과 MYSQL로 파이참에서 SQL문을 던지면 처리해서 가져오는 형식으로 사용하려고 한다. 그래서 csv파일을 mysql에 import 시키려하는데.... 파일 형식(encoding), 파일 접근권한 등 오류에 봉착했다.. 그래서 그것들을 해결하는 방법들을 정리해 보고자 한다. 1. csv파일을 넣을 table 생성 mysql workbench를 사용하여 csv파일에 맞는 TABLE을 ..

main에 세번째 인자는 환경변수를 출력사고자 할 때 사용된다. 환경변수 출력 int main(int argc, char **argv, char *envp[]) { int i; i = 0; for (i = 0; envp[i]; i++) { printf("%s\n", envp[i]); } return (0); } USER=namgyupark SECURITYSESSIONID=186ba COMMAND_MODE=unix2003 __CFBundleIdentifier=com.microsoft.VSCode PATH=/opt/homebrew/bin:/opt/homebrew/bin:/Users/namgyupark/opt/anaconda3/bin:/Users/namgyupark/opt/anaconda3/condabin:/..

int main(int argc, char **argv, char *envp[]) { int x; pid_t pid; int fd[2]; int fd2; x = 0; pipe(fd); printf("%d, %d\n", fd[0], fd[1]); pid = fork();//자식 생성 if (pid > 0)//부모일 경우 { dup2(fd[1], 1);//표준출력 1이 fd[1]을 복제(고정)한다. //dup2함수 // int dup2(int fd, int fd2); // #include // fd2가 fd를 복제한다 write(fd[1], "hello\n", 6);//컴퓨터는 hello를 fd[1]을 통해서 읽는다. waitpid(pid, 0, 0);//자식이 끝날때까지 기다림 } else if (pid ..

m1칩이 출시 된 후 빠르게 지원 어플리케이션들이 늘어나고 있다. m1칩에서 mysql과 파이참 아나콘다 사용 환경에 대해 정리하고자 한다. 먼저 과정을 설명하면 1. mysql ommunity 설치 -> mysql server 설치(brew를 통해 설치하는 것을 권장) 설치를 확인후 2. 파이참 설치(홈페이지 설치 권장) 파이참을 실행하면 다음과 같은 화면을 확인 할 수 있다. customize를 통해서 개발환경을 정할 수 있습니다. 그리고 All settings을 누르면 환경에 따른 언어버전과 필요 라이브러리를 설치 할 수 있다. python interpreter를 통해서 파이썬의 버전을 선택할 수 있다. + 버튼을 누르면 다음과 같이 추가 라이브러리를 설치할 수 있다. 여기서 pymysql을 설치해..

머신러닝은 다시말하면 인간의 학습능력을 컴퓨터에 재현하는 것이라고 정리할 수 있습니다. 인간의 학습하는 방법을 생각해보면 1. 반복적으로 외우기 2. 조건에 맞추어 의사를 결정 3. 공통된 특징을 나눠서 생각하기 등.. 여러 방법으로 학습하고 생각합니다. 이러한 방법을 컴퓨터 상에 재현하면 다음과 같이 생각할 수 있습니다. 강화학습 : 시행착오를 통해 오류, 버그, ‘환경에 가치를 극대화 시키는 행동’을 학습한다. 예를 들어 게임에서 공략법 등을 개발자는 모르지만 사용자는 반복적인 행위를 통해 개발자보다 방법을 게임을 깰 수 있는 방법을 많이 습득하는 것. 의사결정트리 : 나뭇가지처럼 분기하는 방식으로, 트리구조를 통해 학습 시켜 원하는 예측값을 도출해 나가는 방식. 서포트 벡터 머신 : 기계학습의 분야..