분류 전체보기

AI와 채팅

chat-ai 간단하게 AI와 채팅을 구현 하고자 합니다. AI는 https://beta.openai.com/docs/guides/completion/conversation의 내용을 사용합니다. openai.com 에서는 영문만 지원하기 때문에, naver의 papago api를 사용해서 번역합니다. 현재는 한글도 지원합니다. 제약사항 openai.com은 가입하면 베타 버전이라 3달간만 무료로 사용할 수 있습니다. 서비스가 아닌 스터디 목적이니 3달만 사용하려 합니다. (만기: 23년 1월 중순) 만료 되었네요. naver papago api는 하루 10,000 글자만 번역이 무료 입니다. 번역 대상은 내가 입력한 내용 + AI가 대답한 내용 입니다. 10,000글자를 초과하면 translater fa..

Nginx geoip 연동

Lightsail 셋팅을 하고 나니, 해킹 시도로 의심되는 해외에서 접속이 많았습니다. geoip를 사용해서 해외 접속을 막아 보겠습니다. 차단 방법 maxmind 에 가입하고 License key를 발급 https://dev.maxmind.com/geoip/geolite2-free-geolocation-data?lang=en 중간 배너를 클릭해서 계정을 만들고, License key를 발급 받습니다. geoipupdate 설치 geoip 연동을 위해 geoipupdate를 설치합니다. apt-get install build-essential apt-get install libpcre3 libpcre3-dev zlib1g zlib1g-dev libssl-dev add-apt-repository ppa:m..

Nginx SSL 설정

개인 프로젝트 공간을 Lightsail로 옮기면서 Apache에서 Nginx로 변경했습니다. 옮기고 나니 저사양에서는 Nginx가 훨씬 좋았습니다. 설정도 간단하고, 성능도 좋아졌네요. Nginx에서 SSL 설정 방법을 설명합니다. 개인 환경 static html 페이지 몇 개가 노출 되야 합니다. node.js로 8080 포트로 서비스가 올라갑니다. grafana가 3000 포트로 올라갑니다. SSL 기본 설정 server_name에 도메인을 넣고, static html 노출을 위해 web root 경로를 지정합니다. 키 파일을 지정하고, favicon 관련 불필요한 설정 off 했습니다. server { server_name mydomain.com; listen 443 ssl; location / {..

Oracle 에서 MariaDB로 데이터 마이그레이션

Oracle에서 MariaDB로 DB 전환 프로젝트를 진행하면서 데이터를 마이그레이션해야 했습니다. 별도 솔루션을 사용하기 어려웠고 ssh 터미널에서만 작업이 가능했으며, 마이그레이션 해야하는 테이블이 많은 상황이었습니다. 직접 구현하기로 결정했고, 생산성 좋고 동시성 개발이 편한 go 언어를 사용했습니다. DB 설정을 euckr로 해야 했습니다. Oracle은 euckr이 아닌 데이터도 저장되는데 MariaDB는 euckr이 아닌 데이터를 저장하려면 오류가 발생하기 때문에, euckr 캐릭터셋 체크 및 로그 저장 기능이 들어갔습니다. 전체 소스코드는 여기(https://github.com/lmk/migrationOracle2Maria)서 볼수 있습니다. 버그 테이블 하나에 데이터가 많은 경우 처리하지 ..

Redis 성능 향상 방법

Redis 성능 향상 방안에 대해 조사하고, 테스트 한 내용입니다. 성능 향상 방안 스케일 up 스케일 up은 CPU 성능을 올려 redis 성능을 올리는 방법입니다. Redis는 싱글 스레드로 구현되어 있어서, core가 많은 장비보다 core당 속도가 높은 것이 유리합니다. 스케이일 out 스케이일 out은 Redis를 멀티 cluster로 구성해서 성능을 올리는 방법입니다. cluster 구성방법 변경 샤딩: 데이터를 나눠서 저장하는 방법으로 get/set의 성능이 향상됩니다. 리플리케이션: 데이터를 복제하는 방법으로 master 하나에 slave 여러개로 구성하여, app 에서 master에는 set 하고 slave 에는 get 하는 방식으로 read/write 채널이 분리되어야 합니다. 이 방법..

Redis Cluster 구성

각각의 Redis Cluster 구성이 필요해서 간단하게 구성할 수 있도록, conf 파일의 node 정보를 읽어서 cluster를 구성하는 bash script를 만들었다. 여기서는 Redis는 설치되어 있다고 가정하고, 구성 방법에 대해서만 설명한다. https://github.com/lmk/redis-cluster Cluster 구성 cluster 관계 master node 간에는 샤딩으로 구성한다. master - slave로 HA 구성으로 master down시 slave가 master를 백업한다. node 3개 일때 master slave redis_01:6010 redis_02:6021 redis_02:6020 redis_03:6031 redis_03:6030 redis_01:6011 nod..