PostgreSQL 쿼리 실행 방법 질문입니다.

   조회 3135   추천 0    

PostgreSQL을 이용하고 있습니다.

시스템은 Debian 에서 PostgreSQL 14, AMD 5900X, 1TB NVme를 이용합니다.

보통 분기별로 작업을 하는데 다음과 같은 형식의 UPDATE 구문이 많이 있고, 이러한 작업에서 많은 시간이 소요됩니다.
시작부터 종료까지 대략 1주일 걸립니다.

UPDATE H1.measurement AS a SET id = b.id FROM M.measurement AS b WHERE a.source_value= b.source_value;
UPDATE H2.measurement AS a SET id = b.id FROM M.measurement AS b WHERE a.source_value= b.source_value;
UPDATE H3.measurement AS a SET id = b.id FROM M.measurement AS b WHERE a.source_value= b.source_value;
UPDATE H4.measurement AS a SET id = b.id FROM M.measurement AS b WHERE a.source_value= b.source_value;

이 4개의 쿼리를 동시에 실행하는 것이 시간이 적게 걸릴지, 아니면 순차적으로 하는 것이 시간이 적게 걸리는지 궁금합니다.

PostgreSQL에서 MariaDB 등으로 갈아타면 속도가 빨라질까요? ㅠ

top 명령어로 보면 wait 비율이 높아서 뭔가 설정을 바꿔주면 좋을 것 같은 부분도 있을 것 같기는 한데.. 잘 모르겠습니다.

짧은글 일수록 신중하게.
엠브리오 2021-10
쿼리가 느린것은 index가 제대로 안되있거나 기타 여러가지 이유가 있을수 있습니다.
explan 걸어서 어떤 과정을 거치는지 확인해보세요.

https://ktdsoss.tistory.com/133

update 구문이 총 몇 줄인지는 모르겠으나, 일주일이 걸릴정도로 시간이 오래 걸린다면
데이터 저장이 전혀 최적화 되어 있지 않은 것으로 보입니다.

원본 DB는 계속 돌아야 하니, 사용이 제일 적은 시간에 DB를 덤프 떠서 다른 시스템 하나를 더 만들어 놓고 거기서  최적화를 고민해 보는게 좋겠습니다.

그리고 PostgreSQL을 쓰다가 MariaDB로 옮기는 것은 중형급 세단을 몰다가 경차로 갈아타는 것과 같습니다.
PostgreSQL이 훨씬더 기능도 많고 다양한 응용이 가능합니다. 물론 그게 더 빠르다는 것을 의미하지는 않습니다.

다만 지금의 상황은 DB성능의 문제가 아니라 최적화의 문제로 보입니다.
NaN 2021-10
자료사이즈와 스키마 구조 인덱싱 구조를 알아야 명확하게 답변이 가능할것 같은데요
데이터의 양과 구조를 알아야할것 같습니다.
 MYSQL과 Postgresql 의 데이터 저장방식에 따라서 update의 성능도 차이가 있긴한데요 update가 mysql이 좀더 유리하긴합니다만
지금 데이터양이 얼마나되는지는 모르겠으나 일주일이나 걸리는건 좀 문제가 있는것 같네요
추가적으로 EXPLAIN, ANALYZE 결과도 올려주시면 확인에 있어서 유의미할것 같네요
별해는아해 2021-10
조건없이 그냥 조인해서 업데이트네요
이건 테이블건수,테이블 사이즈에비례해서 시간이 걸립니다
이런작업은 일반  dbms는 느립니다

오래걸린다면 최신버전이라면 병렬처리하시구요
파라미터 튜닝도 해보시구요
그리고 db에서는  pc용 nvme는 스펙 성능이 다 안나오죠

이런작업은 mysql의 innodb 계열이 더 느립니다
트니아빠 2021-10
답글을 달아주신 모든 분들께 감사드립니다.

일단은 index 부터 손보도록 하겠습니다.
민사장 2021-10
인덱스가 안걸려서 full scan 하게 되면 당연히 오래걸립니다.
쿼리 실행계획을 확인해서 인덱스를 타는지 확인해 보시기 바랍니다.


QnA
제목Page 674/5730
2015-12   1791129   백메가
2014-05   5266208   정은준1
2013-11   12855   정용우
2015-03   3984   불로소득
2019-09   2985   미수맨
2013-11   18697   박문형
2019-09   3271   자객
2022-07   3124   Psychophysi…
2016-05   5344   dmedia
2018-08   3198   제갈기천
2019-10   3186   삐돌이슬픔이
2022-07   1898   산수익힘책
2017-05   3415   옆왕
2019-10   3085   전설속의미…
2017-05   3399   컴박
2011-06   12020   스무프
2013-11   4471   강태공
2015-04   4893   윈도우10
2018-08   3723   블루영상
2011-06   7603   미수맨
2017-05   4109   김승현1
2015-04   5968   한가한이수진