안녕하세요,
엑셀 50만 행 + 20~60열 정도되는 분량의 데이터가 최대치이고 vlookup을 하는 일이 많습니다.
이런 작업을 일~주 단위로 계속적으로 해야하는 업무를 하고 있습니다.
회사에 요청해서 PC를 2대 쓰고 있는데요,
- 회사 컴퓨터 사양(동일컴 2대 사용중) : 윈도우7 64비트, 엑셀2016, i5-6600, ram16GB, SSD 860 evo+HDD
회사 컴퓨터로 vlookup 대용량 작업시 작업시간이 30분~1시간 정도고, 서브PC가 사양은 동일한데 뭔가 더 버벅이고 느립니다.
CPU 100% 풀로드 상태라 다른 업무를 못하는 시간이 하루에 2~4시간 정도가 되길래 서브PC 요청하여 작업중이었구요.
그마저도 회사에서 업무를 다 쳐내지 못하는 상황이라 집에서 까지 일을 하고 있습니다.
집 컴퓨터 사양에서도 속도가 좀 더 나왔으면 해서 시스템 구성을 좀 하나로 합쳐서 원활하게 작업하고 싶어서 문의드리는데요.
- 집 컴퓨터 사양 : 윈도우10홈, 오피스2013, 라이젠7 2700x, ram 16GB, 마이크론ssd 500gb+HDD 2TB
- 개인 노트북 : 윈도우10홈, 오피스2013, LG그램 i7-8550u, ram 16GB, M.2 sata SSD 500GB 듀얼
여기서 오피스를 365 홈 구매해서 사용 예정인데, 특정 A라는 작업이 노트북에서 30분이 걸린다면, 데스크탑에서는 간헐적으로 멈춤이 잦거나 20~25분 정도로 큰 차이는 체감상 없는 것 같습니다. 좀 정확하게 나중엔 동일 작업 걸어두고 재보던지 해야겠네요; 노트북에서는 최저 1.7ghz부터 2.3ghz 정도를 왔다 갔다 하는거 같고, 데스크탑은 평균 3.3ghz 였던 것 같습니다. 부정확한 정보 죄송합니다.
아무튼 노트북에서는 젤 최신 빠른 프로세스라 하더라도 발열 못잡으니까 속도 안나온다고 해서 데스크탑이 답이다 싶어 정리예정이고
데스크탑도 게임을 안해서 그래픽카드(1070ti) 팔고 CPU를 재구성하면 어떨까 싶은데요, 데스크탑 발열 부분도 잘 모르지만 수냉? 뭐 그런걸 달아야할지;
엑셀도 버전마다 다중코어 사용인지 싱글코어 사용인지가 다르다고 들었고, AMD나 인텔의 호환성이랄까... 그런것도 있을까요?
또 함수마다 클럭 사용하는게 조금씩 다르다곤 하시던데, vlookup은 주로 깡클럭 높은 i7-8700k 같은게 2700x 보다 나을까요?
지식이 부족해서 어떻게 해야할지 모르겠습니다 ^^;
혹시 그래픽카드 달 돈으로 2cpu를 달아주면 더 쾌적하고 빠르다던가 그런것도 있나요?;;
어떤 글 보니 제온cpu로 cpu로드가 30%대인데도 작업속도가 안나온다고 하시는분 글 본 것 같은데
cpu풀로드의 문제가 아닌건지... ram점유율은 엄청 높진 않은데 말이죠...어떤 점이 문제인지 모르겠습니다.
작업시간을 단축해서 수면시간을 더 늘리고 싶습니다 ㅠㅠ 도와주십시오.
cpu 로 처리하는건 한계가 있습니다..
프로그램 하나 만드셔서 하시는것도 방법입니다.
보안이 필요한 프로그램이 아니라면 제가 일부 받아서 .. 처리 할 수 있도록 해드릴 수도 있을것 같습니다.
절대 .. 뭔가를 취하려거나 그러는건 아니고 .. 이런쪽에 관심이 있고 .. 지금 개발을 시작하는 단계여서
공부가 될까 해서 말씀드리는겁니다.. 가능하시면 쪽지주세요.
딱히 보안이 필요한 정돈 아닌거 같아서 어느정도 편집해서 전달드리겠습니다. ㅠ.ㅠ
저도 개발이나 셀레니움 같은 웹 크롤링 등등 개인적으로 배워보고 싶은데, 이런식으로 일이 많아서 집에가서도 새벽 3시까지 일하기 일쑤니 개인시간이 거의 없네요 요즘; 있어도 멍때리다 잠자기 바쁘고...;; 암튼 쪽지 드리겠습니다 ㅠ.ㅠ
저와 비슷하게 관심이 많으신듯 하네요 ...
이거 빨리 해결 해드릴 수 있으면 해드리고 .. 도움 드리고 싶네요 ..
물론 쿨러도 새로운 CPU에 맞춰 줘야 합니다..
하드웨어로는 그 것외 특별히 더할 것은 없어 보입니다..
인원 충원을 원래 해주기로 했는데 그게 3개월째 지연되고 있고 올해안으로는 불가능할 것 같아서 조만간 이런 쪽으로 지식이 생기면 잘 정리해서 cpu업글이라도 받아내려구요....
python으로 엑셀 제어하는 것입니다.
https://www.youtube.com/watch?v=w7Q_eKN5r-I
사용중 속도를 높이려면 메모리 속도를 제일 빠른 DDR4 로 써보세요.
처음에 문서 여는 로드 시간을 줄이려면 SSD 쓰면 되고요.
엑셀이 메모리에 로드되서 데이터를 찾으므로 메모리 속도는 VLOOK 등에 영향을 미칠수가 있습니다.
이 부분을 확인해 보심이 좋을것 같습니다.
SSD는 엑셀을 최초로 로드할때만 영향을 미칩니다. 엑셀 여는 시간이 오래걸리면 SSD를 빠른거로 하면 효과를 볼 수 있습니다.
그리고, 저는 CPU는 그런대로 지금거도 쓸만하다고 생각하고요.
상대적으로 RAM이 CPU보다 느리므로 RAM 을 빠른 것을 써보시라고 말씀드린겁니다.
ssd는 nvme? 그걸로 교체하고 램은 8gb x 4개나 16gb x 2개 하면 연산처리 속도 상승이 체감되려나요?
이 부분도 차이나는 요소일수 있거든요. Trim, GC 둘다 되야 좋고요.
그리고, SSD 가 꽉차 있으면 급격하게 성능이 저하될수 있습니다.
삼성 SSD 라면 10% 정도 영역을 비워놓게 유틸리티에서 설정할수 있습니다.
https://m.blog.naver.com/PostView.nhn?blogId=gboarder&logNo=90098847579&proxyReferer=http%3A%2F%2Fwww.google.co.kr%2Furl%3Fsa%3Dt%26rct%3Dj%26q%3D%26esrc%3Ds%26source%3Dweb%26cd%3D1%26ved%3D2ahUKEwifkreJ-4zeAhVBxbwKHSBmDE0QFjAAegQICBAB%26url%3Dhttp%253A%252F%252Fm.blog.naver.com%252Fgboarder%252F90098847579%26usg%3DAOvVaw3GzTVL23_5XhecLjrbzTF8
우리 장터에도 있습니다
보드는 모델이 몇개 없습니다..
어쩔수 없지만 보드랑 쿨러가격도 한 가격들 합니다..
access 방법이 더 나은 방법이라고 하십니다
물론 회사일 때문에 오피스사고 컴퓨터사고 그런것들 좀 배아픕니다만...
다른 분들 말대로 최소 Access를 이용하시거나....
가능하시다면 제대로된 데이터베이스엔진(MS SQL EXPRESS 정도만 사용해도 괜찮을 듯)을 사용하시는게 나을껍니다.
어떤 데이터인지 몰라서 정확히 말씀을 드리기 어렵지만, 제대로만 한다면 지금 투입하는 시간의 0.1%도 안되는 시간내에 결과물을 얻어내실 수 있을껍니다.
전체 원본을 다 다운로드해서 그것에서 특정 데이터를 뽑아내는데 뽑아내야 할 행이 20만개 정도가 1회 작업시 요구되고,
그런 작업 횟수가 하루에도 대여섯번은 일어나는 상태인거 같습니다 ^^;
엑셀 돌려놓는 시간만 주당 일 평균 3시간 정도인거같네요... 그냥 계산기 용도;
DB서버 사용하시는거 같고, 접속권한만 획득하시면 그냥 SQL 명령 몇줄 날리면 답이 도출될 꺼 같은 분위기 입니다만??
데이터의 오염이 우려되고 매번 분석해야 되는 상황이 변경된다면 읽기 전용으로 권한 달라고 하셔서 작업하시면 되고
매번 동일한거 하신다면 외주로 프로그램 하나 만드시면 바로 해결될 거 같네요.
평이할때에는 1주 1~2회 정도 몰려있고, 수시로 갑자기 요청이 오기도 하여 그럴땐 또 다른업무들이 지연되니 문제가 있습니다.
제가 개발쪽 지식이 없고 회사 내 개발자 분들도 각자의 일이 있어서 요청 드려도 기한이 오래걸리거나 딱 원하는 만큼의 방향으로는 힘들더라구요.
아무래도 이건 제가 개인의 능력을 업그레이드 해서 해결해야하지 않나 싶네요 ㅠ
공유가 된다면 다른 환경에서도 테스트 해보고 싶어지네요.
뭔가 하는 업무에서 개발로 해결할 수 있을 공통점이 있을까 정리해봐야겠습니다. 워낙 업무가 밀려오니 정신없이 해서 ;
업무중 일부를 편집해둿는데 메일주소를 쪽지로 주시면 전달드리겠습니다!
저도 대용량 엑셀작업하는데 8700K 2700X 엑셀 연산처리 테스트 다 해봤습니다.
2700X가 좋으면 좋았지 8700K에 떨어지진 않습니다.
우선 주 단위로 해야하는 업무중에는 1시트에 다 못담을 만큼의 분량이라 2시트에 넣고 나눠서 불러오긴 합니다...
화일이 너무 크면 SSD로도 감당이 안될수 있습니다..
로딩시간이 엄청 길어져 버리는 것이죠..
이 때는 하드웨어 레이드 장비를 넣어 I/O 속도를 높여 주는 정도가 다입니다..
매번 이런건 아니지만 뭔가 작업할 때마다 시간이 많이 걸리고 이런 파일들 사이에서 Vlookup을 땡겨야하는일이 많긴하네요;
Dell 워크스테이션을 투입해야 할것 같습니다.
Dell T7600
E5-2687W 2CPU
RAM 128GB
SSD 250GB 4개 RAID 0 구성
(Raid0의 위험성은 알고계셔야 합니다. 극단적인 성능향상을 위해서.)
대략 가이드라인 식으로 잡아봤습니다.
제온V3,V4로 하면 성능이 더 나옵니다만.. 가격은 극단으로 치닷습니다.
저도 대용량 엑셀 처리하는데 2687w v1 듀얼보다 성능 높은 E5-2667v2 듀얼로 라이젠 2700x 하나랑 거진 비슷한 성능 나옵니다.
v3/v4로 가더라도 별다른 대안은 안될겁니다. 테스트는 몇번 해봤거든요.
메모리가 많이 필요할 줄 알았는데.... 16기가 메모리를 30% 정도만 사용한다니...
실수..
흔한 PC들 외에 더 윗급의 어떤 부품들이 존재한다는것도 잘 몰랐습니다;;
제가 테스트 했던 프로그램들(엔시스, 프리미어/에펙, 3dmax)에서는 대용량 파일을 불러오거나(타임라인에 올리는 시간) 렌더링 하는데는 쿼드채널이 확실히 체감이 좋았습니다. 라이젠은 씨네벤치 점수는 좋은데 실제 타임라인 불러오거나 렌더링을 하면 같은 씨네벤치 점수의 인텔 대비 꽤 느렸거든요.
인텔만 놓고 보면 듀얼과 쿼드가 30%정도 차이가 났습니다. 싱글과 쿼드 채널은 40%이상 차이가 났었고요. cpu성능은 라이젠이 좋을 수 있으나 쿼드채널로 테스트한 v3/v4였는지는 조금 궁금합니다. 제가 몇번 테스트하고 나서는 메모리 대역폭 효과를 실감했었거든요.
오피스가 현재는 XML 기반인데 한계가 명확하게 보입니다.
저도 엑셀로 이정도 데이터는 처리가 처음이고, 이전 담당자들은 2~3명이서 했다고 하는걸 혼자하는터라 그런가보다 했는데...
왜 회사에선 이런말을 안해주는걸까요?...
위 상황은 저를 아득히 뛰어넘는 심한 상황입니다.
일단 함수 최적화가 더이상 불가능하시다면 다른 방법을 찾으셔야 할겁니다.
막상 해보니 어느정도 이상 스펙이 된 이상부터는 속도가 다 거기서 거기입니다.
제가 요즘 주로 하는 일중 하나라서 뭔가 도움이 될수도 있지 않을까 생각합니다.
보안... 잘은 모르겠으나.. 내용 많이 지우면 가능할 거 같은데 메일 주소를 쪽지로 주시면 보내드리겠습니다.
아이디 눌러서 메일보내기가 안되네요;
오늘은 인원충원이 고려중에서 안됨으로 변경되었네요 하하/
한번 테스트 해보세요.
액셀이 손에 익어서 편하다고 해서 액셀만 고집하는 모양세이고, 처리하고자 하는 데이타는 이미 액셀로 처리할 수 있는 용량의 범위를 넘어선 것 같습니다.
위와 같은 상황에서 올바른 툴이 무어냐 하면 각종 데이타베이스 툴입니다.
데이터베이스에는 여러가지가 있는데, 지금 위의 경우를 보면 비주얼 폭스프로가 적당할 것이라 생각합니다.
비주얼 폭스프로가 마이크로 소프트에서 업그레이드를 중단했기에 미래 전망이 어둡다고는 해도, 현업에서 많이 사용되고 있고, 단위 업무 처리에서 막강한 성능을 발휘하고 있습니다.
더우기나 액셀 데이타를 VFP(비주얼 폭스프로)로 바로 불러 들일 수 있고, VFP 데이타를 액셀로 바로 내보낼 수도 있기 때문에 vfp가 현업에서 많이 사용되고 있습니다.
또 VLOOKUP 에서 많은 시간이 걸린다하니, 무조건 데이타베이스로 가야한다고 생각합니다.
예를 들어 데이타 베이스로 가서 VLOOKUP 과 같은 검색 또는 퀴리 작업을 하면 엔터를 치자마자 결과가 화면에 나타난다라고 할 수 있습니다.
그리고 이런 작업은 그냥 일반적인 업무용 PC 사양으로도 처리가 가능합니다.
만년 초보이지만 이런 정도는 상식 수준 아닌가 생각합니다.
그리고 제가 개발관련 일을 하는 업종도 아니라서...
지금 몇달전부터 좀 특수한 상황인데 아마도 이게 앞으로 제 일이 될 거 같습니다.
이쪽으로 리소스 많이 뺼 수 있으면 급건들 처리해두고 개인시간 내서 좀 배워야겠네요.
몰랐던걸 알려주셔서 감사합니다.
컴퓨터의 성능 문제는 그 다음일듯 싶군요.
작업 처리 내용에 따라 SQLite 로 끝날수도 있고, MySQL, PostgreSQL 혹은 SQL Server 가 동원 될수도 있겠지요.
그런 다음 데이터베이스 좀 다룰줄 아는 분에게 문서를 보여주면서 간단하게 끝날일인지 아닌지 한번 문의해보시기 바랍니다.
복잡하지 않다면 굳이 프로그래밍까지 하지 않아도 데이터베이스 설치 및 SQL 조합으로 그냥 끝날수도 있습니다.
AMD 시스템의 문제는 디스크 I/O 퍼포먼스나 호환성이 인텔에 비해서는 좀 부족하다는 것입니다..
일단 지금 문제는 데이터량이 문제가 아니라 함수 문제네요.엑셀에서 lookup 함수 cpu 잡아먹는 괴물인데,
1차 데이터에서 lookup으로 추출하고 다시 여기서 sumif나 lookup로 연산하시는 경우라면, 사실 답 없습니다.
연산하느라 cpu 100% 부하율 치는 시간이 길어서 문제인건데, db로 가시면 속도는 극적으로 빨라집니다(데이터처리만 하는경우)
그런데 꼭 엑셀 쓰셔야한다면 CPU연산 능력이 문제이니 돈들여서 CPU올리시면 효과는 나오는데 그렇게 많이 빨라지지는 않습니다.
- cpu클럭빨이 중요하긴 한데, 경험상 엑셀에서 멀티코어도 잘 활용합니다. 경제적으로 허용되는 범위에서 패스마크 점수 같은 벤치 참고로 CPU연산능력이 높은 CPU 선택하시면됩니다.
- 경험상 패스마크 점수가 두배되면 연산시간도 거의 2배 정도 짧아지는데, 들어가는돈은 2배가 넘습니다
일단 엑셀 함수를 효율적으로 사용하시거나, 계산을 가능하면 한번에 처음부터 끝까지 돌리지 않게 하시는게, cpu 업글 보다 효과가 더 좋을겁니다.
이곳 참고해보세요, 고객 요구에 맞게 제작해 주기도 한다고 합니다. 예전부터 억세스 강의 들어 왔는데, 실력 있어 보입니다. 회사일이라면 혼자서 끙끙거리지 마시고, 전문가에게 맡기시고 여유를 가지시길 바랍니다.
업무 맡은지가 얼마 안되어 저도 이 중에서도 업무가 얹어지고 얹어지다보니 다 정리가 안된 상태인데
이쪽 공부를 좀 하면서 업무정리도 겸하면서 효율적으로 업무 볼 수 있도록 노력해야겠습니다. 감사합니다.
하드웨어 성능 문제로 잘 못 보신것 같군요..
소프트웨어적으로 해결해야 할 걸로 보입니다.
다행히 도움 주신 다는 분들이 계셔서
잘 되시길 기원합니다.
이런 문제는 회사단에서 규모가 작더라도 소프트웨어 문제해결 용역들
만들어 DB 전문가들의 프로젝트로 완성됬으면 좋겠습니다.
이런 상황 만화에서 본적 있습니다
PLUTO
주인공 경찰 아저씨 로봇이 감옥의 최초의 살인마 로봇에게
면회를 와서, 수십년전의 살인 동기를 물어봅니다.
그 살인마로봇은 너의 메모리 카드를 잠시 교환해보면 알려주지...
이런 장면이었던것 같습니다
교환해줬을까요?
네. 메모리를 교환해본 후 주인공은 숨겨진 진실에 접근할 실마리를 잡게됩니다
질문하신 분이 샘플데이타나 화면 캡처등을 질문에 추가하셨다면, 좀더 구체적인 답변을 빠른시간에 받으실 수 있었을 것 같습니다 아울러 답변하시는 분들도 덜 조바심이 나셨을 것 같습니다
엑세스 프로그램이나 다른 데이터베이스 방법들을 좀 개인적으로 공부하고 싶어졌습니다.
좋은 말씀 감사합니다.
자바에 poi쓰면 될꺼 같은데요.
ui가 느린걸수도 있으니
이 글에 추가적인 답은???? 로 가시면 볼 수 있습니다.
http://www.2cpu.co.kr/freeboard_2011/957242
사실 이건 엑셀 자체의 문제고, 소프트웨어로 풀어야 하는건데....하드웨어로는 풀기 어려운 숙제이죠...
이번주에 몸이 좀 안좋고 일은 계속해야해서 이쪽 피드백이 늦어지고 있습니다. 신경써주시는거 너무 감사합니다.
https://github.com/boyan-soubachov/Excelerator
이런것도 있으니 혹시나참고를...
GPU 활용하여 12배정도 속도 향상된다고 합니다.
반복적인 연산은 GPU가 답이죠.
물론 이 사례는 IO도 관련되어서 그부분은 좀 그렇네요.
램을 늘려서 램에 파일 얹어놓고 쓰시는것도 추천드려요.
아.... 이제보니 닉네임이 뭔가 그렇군요 ㅎㅎ
슴덕이라면, 제가 아는 그 슴?
그래서 관련부서에 문의 넣어두었고 회사에서 엑세스 사용 불가하면 개인 오피스 365 홈 구매해서 회사에서 쓸 수 있는지도 문의는 넣어두었습니다.
엑세스 프로그램 사용을 회사에서 못한다고 하면 다른 쪽으로 방법을 찾아봐야겠는데, 많은 분들이 친절하게도 도움주셔서 너무 감사하네요.
엑세스는 접근도 다른 방법들에 비해 쉬울 것 같아서 기대하고 있었는데 약간 벽이 있군요...
GPU 활용하는 것도 완전 초보라 하나도몰라서 자세한 설명 없이는 활용하기가 어려워 보입니다 ^^;
닉네임은... 사슴의 슴 입니다 ^^*
엑셀<<<엑세스입니다.
일단 함수이름도 다르구요. 문법도 좀 다릅니다.
다른거 보지 마시구
테이블 / 쿼리 이것만 보시고,
생성된 자료를 다시 엑셀로 저장하는 것 까지만 하시면 됩니다.
굳이 다 하실필요없어요. 필요하신만큼만 구글에서 검색하는게 젤 효율적입니다 ㅎㅎ
libreoffice라는 것이 있는데요 여기두 access에 대응하는 Base라는 것도 있기는 합니다
ms 오피스가 할 수 있는 것은 대부분 할 수 있다고 합니다만 아니라고도 합니다
모든 것이 가능하지는 않다고 합니다
혹시 몰라서 알려드립니다
아 참 노트북에는 한컴오피스가 구매혜택으로 깔 수 있는데 거기서도 되나요?;;
회사에서는 엑셀2016을 쓰는데 libreoffice나 이것과 호환이 잘 될런지 모르겠네요.
Base는 ms의 access에 대응하구요
libreoffice 검색해보세요
무료니까 다운받아서 깔아서 사용해 보시구요
우선은 설치해서 엑세스 한번 만져봐야겠습니다. 감사합니다.
최대한 추가설치 없이 엑셀 내에서 처리할 방법 있는지 확인해볼게요
그리고 구조 약간 변경해도 된다면 제생각엔 엑셀에서 충분히 처리 가능할 것으로 보입니다.
아무튼쪽지로 파일 다운받을 수 있도록 링크랑 간단한 개요 부탁드릴게요
(기준 : 오피스365용 엑셀)
글도 좀 중구난방으로 썼고 파일 두어분께 전달은 드렸는데 더 드리면 보안문제도 조금은 있겠지만 그거보다는 클라이언트가 기분나쁠거같아서 더 공유는 못하고 있어요.
엑셀에서 처리 시간 줄어들고 다 된다면 참 좋겠네요.
회사에서 엑세스도 라이선스 없어서 개별 기안 올려 구매하려면 일단 2주정도는 걸리는터라..
참고해보시길.
http://www.2cpu.co.kr/freeboard_2011/957790
A Visual Guide To Pandas
https://www.youtube.com/watch?v=9d5-Ti6onew
스피커가 엑셀 사용 선호하는 사람이랍니다
혹시 도움이 될까 올려봅니다
회사에서 사용가능할지는 또 별개의 문제라 안된다면...난감하겠네요.
https://www.youtube.com/watch?v=POe1cufDWFs
강의하는 학생은 하버드 2학년생입니다
https://github.com/athenakan
설명이 좀 다를 수 있으니 참고요
리브레오피스는 속도가 너무 느린것같고 엑세스는 사용불가하니 파이썬 밖에 없군요...