신뢰성의 기준을 결과가 정직한가에 두느냐 내가 원하는 기준에 부합하는 벤치마크냐에 두느냐의 차이지
내용을 속이거나 특정 하드웨어에 문제가 있는 코드를 포함하고 있는게 아니라면 당연 신뢰성을 의심할 필요는 없겠지요. 내가 원하는 기준에 부합하느냐는 벤치마크이냐는 다른 문제입니다.
PASSMARK라는 벤치마크 툴 자체는 그럭저럭 쓸만 합니다(AMD는 자기네가 더 낮게 나온다고 신뢰할 수 없다고 씹었지만, 요즈음 AMD 제품 자체가 별로다 보니...).
다만 거기에 연동된 PASSMARK 사이트의 점수를 그대로 믿으시면 안됩니다. 거기에 올라온 값은 어디까지나 사용자가 각자 자기 컴퓨터를 테스트해서 올린거라서 기본적인 변인 통제가 안 되어 있습니다. 또 메인 페이지에서는 등록된 값의 평균값을 보여주기 때문에 어느 한 명이 괴상한 점수를 올리면 전체 평균값도 엉망이 되버립니다(일례로 아이비 펜티엄이 처음 나왔을 때, 거기에 낚여서 아이비 셀러론이 샌디 팬티엄을 압도한다는 식의 루머가 뽐X를 중심으로 퍼져서 아직도 돌아다니고 있습니다).
그러니까 PASSMARK 사이트의 점수를 참조하시려면 평균값을 보시지 말고, 각 CPU별 최근 측정값을 보시고 대충 어느 수준이다...정도만 감을 잡으시는데 쓰시기 바랍니다.
꽤 예전에 미국의 모 리뷰 사이트에서 본건데요, 새로 개발된 VIA 시피유가 올라간 시제품 보드가
CPU-ID 값을 바꾸는 기능이 들어 있었는데, 리뷰어가 혹시나 하고 시피유 코드를 인텔걸로 바꾸고
벤치를 다시 돌렸더니 점수가 쓱 올라가더랍니다. PCMark 계열이였던걸로 기억하는데...
그리고 AMD 불도저도 윈도에서는 죽쑤는데, 최신 리눅스 깔아서 이것저것 돌려보니 샌디급으로
빠르게 나오기도 하고... 하여간 의외의 변수가 많다는걸 알고 나니 저는 그 이후로 벤치결과를 굳이
찾아서 보게 되지는 않더군요.
이형동
패스마크는 모르겠지만, 이곳 참고 하시는것도 좋을것 같습니다.
내용을 속이거나 특정 하드웨어에 문제가 있는 코드를 포함하고 있는게 아니라면 당연 신뢰성을 의심할 필요는 없겠지요. 내가 원하는 기준에 부합하느냐는 벤치마크이냐는 다른 문제입니다.
다만 거기에 연동된 PASSMARK 사이트의 점수를 그대로 믿으시면 안됩니다. 거기에 올라온 값은 어디까지나 사용자가 각자 자기 컴퓨터를 테스트해서 올린거라서 기본적인 변인 통제가 안 되어 있습니다. 또 메인 페이지에서는 등록된 값의 평균값을 보여주기 때문에 어느 한 명이 괴상한 점수를 올리면 전체 평균값도 엉망이 되버립니다(일례로 아이비 펜티엄이 처음 나왔을 때, 거기에 낚여서 아이비 셀러론이 샌디 팬티엄을 압도한다는 식의 루머가 뽐X를 중심으로 퍼져서 아직도 돌아다니고 있습니다).
그러니까 PASSMARK 사이트의 점수를 참조하시려면 평균값을 보시지 말고, 각 CPU별 최근 측정값을 보시고 대충 어느 수준이다...정도만 감을 잡으시는데 쓰시기 바랍니다.
직접 테스트해본 결과로는 오차평균이 +-5%정도라 생각됩니다.
오히려 notebookcheck (특히 그래픽) 결과값이 신뢰성이 훨씬 낮습니다.
표본간 오차가 매우 커서, 실제 테스트해본 값과 20% 넘게 차이나는 경우도 있습니다.
MBA의 i5 2467m 과 i7 2630qm의 CINEBENCH 성능차는 약 2.3배(직접 테스트)
Passmark 결과 기준으로 i5 2467m 2317, 2630qm 5629
약 2.4배입니다. 여기에서 맥북에어는 발열문제로 쓰로틀링이 살짝 걸린 상태이니 이를 감안하면 거의 같다고 생각됩니다
CPU-ID 값을 바꾸는 기능이 들어 있었는데, 리뷰어가 혹시나 하고 시피유 코드를 인텔걸로 바꾸고
벤치를 다시 돌렸더니 점수가 쓱 올라가더랍니다. PCMark 계열이였던걸로 기억하는데...
그리고 AMD 불도저도 윈도에서는 죽쑤는데, 최신 리눅스 깔아서 이것저것 돌려보니 샌디급으로
빠르게 나오기도 하고... 하여간 의외의 변수가 많다는걸 알고 나니 저는 그 이후로 벤치결과를 굳이
찾아서 보게 되지는 않더군요.