1.5TB 카드 저장 파일 관련 질문

그모도   
   조회 3558   추천 0    

기사를 보다가 의문점이 생겨서 질문 드립니다.(기사는 이미 자게에 있어서 링크는 별도로 첨부하지 않습니다.)


일반적으로 HDD는 작은 파일 읽기 힘들지 않나요? 기사 보니 몇십~몇백 바이트가 한카드를 이루는거 같던데,


이렇게 되면 1.5TB나 HDD에 저장하면 각자 txt로 저장하진 않았을거 같고... 엑셀도 tb급은 불안정 하리라 생각합니다. 엑세스나 mysql정도 생각나는데....


저렇게 작은 (금융)정보는 어찌 효율적으로 저장하나요? 


수정. 단락 조정, 글 추가

감사합니다.
짧은글 일수록 신중하게.
HTML 2020-06
아뇨 거래정보가 이메일로 발송되게 만들었고 그걸 모은게 1.5테라입니다.
     
그모도 2020-06
그럼 몇억장 수준은 아닐수도 있겠군요.

가 아니라 경찰이 밝힌게 그래서 몇억장인가요?

혼란스럽군요...으어...

html이 1.5TB라는건가...
          
HTML 2020-06
악성코드면 csv 나 txt 아닐까요 ? 포스면 mdb 일가능성도 있겠네요 sql 같은db는 아닐듯.
               
그모도 2020-06
csv도 저런 대용량 파일 담기에 적합한가요?

파일 작성은 못해보고 열어보기만 해서....
                    
HTML 2020-06
기본은 텍스트니까요
서완호 2020-06
저런건 DB 가 처리하지 않을까요...?
속도가 우선시 되야한다면 캐싱 서버를 거쳐서 들어갈것이고.....
금융 관계자가 아니라 깸또만 찍고 갑니다....ㅠㅠ
     
그모도 2020-06
음.

예전에 전자은행 php로 만들어본다고 삽질한 기억이 나네요. 재미로 해본거지만....

원장 my sql로 구현해보겠다고 책도 여러개 사고 뻘짓 했는데...

은행도 오라클 DB서버 사서 구축하고 이런 기사도 본 기억이 납니다.

은행이 아니라 은행이나 VAN에서 leak된 자료는 어찌 레이블을 만들고 수집하는게 효율적일까? 리버스 엔지니어링 하는 마음으로 생각해 보았습니다. ^^

캐싱서버도 두면 국제 해커 집단이려나요....
별해는아해 2020-06
은행권기능을 단순히 기능만 구현이라면....mysql로도 가능하죠
굳이 비싼 오라클을 사용하는건, 안정성과 장애대응력 및 레퍼런스가 있어서죠
은행 계정계는....해당 계좌기반으로 움직이다보니....읽거나 수정하는 양이 계좌에 한정적이라...
반드시 오라클이여야된다는건 없죠
다만, 정보계라면.....mysql로는 어렵고, 오라클이나 DW장비를 사용해야겠죠
     
그모도 2020-06
오픈소스는 좀 그렇죠? 지원이나 그런점에서...ㅎㅎ

은행권 기능 구현 1%도 못하고 접었습니다. 그냥 서버 운용 방법정도만 맛만 본것 같습니다.

지금도 코딩이라면 참 어렵게 느껴집니다...ㅎㅎ 학습 효과는 좋은듯 하네요.
송진홍 2020-06
아직 언론 보도가 정리가 않된 것 같은데..
하나은행 해킹사건으로 붙잡힌 법인에게서 압수한 외장 하드 2개(1T, 500G)가 1.5테라 라는 거구요..
유출된 정보의 양은 아직 파악중인 것 같은데 일단 한 매체에서 61G 정도라고 보도했습니다..
http://www.hani.co.kr/arti/society/society_general/949329.html
https://newsis.com/view/?id=NISX20200614_0001059153&cID=10201&pID=10200
정확한 건 좀 더 시간이 지나봐야 알 수 있을 것 같습니다.
     
그모도 2020-06
낚였군요.

61기가도 꽤 크네요.

자료 감사합니다.
제온프로 2020-06
작은 파일들은 하드 내부에서..
Read와 Writing 하는 헤드가 너무나 바쁘게 움직입니다...
이런 연유로 헤드 이동시간의 Access time이 길어집니다.

이런 문제를 해결하기 위해서..
헤드를 여러개 사용합니다... 파일전송속도가 빨라지겠죠..
여러개의 머리로 쓰고, 지우고를 할 수 있으니...

이것이  RAID 입니다..

DB가 중요한 시스템은 RAID 10 이나 Raid 50, 60 을 사용합니다.
     
그모도 2020-06
음. 전문 시스템은 레이드로 해결 볼수 있겠군요.

외장 하드 같은 1하드 환경에서는 어떻게 기록해야 효율적으로, 압축적으로 저장 가능 할까요?
시도니 2020-06
금융정보는 당연하게도 DB에 저장합니다.

예전에 금융권에서 사용하는 DB는 거의 대부분이 DB2 였습니다.

왜냐하면, 금융권에서 사용하는 계정계, 정보계 시스템이 거의 대부분 메인프레임이였기 때문이지요.

하지만 은행권들이 차세대를 진행하고 인터넷뱅킹, 모바일뱅킹이 대중화 되면서 UNIX 시스템이나 급진적인 곳은 LINUX로 많이 내려왔습니다.

왜 내려왔다라고 표현하냐면, 차세대진행의 주요 목표중 하나인 다운사이징을 빗대서 이야기 하는 것입니다.

이때, UNIX 로 많이 내려오면서 신뢰도가 높은 RDBMS 찾게 되었고, DW에 많은 경험을 가지고 있던 Oracle 을 많이 채용하게 됩니다.

사실 당시만 해도 Oracle 이 DW 측면에서는 성능이 좋으나 데이터 분석을 위한 행간전환 같은 작업을 하면

Line by Line 으로 읽는 Oracle 은 많이 느렸다고 하더군요.

여튼 그래서 DB2 와 Oracle 이 상존하다가 은행권의 차세대가 마무리 되고, 차차세대가 진행되면서 더더욱이 Oracle 의 입김이 커집니다.

아직 은행권에서는 DB를 전체를 바꾸는 움직임은 나타나지 않고 있으나, 이미 KB은행에서 메인프레임과 Unix 시스템 으로 다운사이징

을 하는 문제로 경영권 분쟁까지 났었죠. (뒤에서 웃고있던 IBM.... 응 ???)

여튼, 금융권의 경우 보수적인 집단이긴하나..... IT가 급속도로 변하고 있기 때문에 이에 발맞추어 조금씩 변하고 있긴 합니다.

(변하지 않으면 살아남기 어렵기 때문이라고 표현하는 편이...)
     
그모도 2020-06
예전에 작성된 은행 관련 문서들이나 기사는 메인프레임에 관한 글이 많더라고요... 은행DB에 대해서 요새는 오픈 환경으로 변화한다고 하지만...

그 KRX도 아마 유닉스 도입했지 않았나요?

오라클은 라이센스 문제때문에 못써봐서.... 특징 잘 몰랐는데 알려주셔서 감사합니다. :)

PS. KB 유닉스 사태는....ㅎㅎㅎ 대박이었죠....
          
시도니 2020-06
아닙니다. KRX의 핵심 시스템은 X86 RHEL입니다.

이게 좀 웃긴게,....

미국 증권거래소들을 Redhat 애들이 UNIX 시스템을 LINUX로 내리는 U2L을 진행합니다.

그때까지, (혹은 지금도 저 같은 보수진영 엔지니어들...의 입장에서는 이에 동의하지 않습니다만, 절대루요..) 보안의 성역이던 유닉스에 리눅스도 그에 못지 않다. 운영비용은 훨씬 절감되고 시스템의 유연성도 비교할 수 없이 증대된다. 라고 뻥을 칩니다.

이게 U2L의 대표적 성공사례 광고 사례로 쓰이지요.

이 시점이 지나고 국내 증권거래소도 레드햇 리눅스로 갈아엎습니다.

그래서 지금은 리눅스 기반 시스템으로 구성되어 있습니다.



한가지 더,

우리가 착각하는 부분이 있는 데, 유닉스보다 리눅스가 저렴하다고 알고 있으나 이는 잘못 알려져 있는 부분입니다.

리눅스는 공짜가 아닙니다. 운영비용이 어마어마하게 드는 OS입니다.

서브스크립션 계약은 말할 것도 없고 제품의 대한 결함이나 버그에 대해서 누구도 보장하지 않지요.

많은 분들이 착각을 하는 것이 레드햇이나 수세 등등 유명한 배포사가 기술지원을 하는 것이지 제품 자체를 보증하는 것이 아닙니다. 

그래서 플랫폼 전체의 호환성과 종속성에 대한 문제는 아무도 책임져 주지 않습니다.

결국 UNIX는 플램폼을 사는 것이고 리눅스는 OS라는 시스템 운영체제 하나만을 구매하는 것임을 항상 인지해 두고 있어야 합니다.

한 비근한 예로 애풀의 개발자 애들이 유달리 다른 곳 보다 우월하다고 생각하지 않습니다. closed 시스템의 특성상 자기가 가지고 있는 단일 플랫폼에서 최대한 안정화를 이끌어낼 수 있기 때문입니다.

여튼 리눅스가 대세긴 하지만,... 저 역시도 이런 움직임이 달갑지는 않습니다.

공짜인 듯, 공짜아닌, 공짜같은 리눅스 덕분에 이를 지원하는 엔지니어들도 이런 취급을 받는 게 현실이라 좀 안타까운 부분도 있습니다.
               
그모도 2020-06
http://m.ddaily.co.kr/m/m_article/?no=128208

유닉스에서 리눅스로 갔군요.

리눅스 진영의 특이한 배포, 라이센스 체계는 기존 상용 스포트웨어 배포 시스템과 좀 차이가 나는 것 같아서 어렵군요.


QnA
제목Page 4530/5718
2015-12   1739669   백메가
2014-05   5207851   정은준1
2018-10   3530   진신두
2014-04   3530   엠브리오
2014-05   3529   윈도우10
2014-02   3529   뮤노
2018-05   3529   라이크유
2023-05   3529   rockwitya
2017-07   3529   무아
2014-03   3529   Nikon
2017-06   3529   행복하세
2016-01   3529   우승곡
2020-05   3529   푸른소나무
2017-04   3529   luciddream
2015-07   3529   머재긴
2014-03   3528   김윤술
2019-05   3528   나너우리
2017-06   3528   늘파란
2019-11   3528   keros
2016-02   3528   전설속의미…
2018-07   3528   유호준
2017-09   3528   voworks