세가새턴기존 DB서버를 대신해 보기 위해 하둡 HIVE 서버는 구축을 했습니다만,
데이터를 넣는 방법을 도통 모르겠습니다.
기존 SQL에서는 테이블 생성후 insert 문으로 컬럼에 데이터를 직접 넣을수 있지만...
하둡 HIVE 는 기존 DB서버와 같이 쿼리로 데이터를 직접 넣을수 없는듯 합니다... (insert 문 뒤에 반드시 Select 문이 있는듯...)
어떤 방법을 동원하면 하둡 HIVE에 데이터를 직접 넣을수 있을까요?
아니면 HBASE를 사용해야 하는건가요?! 혹시 HIVE와 HBASE의 데이터는 호환이 가능한가요?!
아직 하둡서버 초보라 모르는게 많습니다...
아시는분 답변 부탁드립니다...^^
모든 형태의 사용 패턴에 대해 하둡이 대체할 수는 없습니다.
특히 빈번한 단건 Insert와 Update, Merge등이 필요한 경우 거의 대체가 불가능하고,
Hive에서 단건 Select가 빈번한 경우 대부분의 웬만한 DBMS보다 퍼포먼스가 떨어질수도 있습니다.
Hive의 경우 Hive Query에서 유효한 Insert 방식으로도 단건이나 소수의 데이터를 넣을 수 있고,
적당한 형태의 파일을 만들어 파일 내용을 Load해서 넣을수도 있고,
하둡파일인 경우 아예 파일 자체를 HDFS로 넣을수도 있습니다.
Hive Query(HiveQL) 로 단건이나 소수의 데이터를 직접 데이터를 넣는 방법
(INSERT INTO TABLE tablename1 Values ('val1', val2,...))이 있는지요?
아무리 찾아봐도 다른 테이블정보를 참조하여 넣는 방법
(INSERT INTO TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement)만 있는듯 해서...
아시면 답변 부탁드립니다.^^
stack 함수를 이용하여 마치 가상의 테이블에서 Select하여 Insert 하는 식으로 넣습니다.
동작도 두개의 테이블(=파일)을 합치는 것 처럼 이루어집니다.
Insert into select stack 으로 구글링해보시면 됩니다.