그냥 Edge TPU 몇 개 끼울 수 있게 해 주는 물건으로 기억하는데요. Edge TPU는 말이 좋아서 TPU지 진짜 TPU랑 비교할 만한 급의 물건은 아닌데다 상당히 구형 제품이라 여러 개 끼워봐야 30만원짜리 그래픽카드 한 장보다 느리고, 돌아가는 모델도 훨씬 더 제약적입니다.
굳이 GPU 말고 다른 거 쓰시려면 진짜 서버용 인퍼런스 가속카드를 만드는 회사들이 있긴 합니다. 하지만 대부분 설정에 손이 좀 가는 편이고 의외로 가성비도 꼭 좋지마는 않아서 (규모의 경제가 잘 형성되지 않기 때문에..) 이러니저러니 해도 결국 GPU로 가는 경우가 많습니다.
변환을 잘해야지 가속이 잘 될거에요.
그리고 변환을 잘 하는 사람의 인건비등을 생각하면 대안이 되기는 어렵다는 생각이 드네요.
굳이 GPU 말고 다른 거 쓰시려면 진짜 서버용 인퍼런스 가속카드를 만드는 회사들이 있긴 합니다. 하지만 대부분 설정에 손이 좀 가는 편이고 의외로 가성비도 꼭 좋지마는 않아서 (규모의 경제가 잘 형성되지 않기 때문에..) 이러니저러니 해도 결국 GPU로 가는 경우가 많습니다.
거기다 성능도 4060같은거 쓰는게 더 잘 나올정도로 느립니다