파이썬(cpython)은
GIL특성으로 멀티쓰레드 코딩을 해도,
다중 CPU Core/Thread 환경에서도 실제로 동시에 1개의 쓰레드(코드)만 도는 것으로 알고 있습니다.
저의 이해는 이러면, 싱글 CPU/Core/Thread(단일 코어 CPU)에서 멀티쓰레드(코드)응 구현하는 것이랑 비슷한가 아닌지요? 작업의 동시성 비스무리 호과를 가지는 장점만 누리는…
1, 저의 이해가 맞는지 궁금합니다.
2. CPython이 아닌 다른 구현체(Jython, IronPython)의 파이썬을 쓰면, 일반적인 멀티쓰레드 on 멀티 CPU Core/Thread에서의 장점과 동작을 가질 수 있는지 궁금 합니다. Pypy, Cython등 다른 구현체를 사용해도, 가존 Cpython에서 사용한 파이썬 코드를 그대로 사용이 가능 하겠지요 ?
3. 2번이 가능하다면 mutex lock 처리도 가능 할런지요 ?
4. C 바이너리 디버깅을 위한 GDB등 디버그 같은 유용한 것이 있을런지요 ?
5. 파이썬 관점에서는 CPU에서 HT/SMT의 CPU Thread도 동일한 Core로 처리되는 지요? CPU Thread의 투명성 …
감사합니다
일단 threading모듈로는 1개코어를 시간분할로 동시작업하게되는거고
멀티코어를 활용하려면 multiprocessing모듈을 이용하시면 됩니다.
PyGILState_Ensure, PyGILState_Release이 GIL mutex 입니다. 이걸로 보호된 코드는 python interpreter/object와 연관된 코드입니다.
나머지 context들, 예를들면 c++ 코드나 io 코드는 여전히 멀티쓰레딩이 허용됩니다.
이는 python 코드를 짜기 쉽게 하고 안정성을 위한것입니다.
싱글 CPU/Core(단일 코어 CPU)에서 멀티쓰레드(코드)는 preemptive 스케쥴링에 관련한 건데, 이는 자원 공유가 목적입니다.
따라서 두개는 목적이 다릅니다.
2+3. Cpython이 아닌 다른 구현체는 GIL이 없을 수 있습니다. GIL을 없애기 위한 구현체도 있었습니다만, 그 중에서 성공한건 없습니다.
mutex lock을 피하기 위해서는 다른 구현체로 해결하지 않고, multi processing 라이브러리나 c++코드안에서 쓰레드를 관리하는 식으로 해결합니다.
CPython이 아닌 다른 구현체(Jython, IronPython)의 파이썬을 쓰면, 일반적인 멀티쓰레드 on 멀티 CPU Core/Thread에서의 장점과 동작을 가질 수 있는지 궁금 합니다.
아니요, 보통 다른 구현체를 쓰는 목적은 GIL을 없애는 목적이 아닙니다.
=> 수정. GIL이 없는 다른 구현체를 쓰면 가능할수도 있습니다. 다만, 보통 다른 구현체를 쓰는 목적은 GIL을 없애는 목적이 아닙니다.
Pypy, Cython등 다른 구현체를 사용해도, 가존 Cpython에서 사용한 파이썬 코드를 그대로 사용이 가능 하겠지요 ?
어느정도 복잡한 코드는 대부분 불가능합니다. dialect 혹은 library에 디펜던시가 없는 코드는 정말 드뭅니다.
4. cpython은 gdb로 디버깅 가능합니다.
5. ht/smt를 aware해서 보통 파이선 코드를 짜진 않습니다. os가 aware해서 스케쥴링을 하거나, 굳이 원한다면 py code안에서 바인딩을 할순 있습니다.
모든 python 코딩은 이제 GIL을 사용함으로 얻는 이점을 최대한 누리고, GIL의 문제점은 gil optimization, multiprocess, asyncio, pybind 등의 방법으로 풀어나가는게 맞습니다.
GIL을 없애거나 피하려는 시도는 하지 마세요. 동시성을 원하신다면, 아예 다른 언어를 쓰는게 낫습니다.
C/C++ 이라면 OpenMP 함수 몇줄을 소스코드에 발라 줌으로써 멀티쓰레드 동작합니다.
아주 쉬워요.
싱글코어로 짠 소스에 헤더만 사알짝~ 추가하믄 되거든요.
단, 정교한 멀티쓰레드하려면 당근으로 pthread_xxxx() 뭐 이런 함수로 날코딩(?) 해야죠^^