화정큐삼 03-05

ChatGPT 3.5 로 돌린건데, 아마 정확히 한번에 나오진 않았을것 같습니다. 좀더 다듬으시면 원하시는 스크립트가 나오지 않을까요?

GPT 질의)
Get-Content "./text.txt" | Group-Object | Where-Object { $_.Count -gt 1 } | Select -ExpandProperty Name
1. 전체 라인을 분할해서 4~6스레드정도로 처리 (전체 라인을 카운터해서 필요한 스레드 숫자로 나눈후 시작 지점을 각각 그만큼 더해서 지정)
2. 진척도 표시 및 일시중지 및  계속진행처리 기능 추가

GPT 답변 )
: 먼저, 전체 라인을 분할하여 여러 스레드에서 처리할 수 있도록 작업할 수 있습니다. 이를 위해서는 파일의 전체 라인 수를 세고, 그 수에 따라 적절한 수의 스레드로 분할합니다. 그런 다음, 각 스레드가 처리해야 할 라인 범위를 계산합니다.

#-----------------------------------------
# 파일의 전체 라인 수 계산
$totalLines = Get-Content "./text.txt" | Measure-Object -Line | Select-Object -ExpandProperty Lines

# 사용할 스레드 수 설정 (여기서는 예시로 4~6 사이의 스레드를 사용)
$threadCount = Get-Random -Minimum 4 -Maximum 7

# 각 스레드가 처리할 라인 범위 계산
$linesPerThread = [math]::Ceiling($totalLines / $threadCount)

# 각 스레드의 시작 지점 계산
$threadRanges = @()
$startLine = 1
for ($i = 1; $i -le $threadCount; $i++) {
    $endLine = [math]::Min($startLine + $linesPerThread - 1, $totalLines)
    $threadRanges += "$startLine-$endLine"
    $startLine = $endLine + 1
}
#-----------------------------------------

이제 $threadRanges 배열에는 각 스레드가 처리해야 할 라인의 범위가 저장됩니다.

: 다음으로, 진척도 표시 및 일시중지/계속진행처리 기능을 추가할 수 있습니다. 이를 위해서는 각 스레드가 라인을 처리할 때마다 진행 상황을 표시하고, 필요한 경우 사용자 입력을 받아 작업을 일시 중지하거나 계속 진행합니다.

#-----------------------------------------
# 각 스레드에서 진행 상황을 표시하고 사용자 입력을 처리하는 함수 정의
function ProcessLines {
    param (
        [string]$range
    )

    $startLine, $endLine = $range -split '-'

    for ($lineNumber = $startLine; $lineNumber -le $endLine; $lineNumber++) {
        # 각 라인을 처리하는 작업 수행
        # 여기에 실제 작업 내용을 추가

        # 진행 상황 표시
        Write-Host "Processing line $lineNumber/$totalLines"

        # 사용자 입력 확인 (일시 중지 또는 계속 진행)
        $key = $Host.UI.RawUI.ReadKey("NoEcho,IncludeKeyDown").Character
        if ($key -eq 'p') {
            # 'p' 키를 누르면 일시 중지
            Write-Host "작업이 일시 중지되었습니다. 계속하려면 'c'를 입력하세요."
            do {
                $key = $Host.UI.RawUI.ReadKey("NoEcho,IncludeKeyDown").Character
            } while ($key -ne 'c')
            Write-Host "작업을 계속합니다."
        }
    }
}

# 각 스레드마다 작업 시작
foreach ($range in $threadRanges) {
    Start-ThreadJob -ScriptBlock {
        param (
            [string]$range
        )
        ProcessLines $range
    } -ArgumentList $range
}

# 모든 스레드 작업이 완료될 때까지 대기
Get-Job | Wait-Job

# 모든 작업 완료 후 스레드 종료
Get-Job | Remove-Job
#-----------------------------------------

위의 예제에서는 각 스레드가 각 라인을 처리하는 가상의 작업을 수행하고, 그 과정에서 진행 상황을 표시하고 사용자 입력을 받습니다. 실제 작업에 맞게 스크립트를 수정하십시오.

dateno1 03-05

시험해보니 job 생성 시도를 하고, 전체를 입력한 스레드 숫자만큼으로 나누어서 산출하는것까진 정상인데, 정작 처리해야할 부분에 내용 추가해줘도 해당 내용 실행은 안 하네요

민호양 03-05

Group-Object 가 다 읽고 묶기때문에 오래걸립니다.
Where-Object { $_.Count -gt 1 } 는 오히려 별 시간 안걸릴겁니다.
각 단계를 쪼개 변수에 넣고 실행을 하면 오래걸리는 병목이 어디인지 보일겁니다.
a = Get-Content "./text.txt"
b = a | Group-Object
...

system32 03-05

python3 로 짠 소스입니다.import os
import threading

class LineProcessor:
    def __init__(self, filename):
        self.filename = filename
        self.lock = threading.Lock()
        self.total_lines = 0
        self.processed_lines = 0
        self.duplicates = {}

    def count_lines(self):
        with open(self.filename, 'r') as file:
            for line_number, line in enumerate(file, start=1):
                self.total_lines += 1

    def process_lines(self, start=None, end=None):
        with open(self.filename, 'r') as file:
            if start:
                file.seek(start)
            if end:
                chunk_size = end - start
            else:
                chunk_size = os.path.getsize(self.filename)

            for _ in range(chunk_size):
                line = file.readline()
                if not line:
                    break
                self.processed_lines += 1
                if line in self.duplicates:
                    with self.lock:
                        print(f"Duplicate line '{line.strip()}' found at line number(s): {', '.join(map(str, self.duplicates[line]))}")
                else:
                    self.duplicates.setdefault(line, []).append(self.processed_lines)

    def process_chunk(self, start, end):
        self.process_lines(start, end)
        with self.lock:
            print(f"Processed chunk from {start} to {end}. Progress: {self.processed_lines}/{self.total_lines}")

def find_duplicates(filename, num_threads=4):
    processor = LineProcessor(filename)
    processor.count_lines()
    chunk_size = processor.total_lines // num_threads

    threads = []
    for i in range(num_threads):
        start = i * chunk_size
        end = (i + 1) * chunk_size if i < num_threads - 1 else None
        thread = threading.Thread(target=processor.process_chunk, args=(start, end))
        threads.append(thread)
        thread.start()

    for thread in threads:
        thread.join()

    # print("Duplicate lines found:", processor.duplicates)

if __name__ == "__main__":
    filename = "text.txt"
    find_duplicates(filename)

나쁘지 않게 결과를 뱉어주네요.