디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

지피티 5로 코드 뱉어봤는데 여전히 좀 아쉽

ㅆㅇㅆ(124.216) 2025.08.08 10:17:06
조회 76 추천 0 댓글 0

using System;

using System.Buffers;

using System.Collections.Concurrent;

using System.Collections.Generic;

using System.Linq;

using System.Threading;

using System.Threading.Tasks;


/// <summary>

/// 데이터 처리 파이프라인 예제

/// - OOP: 클래스/인터페이스로 모듈화

/// - FP: 불변 데이터, 순수 함수 처리

/// - DOP: 캐시 친화적 배열 처리

/// - Thread-safe 이벤트 시스템

/// </summary>

namespace HighPerformancePipeline

{

    #region Interfaces

    public interface IDataProcessor<TInput, TOutput>

    {

        Task ProcessAsync(IEnumerable<TInput> inputData, CancellationToken token = default);

        event Action<IReadOnlyList<TOutput>> OnProcessingCompleted;

    }

    #endregion


    #region Immutable Data

    /// <summary>

    /// 불변 데이터 레코드 (FP 스타일)

    /// </summary>

    public readonly record struct ProcessedResult(int Id, double Value);

    #endregion


    #region Implementation

    public class ParallelDataProcessor : IDataProcessor<int, ProcessedResult>

    {

        public event Action<IReadOnlyList<ProcessedResult>> OnProcessingCompleted;


        private readonly int batchSize;

        private readonly Func<int, double> transformation;


        public ParallelDataProcessor(int batchSize, Func<int, double> transformation)

        {

            if (batchSize <= 0) throw new ArgumentOutOfRangeException(nameof(batchSize));

            this.batchSize = batchSize;

            this.transformation = transformation ?? throw new ArgumentNullException(nameof(transformation));

        }


        public async Task ProcessAsync(IEnumerable<int> inputData, CancellationToken token = default)

        {

            if (inputData == null) throw new ArgumentNullException(nameof(inputData));


            // Thread-safe 컬렉션

            ConcurrentBag<ProcessedResult> results = new ConcurrentBag<ProcessedResult>();


            // 데이터 분할 (DOP - 캐시 친화적 배치)

            int[][] batches = inputData

                .Select((value, index) => new { value, index })

                .GroupBy(x => x.index / batchSize)

                .Select(g => g.Select(x => x.value).ToArray())

                .ToArray();


            await Task.Run(() =>

            {

                Parallel.ForEach(batches, new ParallelOptions { CancellationToken = token }, batch =>

                {

                    // ArrayPool 사용 (GC 압박 감소)

                    double[] tempBuffer = ArrayPool<double>.Shared.Rent(batch.Length);


                    try

                    {

                        for (int i = 0; i < batch.Length; i++)

                        {

                            tempBuffer[i] = transformation(batch[i]); // 순수 함수 처리

                        }


                        for (int i = 0; i < batch.Length; i++)

                        {

                            results.Add(new ProcessedResult(batch[i], tempBuffer[i]));

                        }

                    }

                    finally

                    {

                        ArrayPool<double>.Shared.Return(tempBuffer);

                    }

                });

            }, token);


            OnProcessingCompleted?.Invoke(results.OrderBy(r => r.Id).ToList());

        }

    }

    #endregion


    #region Example Usage

    public static class Program

    {

        public static async Task Main()

        {

            // 변환 로직: sqrt 연산 + 부동소수점 연산 예시

            ParallelDataProcessor processor = new ParallelDataProcessor(

                batchSize: 1024,

                transformation: value => Math.Sqrt(value) * 1.2345

            );


            processor.OnProcessingCompleted += results =>

            {

                Console.WriteLine($"[Completed] {results.Count} items processed.");

                Console.WriteLine($"First 5 results: {string.Join(", ", results.Take(5))}");

            };


            int[] sampleData = Enumerable.Range(1, 100_000).ToArray();

            await processor.ProcessAsync(sampleData);

        }

    }

    #endregion

}



테스트 밴치 이렇게 뱉어냈는데

내가 품을 들여서

using System;
using System.Buffers;
using System.Collections.Concurrent;
using System.Collections.Generic;
using System.Linq;
using System.Threading;
using System.Threading.Tasks;

namespace HighPerformancePipeline
{
    /// <summary>
    /// 제네릭 데이터 처리기
    /// </summary>
    public interface IDataProcessor<TInput, TOutput>
    {
        Task ProcessAsync(IEnumerable<TInput> inputData, CancellationToken token = default);
        event Action<IReadOnlyList<TOutput>> OnProcessingCompleted;
    }

    /// <summary>
    /// 고성능 제네릭 병렬 처리기
    /// </summary>
    public class ParallelDataProcessor<TInput, TOutput> : IDataProcessor<TInput, TOutput>
    {
        public event Action<IReadOnlyList<TOutput>> OnProcessingCompleted;

        private readonly int batchSize;
        private readonly Func<TInput, TOutput> transformation;

        public ParallelDataProcessor(int batchSize, Func<TInput, TOutput> transformation)
        {
            if (batchSize <= 0) throw new ArgumentOutOfRangeException(nameof(batchSize));
            this.batchSize = batchSize;
            this.transformation = transformation ?? throw new ArgumentNullException(nameof(transformation));
        }

        public async Task ProcessAsync(IEnumerable<TInput> inputData, CancellationToken token = default)
        {
            if (inputData == null) throw new ArgumentNullException(nameof(inputData));

            ConcurrentBag<TOutput> results = new ConcurrentBag<TOutput>();

            // 배치 분할 (DOP)
            TInput[][] batches = inputData
                .Select((value, index) => new { value, index })
                .GroupBy(x => x.index / batchSize)
                .Select(g => g.Select(x => x.value).ToArray())
                .ToArray();

            await Task.Run(() =>
            {
                Parallel.ForEach(batches, new ParallelOptions { CancellationToken = token }, batch =>
                {
                    // ArrayPool은 value type일 때만 유의미
                    TOutput[] tempBuffer = ArrayPool<TOutput>.Shared.Rent(batch.Length);

                    try
                    {
                        for (int i = 0; i < batch.Length; i++)
                        {
                            tempBuffer[i] = transformation(batch[i]);
                        }

                        for (int i = 0; i < batch.Length; i++)
                        {
                            results.Add(tempBuffer[i]);
                        }
                    }
                    finally
                    {
                        ArrayPool<TOutput>.Shared.Return(tempBuffer);
                    }
                });
            }, token);

            OnProcessingCompleted?.Invoke(results.ToList());
        }
    }

    /// <summary>
    /// 사용 예시
    /// </summary>
    public static class Program
    {
        public static async Task Main()
        {
            // 예: int -> string 변환
            var stringProcessor = new ParallelDataProcessor<int, string>(
                batchSize: 512,
                transformation: num => $"Value={num}, Sqrt={Math.Sqrt(num):F3}"
            );

            stringProcessor.OnProcessingCompleted += results =>
            {
                Console.WriteLine($"[Completed] {results.Count} strings generated.");
                Console.WriteLine($"First 3: {string.Join(", ", results.Take(3))}");
            };

            await stringProcessor.ProcessAsync(Enumerable.Range(1, 5000));
        }
    }
}


이렇게 제네릭 타입으로 했는데

파이프 라인을 좀 더 범용화했을텐데

애초에 입출력 타입이 완전 제네릭화가 아니면 매핑 로직이 까다로운데 생각보다 별로인듯

이벤트 기반 처리도 그렇고

그리고 

이벤트 호출 쓰레드가 UI 쓰레드 일 경우 던져야할 디스패칭 로직이 빠져있음.

생각보다 여전히 문맥 문제가 심각한듯.


추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 순간의 말실수로 이미지 타격이 큰 것 같은 스타는? 운영자 25/09/01 - -
AD 가전디지털, 신학기 페스타! 운영자 25/08/29 - -
2883520 35살 이 스펙이면 어디가도 먹고사나? 무역경력은 5년차임 ㅇㅇ(58.229) 08.22 87 0
2883519 역대최고 R&d 예산인데 ??ㅋㅋㅋ내년에 또 늘어나는데?? [1] 뒷통수한방(1.213) 08.22 90 0
2883518 it 연봉작다는데 왜 자꾸 R&D예산 몇년째 늘어나는거임?? [4] 뒷통수한방(1.213) 08.22 115 0
2883517 Ada의 신뢰성과 안전성 관련된 글에 대한 생각- [2] 프갤러(121.172) 08.22 95 2
2883516 cefsharp으로 키오스크앱 만든적은 있음 [2] ㅇ.ㅇ(59.151) 08.22 93 0
2883515 러스트 왜 절름발이 언어인가? [5] 나르시갤로그로 이동합니다. 08.22 116 0
2883514 이민이 선택사항이라고 착각하는 애들 있다는게 충격 ♥냥덩Art♥갤로그로 이동합니다. 08.22 75 0
2883513 백자 달항아리 마주한 '케데헌' 감독 "아이디어가 떠오르네요" 발명도둑잡기갤로그로 이동합니다. 08.22 75 0
2883510 [애니뉴스] 1호 잡지 - 귀인환등초 오후우의 심층분석! 프갤러(121.172) 08.22 63 0
2883508 책 한권 읽는다고 인생이 달라지지 않구요. [1] ㅇㅇ(121.162) 08.22 79 0
2883506 Ada의 신뢰성과 안전성 나르시갤로그로 이동합니다. 08.22 92 0
2883505 세계에서 내로라 하는 인재들은 러스트가 아닌 c/c++ 나르시갤로그로 이동합니다. 08.22 62 0
2883504 어디가실것같나요?? [1] ㅇㅇ(39.7) 08.22 88 0
2883503 금요일은 자체 휴가냐? [1] ㅇㅇ(211.234) 08.22 76 0
2883502 윈폼이나 WPF에 [3] 루도그담당(211.184) 08.22 97 0
2883501 만 3년차 백엔드 조언 구함 [3] 프갤러(218.239) 08.22 120 0
2883500 그녹 개씨발련아 찢어죽이고싶네 씨발련 [1] ㅇㅇ(59.17) 08.22 98 0
2883496 외국년 소주먹이고 반응 ㅇㅇ(58.229) 08.22 88 0
2883494 이상하게.. ㅇㅅㅇ 헤르 미온느갤로그로 이동합니다. 08.22 49 0
2883491 제조업 종특인가? 씨샾 닷넷 많이쓰네 [2] 프갤러(119.195) 08.22 123 0
2883479 어느 공원 ㅇㅅㅇ [2] 헤르 미온느갤로그로 이동합니다. 08.22 69 0
2883477 태연 ㅇㅅㅇ 헤르 미온느갤로그로 이동합니다. 08.22 59 0
2883476 하루 한 번 헤르미온느 찬양 헤르 미온느갤로그로 이동합니다. 08.22 86 0
2883475 세계에서 내노라 하는 인재들은 러스트 잘 쓰고 있습니다. 프갤러(27.166) 08.22 58 0
2883474 제미나이 프롬프트 숨기는 크롬 확장 프로그램 만들었다 ㅇㅇ(112.140) 08.22 74 0
2883473 인지과학조져라 손발이시립디다갤로그로 이동합니다. 08.22 67 0
2883456 뉴프로에서 카드뽑기 포인트 연속 2번 날아가서 빡쳐서 ㅆㅇㅆ(124.216) 08.22 78 0
2883453 ❤✨☀⭐⚡☘⛩나님 시작합니당⛩☘⚡⭐☀✨❤ ♥냥덩Art♥갤로그로 이동합니다. 08.22 65 0
2883428 모든카드 수집완료 [4] 헬마스터갤로그로 이동합니다. 08.22 117 0
2883423 오토핫키) FPS공방용 짱깨어번역TTS 만들어봤음 [2] ㅇㅇ(59.17) 08.22 105 2
2883420 여기 머하는 갤임 [1] 프갤러(59.17) 08.22 129 0
2883408 음기 충전 발명도둑잡기갤로그로 이동합니다. 08.22 87 0
2883406 진보당 "방문진법 통과 환영‥이진숙 즉각 사퇴해야" 발명도둑잡기갤로그로 이동합니다. 08.22 71 0
2883404 프로그래밍 취미로 할건데 윈도우에서 할까 리뉵스에서 할까? [1] 멍멍이(222.110) 08.22 102 0
2883401 영문과인데 대학원가서 4차산업 배우고싶은데 뭐가 할만힘? [1] ㅇㅇ(58.229) 08.22 76 0
2883393 꼴통 발명도둑잡기갤로그로 이동합니다. 08.22 94 0
2883391 러스트 빠돌이 지능이 100도 안되서 러스트 도태 중인거 나르시갤로그로 이동합니다. 08.22 76 0
2883389 IQ가 100도 안되니까 러스트 빠는 것. 나르시갤로그로 이동합니다. 08.22 83 0
2883388 러스트 빠돌이 추정 지능 지수 100~110 나르시갤로그로 이동합니다. 08.22 70 0
2883387 국가가 국민 행동 하나하나 다 로그 남겨서 통계 내면 [1] ㅇㅇ(106.241) 08.22 81 0
2883384 멍청하고 열등한 인간들이 나를 무시하는 이유가 무엇일까? [1] 앙앙기모찌갤로그로 이동합니다. 08.22 115 0
2883382 컴퓨터 조립함. 넥도리아(175.196) 08.22 70 0
2883381 사파중에 사파일시오다 프갤러(61.79) 08.22 68 0
2883380 RYNO Motors | One wheel motorcycle 발명도둑잡기갤로그로 이동합니다. 08.22 60 0
2883377 엑셀 프로세스에 루도그담당(58.239) 08.21 92 0
2883376 알리익스프레스 계정 차단 이유가 보안 때문이라는데 발명도둑잡기갤로그로 이동합니다. 08.21 67 0
2883375 프로그래머 하려면 기본적으로 리눅스는 다룰 줄 알아야 됨? [2] 멍멍이(222.110) 08.21 112 0
2883374 32살 인생평가좀... [5] ㅇㅇ(58.229) 08.21 174 1
2883372 참외 먹다가 접시가 깨졌다. [1] 넥도리나(175.196) 08.21 76 0
2883370 오늘 금, 은 시세 올해 1월 2일 대비 몇 % 발명도둑잡기갤로그로 이동합니다. 08.21 65 0
뉴스 '비 마이 보이즈' 파이널 생방송 D-1, NEXT 보이그룹 될 TOP8은 누구? 디시트렌드 08.29
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2