오늘의 개발일기 - 프로그래밍 갤러리

오늘의 개발일기앱에서 작성

PyTorch

2025.09.24 00:04:26

조회 130 추천 1 댓글 9

GEMM 최적화를 이어서 구현함

row-wise block tile로 Core2Core load balancing해주고 double buffering 적용함

GEMM은 중간 계산용으로 쓰이는게 생각보다 많아서 L1 썼던 놈을 재사용하거나, 데이터타입의 정밀도를 조금 낮추고 속도를 trade off해서 확보하는 걸 생각할 수 있지만 사실 Transpose 연산 오버헤드 없이 stride를 반전한 view pattern으로 보고 input을 block tiling해서 DRAM -> L1 접근해주면 L1을 아끼게 돼서 double buffering 쓸만큼의 여유분이 나옴

실험은 안해봤지만 broadcast만 생각해봐도 후자가 더 빠를듯

사실 tiling할때 block stride랑 인덱스 계산하는 거가 제일 어려웠는데, 이거는 더 고민을 해봐야겠음

우선은 workaround로서 고정사이즈 blk으로 로드가 분배되는데, workload에 맞는 추가적인 최적화를 생각해야함

가령 일반적으로 NN linear = XW+b를 구할 때 bottleneck이 되는건 W임, 훨씬 차원이 더 크기때문에

그러면 block의 크기를 어떻게 잡아줄거냐도 tensor shape에 따라 결정해줄 수 있을 것 같음

block config도 나중에 신경써야할듯

고정닉 1

전체 댓글 0개

등록순 최신순 답글순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	센터해도 될 것 같이 비주얼 물오른 아이돌 멤버는?	운영자	25/09/22	-	-
2891468	나르시 -> C/C++ 똥글 반박 [5]	프갤러(121.168)	09.24	199	11
2891467	뉴비 관리해라	프갤러(219.248)	09.24	38	0
2891466	❤✨☀⭐⚡☘⛩나님 시작합니당⛩☘⚡⭐☀✨❤	♥냥덩이♥	09.24	30	0
2891465	c, c++ 섞었는거 아주 흔합니다 ㅎㅎ [2]	나르시	09.24	55	0
2891464	c++, 러스트 정병의 주요 허위사실들	나르시	09.24	42	0
2891463	러스트 꼴통이 늘어나는가봅니다 [1]	나르시	09.24	45	0
2891462	자본주의 문명의 위기에 대처하려면 언어 등 ‘공동영역’에 대한 근본적 발	발명도둑잡기(118.216)	09.24	34	0
2891461	다음 외계 우주선 이름음 어우야어우야 [11]	나르시	09.24	61	0
2891460	공부 잘하는건 방법이나 공부량보다도 태도의 문제인거같음...	ㅇㅇ(223.39)	09.24	41	0
2891459	외계 우주선 3i 아틀라스가 접근 중이라고 합니다 [2]	나르시	09.24	58	0
2891458	러스트는 절대 떠오를 리 없습니다.	프갤러(218.154)	09.24	56	0
2891457	남쪽에서 태어난거 전세계 상위10%임 살기좋은나라이고	뒷통수한방(1.213)	09.24	36	1
2891456	러스트가 떠오르긴 하나보네	루도그담당(118.235)	09.24	45	0
2891455	크롤링 잘 아는사람 없냐? [4]	ㅇㅇ(221.146)	09.24	61	0
2891454	뀨❤+	♥냥덩이♥	09.24	40	0
2891453	오늘 ada 프로그래밍 2장. 어휘요소 [2]	나르시	09.24	53	0
2891450	님들 웹사이트 히스토리	프갤러(165.132)	09.24	39	0
2891448	❤✨☀⭐⚡☘⛩나로님 시작합니당⛩☘⚡⭐☀✨❤ [1]	Naro	09.24	41	0
2891447	❤✨☀⭐⚡☘⛩나님 시작합니당⛩☘⚡⭐☀✨❤	♥냥덩이♥	09.24	46	0
2891446	우테코 입학설명회한다 [1]	프갤러(39.125)	09.24	59	0
2891444	그렇다고 합니다	ㅇㅇ	09.24	57	0
2891443	반중력 장치 만든다 ㅎㅎ [1]	나르시	09.24	42	0
2891441	최원종은 지금쯤 뭘할까요? [5]	헬마스터	09.24	84	0
2891439	냥덩이 화장실.. ㅇㅅㅇ	헤르 미온느	09.24	46	0
2891438	컨설팅 입장에서 중견 SI부터 일하고 싶은 이유	프갤러(175.223)	09.24	73	1
2891436	티라노 대가리 ㅇㅅㅇ [2]	헤르 미온느	09.24	62	0
2891434	태연 ㅇㅅㅇ [2]	헤르 미온느	09.24	50	0
2891433	하루 한 번 헤르미온느 찬양	헤르 미온느	09.24	45	0
2891431	여가 좌빨갤임? [1]	프갤러(211.235)	09.24	75	2
2891429	남쪽에서 태어난거 전세계 상위10%임 살기좋은나라이고	뒷통수한방(1.213)	09.24	41	0
2891425	지금 생각하면 앱히키는 애미디진 새끼였음 [1]	ㅇㅇ(222.108)	09.24	67	0
2891391	엥? orm 엔티티에 메소드 박으면 안됨?	프갤러(110.8)	09.24	70	0
2891390	디시봇이 같은글 쓰지마래요. 내용은 다른데요.	넥도리아(220.74)	09.24	38	0
2891387	아니 하소연좀 해야겠다.	넥도리아(220.74)	09.24	54	0
2891386	2099년 까지 영구제명은 아니라네, 1년 지나면 스위치 패밀리 풀린데	넥도리아(220.74)	09.24	40	0
2891385	나 돈 없고 패밀리 제한도 걸려서, 지포시도 차단당해서, Z-A 예약취해 [2]	넥도리아(220.74)	09.24	53	0
2891384	성인용품 결혼할 때 아니고 나중에라도 요번이 마지막이다.	넥도리아(220.74)	09.24	39	0
2891383	오늘의 개발일기 - YOLO로 AI 감지 하는거 [2]	ㅆㅇㅆ(124.216)	09.24	89	0
	오늘의 개발일기 [9]	PyTorch	09.24	130	1
2891375	면허증 만든새끼 오함마 깨버리고싶누 ㄹㅇ	뒷통수한방(1.213)	09.23	52	0
2891374	요즘 신입 절대 안뽑는다고 말하긴하더라 [3]	프갤러(61.75)	09.23	134	1
2891373	"orm에서 엔티티는 순수 데이터 모델이어야한다"	프갤러(58.29)	09.23	54	0
2891370	작곡 언제 배우나	발명도둑잡기(118.235)	09.23	43	0
2891369	님들... 술도 못끈겟고 야식도 못끈갯어요... [1]	ㅇㅇ(223.39)	09.23	42	0
2891367	게이 성향이 있어도 여혐을 한다	발명도둑잡기(118.235)	09.23	34	0
2891365	임베디드 bsp가 없을 때 직접 만드려면 필요한 기술 [1]	발명도둑잡기(118.235)	09.23	68	0
2891364	ai유료버전중에 뭐가 젤 낫냐?	프갤러(61.75)	09.23	33	0
2891362	kkko톡 만든다.	프갤러(110.8)	09.23	46	0
2891361	결론 내가 10년전부터 하던말들중에 틀린말있누??	뒷통수한방(1.213)	09.23	46	0
2891359	아니 씨발 니꼴라스가 이미 내 코코아톡 아이디어 도용했네	프갤러(110.8)	09.23	46	0
뉴스	‘전유성 전처’ 진미령도 애도…근조화환에 적힌 문구	디시트렌드	09.27