오늘의 개발일기 - 프로그래밍 갤러리

오늘의 개발일기앱에서 작성

PyTorch

2025.09.24 00:04:26

조회 129 추천 1 댓글 9

GEMM 최적화를 이어서 구현함

row-wise block tile로 Core2Core load balancing해주고 double buffering 적용함

GEMM은 중간 계산용으로 쓰이는게 생각보다 많아서 L1 썼던 놈을 재사용하거나, 데이터타입의 정밀도를 조금 낮추고 속도를 trade off해서 확보하는 걸 생각할 수 있지만 사실 Transpose 연산 오버헤드 없이 stride를 반전한 view pattern으로 보고 input을 block tiling해서 DRAM -> L1 접근해주면 L1을 아끼게 돼서 double buffering 쓸만큼의 여유분이 나옴

실험은 안해봤지만 broadcast만 생각해봐도 후자가 더 빠를듯

사실 tiling할때 block stride랑 인덱스 계산하는 거가 제일 어려웠는데, 이거는 더 고민을 해봐야겠음

우선은 workaround로서 고정사이즈 blk으로 로드가 분배되는데, workload에 맞는 추가적인 최적화를 생각해야함

가령 일반적으로 NN linear = XW+b를 구할 때 bottleneck이 되는건 W임, 훨씬 차원이 더 크기때문에

그러면 block의 크기를 어떻게 잡아줄거냐도 tensor shape에 따라 결정해줄 수 있을 것 같음

block config도 나중에 신경써야할듯

고정닉 1

전체 댓글 0개

등록순 최신순 답글순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	센터해도 될 것 같이 비주얼 물오른 아이돌 멤버는?	운영자	25/09/22	-	-
2891593	빠구리 유방 보지 빠구리 유방 보지 [1]	류류(118.235)	09.24	52	1
2891592	시발 재명쿠폰 못받았다.	프갤러(223.39)	09.24	44	0
2891591	주인공 두번 째 특징	프갤러(211.210)	09.24	49	0
2891590	이제 찬물샤워하면 재채기 나네양	♥냥덩이♥	09.24	30	0
2891589	정신병연구갤러리에 오셨습니다. [3]	헬마스터	09.24	62	0
2891588	프갤 정화 불가능하겠지? [8]	나르시	09.24	59	0
2891586	121.139 까불길래 글 탄압시킴	류류(118.235)	09.24	44	1
2891585	프갤에 망상증 환자 많아서 얘들이랑 엮이면 일평생 피곤하겠다...	나르시	09.24	29	0
2891584	이룬것도 할줄아는것도 없는 23살 인생이 막막합니다...	ㅇㅇ(223.39)	09.24	33	0
2891583	망상증 환자 고소해봤자 심신미약으로 풀려날거 아냐.	나르시	09.24	39	0
2891582	요즘 근데 상위 5%가 서연고 감?	류류(118.235)	09.24	38	0
2891581	루비가 c와 c++이 같다고 했고 그것을 목격했습니다.	나르시	09.24	47	0
2891576	봐라 121.139 긁혀서 내글 삭제하는거 ㅇㅅㅇ	류류(118.235)	09.24	40	0
2891572	냥덩이가 탐스러운 도로롱 피규어❤+	♥냥덩이♥	09.24	37	0
2891571	미국가서 살아야 하는 이유 ㄷㅅㄷ	♥냥덩이♥	09.24	37	0
2891570	치킨먹고 왔는데 배부르네 ㅎㅎ [3]	프갤러(210.217)	09.24	69	0
2891568	118.235, 발작 버튼이 뭐니? 프갤에서 나가라. [2]	나르시	09.24	45	0
2891567	프갤에서는 프밍 얘기보다 정신병자 연구하는데 더욱 효율적일 듯. [1]	나르시	09.24	54	1
2891566	모계유전 어디안가지 그래.. [5]	루도그담당(58.239)	09.24	67	0
2891562	발공이랑 축구차이	프갤러(175.197)	09.24	26	0
2891561	루도그 발작버튼 눌러버렸네	프갤러(118.235)	09.24	46	2
2891555	210.217 쟤 121.139 다중이임	ㅆㅇㅆ찡	09.24	33	0
2891552	카스	♥냥덩이♥	09.24	26	0
2891550	한 두 명이 ip 바꿔가면서 꼬정부리는거 같은데.	나르시	09.24	36	0
2891549	c++ 환자에, 러스트 환자에, 그냥 환자에.. 아휴..	나르시	09.24	36	0
2891548	난간다 ㅂ2 [1]	프갤러(210.217)	09.24	50	0
2891547	210.217는 왜 저러냐??	나르시	09.24	30	0
2891546	한국에 지진나면 집무너지나	프갤러(175.197)	09.24	29	0
2891544	걍 객체지향 못 배워먹은 [13]	루도그담당(211.184)	09.24	78	0
2891543	애널의달성 2/1//	♥냥덩이♥	09.24	27	0
2891542	재명 지원금으로 돈까스 먹고 나오는길이다 [1]	ㅆㅇㅆ찡	09.24	37	0
2891541	업뎃) 'C/C++' 표기법에 대한 고찰: 오해와 진실	나르시	09.24	34	0
2891540	[애니뉴스] 귀인환등초 23화 감상	프갤러(121.172)	09.24	27	0
2891538	지금 c#으로 맨날 프로그램 만들었는데	프갤러(211.110)	09.24	35	0
2891537	걍 그러려니 함	루도그담당(211.184)	09.24	49	0
2891536	국제왕따 재명이 ㅠ	♥냥덩이♥	09.24	36	1
2891535	제1회 장애인 몸비틀기 대회가 시작되었습니다. [1]	프갤러(210.217)	09.24	61	2
2891534	EAI/ESB는 이직 어려움? [2]	프갤러(112.216)	09.24	40	0
2891533	언어에 대한 개략적인 부분은 당연히 [31]	루도그담당(211.184)	09.24	171	0
2891532	재명이 또 개소리하다 단체패씽 당했넹 ㅋㅅㅋ	♥냥덩이♥	09.24	34	0
2891531	❤✨☀⭐⚡☘⛩나님 시작합니당⛩☘⚡⭐☀✨❤	♥냥덩이♥	09.24	33	0
2891530	오늘은 외주가 없다 [6]	ㅆㅇㅆ찡	09.24	68	0
2891529	진짜 쓰잘데기 없는 고민이나 질문만 올라오네	프갤러(125.131)	09.24	40	0
2891528	도구를 숙달하는건 중요하지 [2]	ㅆㅇㅆ찡	09.24	66	0
2891527	언어를 숙련한다 < 이게 뭔 말임? [19]	루도그담당(211.184)	09.24	121	0
2891526	견지망월이라고 하듯 언어는 손가락임	ㅆㅇㅆ(124.216)	09.24	39	0
2891524	애초에 컴퓨터 공학은 컴퓨터에 대한 과목이 아님. 다익스트라가 말했듯이 [1]	ㅆㅇㅆ(124.216)	09.24	67	2
2891523	언어 관점으로 들어가면 [9]	루도그담당(211.184)	09.24	107	0
2891522	정신병자는 자기가 정상인줄 안다는 말이 사실인가봄	프갤러(118.235)	09.24	37	1
2891521	C++빨러가 나 괴롭히다가 빤스런함. ㅋㅋㅋ [9]	나르시	09.24	65	0
뉴스	‘39세’ 빠니보틀, 곽튜브 결혼에 “난 결혼 생각 없어” 왜?	디시트렌드	09.27