오늘의 개발일기 - 프로그래밍 갤러리

오늘의 개발일기앱에서 작성

PyTorch

2025.09.24 00:04:26

조회 133 추천 1 댓글 9

GEMM 최적화를 이어서 구현함

row-wise block tile로 Core2Core load balancing해주고 double buffering 적용함

GEMM은 중간 계산용으로 쓰이는게 생각보다 많아서 L1 썼던 놈을 재사용하거나, 데이터타입의 정밀도를 조금 낮추고 속도를 trade off해서 확보하는 걸 생각할 수 있지만 사실 Transpose 연산 오버헤드 없이 stride를 반전한 view pattern으로 보고 input을 block tiling해서 DRAM -> L1 접근해주면 L1을 아끼게 돼서 double buffering 쓸만큼의 여유분이 나옴

실험은 안해봤지만 broadcast만 생각해봐도 후자가 더 빠를듯

사실 tiling할때 block stride랑 인덱스 계산하는 거가 제일 어려웠는데, 이거는 더 고민을 해봐야겠음

우선은 workaround로서 고정사이즈 blk으로 로드가 분배되는데, workload에 맞는 추가적인 최적화를 생각해야함

가령 일반적으로 NN linear = XW+b를 구할 때 bottleneck이 되는건 W임, 훨씬 차원이 더 크기때문에

그러면 block의 크기를 어떻게 잡아줄거냐도 tensor shape에 따라 결정해줄 수 있을 것 같음

block config도 나중에 신경써야할듯

고정닉 1

전체 댓글 0개

등록순 최신순 답글순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	센터해도 될 것 같이 비주얼 물오른 아이돌 멤버는?	운영자	25/09/22	-	-
2891436	티라노 대가리 ㅇㅅㅇ [2]	헤르 미온느	09.24	63	0
2891434	태연 ㅇㅅㅇ [2]	헤르 미온느	09.24	52	0
2891433	하루 한 번 헤르미온느 찬양	헤르 미온느	09.24	48	0
2891431	여가 좌빨갤임? [1]	프갤러(211.235)	09.24	77	2
2891429	남쪽에서 태어난거 전세계 상위10%임 살기좋은나라이고	뒷통수한방(1.213)	09.24	43	0
2891425	지금 생각하면 앱히키는 애미디진 새끼였음 [1]	ㅇㅇ(222.108)	09.24	68	0
2891391	엥? orm 엔티티에 메소드 박으면 안됨?	프갤러(110.8)	09.24	72	0
2891390	디시봇이 같은글 쓰지마래요. 내용은 다른데요.	넥도리아(220.74)	09.24	40	0
2891387	아니 하소연좀 해야겠다.	넥도리아(220.74)	09.24	55	0
2891386	2099년 까지 영구제명은 아니라네, 1년 지나면 스위치 패밀리 풀린데	넥도리아(220.74)	09.24	41	0
2891385	나 돈 없고 패밀리 제한도 걸려서, 지포시도 차단당해서, Z-A 예약취해 [2]	넥도리아(220.74)	09.24	54	0
2891384	성인용품 결혼할 때 아니고 나중에라도 요번이 마지막이다.	넥도리아(220.74)	09.24	44	0
2891383	오늘의 개발일기 - YOLO로 AI 감지 하는거 [2]	ㅆㅇㅆ(124.216)	09.24	92	0
	오늘의 개발일기 [9]	PyTorch	09.24	133	1
2891375	면허증 만든새끼 오함마 깨버리고싶누 ㄹㅇ	뒷통수한방(1.213)	09.23	53	0
2891374	요즘 신입 절대 안뽑는다고 말하긴하더라 [3]	프갤러(61.75)	09.23	136	1
2891373	"orm에서 엔티티는 순수 데이터 모델이어야한다"	프갤러(58.29)	09.23	56	0
2891370	작곡 언제 배우나	발명도둑잡기(118.235)	09.23	44	0
2891369	님들... 술도 못끈겟고 야식도 못끈갯어요... [1]	ㅇㅇ(223.39)	09.23	44	0
2891367	게이 성향이 있어도 여혐을 한다	발명도둑잡기(118.235)	09.23	35	0
2891365	임베디드 bsp가 없을 때 직접 만드려면 필요한 기술 [1]	발명도둑잡기(118.235)	09.23	69	0
2891364	ai유료버전중에 뭐가 젤 낫냐?	프갤러(61.75)	09.23	36	0
2891362	kkko톡 만든다.	프갤러(110.8)	09.23	48	0
2891361	결론 내가 10년전부터 하던말들중에 틀린말있누??	뒷통수한방(1.213)	09.23	49	0
2891359	아니 씨발 니꼴라스가 이미 내 코코아톡 아이디어 도용했네	프갤러(110.8)	09.23	48	0
2891358	나 맨날 회사에 권고사직 해달라고하는데 [2]	ㅇㅇ(211.234)	09.23	74	0
2891357	"당장 미국이냐, 중국이냐 택할 필요 없어…EU 판단 보면 된다"	발명도둑잡기(118.235)	09.23	36	0
2891356	개쩌는 아이디어 떠올랐다 [3]	프갤러(110.8)	09.23	62	0
2891355	남쪽에서 태어난거 전세계 상위10%임 살기좋은나라이고	뒷통수한방(1.213)	09.23	35	0
2891353	김종대 "이재명 자주국방론 충격적...분명 배경이 있다"-주한미군 대격변	발명도둑잡기(118.216)	09.23	47	0
2891348	이재명이 임기 중 해내야할 과제 [6]	야옹아저씨	09.23	239	7
2891342	윤석열, 사형뿐인 불법전투개시죄 적용 가능	발명도둑잡기(118.235)	09.23	43	0
2891341	신성한 행위예술 준비기도	넥도리아(220.74)	09.23	38	0
2891338	자스 텍스트 컨벤션 질문좀 [2]	뉴진파	09.23	57	0
2891336	다들 뉴프로로 떠난듯 [2]	헬마스터	09.23	62	0
2891334	pwntools 이용한 해킹 과제 한건 해주고 7만	ㅆㅇㅆ(124.216)	09.23	56	0
2891328	[대한민국] 자유민주주의와 인권침해가 우려되는 넷 플랫폼에 대한 고찰	프갤러(121.172)	09.23	33	0
2891327	소프트웨어 전공 화공 이공계열까지 하겠냐고 문과가 상식적으로	넥도리아(220.74)	09.23	44	0
2891325	누군가에게는 프론트엔드 개발자라는 꿈이있었다. 막상 외주로 투입되었는데,	넥도리아(220.74)	09.23	65	0
2891324	진실되게 애기했어요 아리셀 참사6.25 300자라서 다 못적네 네이트	넥도리아(220.74)	09.23	27	0
2891323	냥덩아 CIA한테 얼마씩 받고있냐	발명도둑잡기(118.235)	09.23	33	0
2891322	한국이 미국 노동자 300명 가둬도 되냐?	발명도둑잡기(118.235)	09.23	40	0
2891320	아니 씨발아 내 사무실 내고 창업할건데 뭔 취업해 씨발	ㅆㅇㅆ(124.216)	09.23	58	0
2891319	그냥 먹고 살라고 프론트든 백이든 클라든 안 가리고 한다	ㅆㅇㅆ(124.216)	09.23	47	0
2891318	오늘 개발 10년 백엔드한테 프론트 외주 받음 [1]	ㅆㅇㅆ(124.216)	09.23	84	0
2891317	개발자 취업준비 어떻게 하면됨 ㅇㅅㅇ... 뭘 해야할지 모르겟네	ㅇㅇ(223.39)	09.23	51	0
2891316	여기는 왜 이렇게 변했냐 [1]	프갤러(14.6)	09.23	69	0
2891315	Your Device is. 1%~100% 에러 메시지 뜨면서 재부팅데요	넥도리아(220.74)	09.23	30	0
2891313	배고프다. 저녁메뉴 추천 ㄱ	프갤러(27.172)	09.23	38	0
2891312	지금 ai들 서버 심ㅊ창난 이유가 머임? [2]	뉴진파	09.23	58	0
뉴스	'불꽃야구' 명품 투수전의 주인공 이대은, ‘에이스 그 자체’인 그가 당황한 이유는?	디시트렌드	09.27