mirror of
https://github.com/paboyle/Grid.git
synced 2025-04-09 21:50:45 +01:00
Dangerous rewrite of the assembly. If I make a mistake the debug will be painful.
This commit is contained in:
paboyle
parent
3703b718aa
commit
ac58565d0a
@ -39,24 +39,26 @@
|
|||||||
////////////////////////////////////////////////////////////////////////////////
|
////////////////////////////////////////////////////////////////////////////////
|
||||||
#ifdef INTERIOR_AND_EXTERIOR
|
#ifdef INTERIOR_AND_EXTERIOR
|
||||||
|
|
||||||
#define ZERO_NMU(A)
|
#define ASM_LEG(Dir,NxtDir,PERMUTE_DIR,PROJ,RECON) \
|
||||||
#define INTERIOR_BLOCK_XP(a,b,PERMUTE_DIR,PROJMEM,RECON) INTERIOR_BLOCK(a,b,PERMUTE_DIR,PROJMEM,RECON)
|
basep = st.GetPFInfo(nent,plocal); nent++; \
|
||||||
#define EXTERIOR_BLOCK_XP(a,b,RECON) EXTERIOR_BLOCK(a,b,RECON)
|
if ( local ) { \
|
||||||
|
LOAD64(%r10,isigns); \
|
||||||
|
PROJ(base); \
|
||||||
|
MAYBEPERM(PERMUTE_DIR,perm); \
|
||||||
|
} else { \
|
||||||
|
LOAD_CHI(base); \
|
||||||
|
} \
|
||||||
|
base = st.GetInfo(ptype,local,perm,NxtDir,ent,plocal); ent++; \
|
||||||
|
PREFETCH_CHIMU(base); \
|
||||||
|
MULT_2SPIN_DIR_PF(Dir,basep); \
|
||||||
|
LOAD64(%r10,isigns); \
|
||||||
|
RECON; \
|
||||||
|
|
||||||
#define INTERIOR_BLOCK(a,b,PERMUTE_DIR,PROJMEM,RECON) \
|
#define ASM_LEG_XP(Dir,NxtDir,PERMUTE_DIR,PROJ,RECON) \
|
||||||
LOAD64(%r10,isigns); \
|
base = st.GetInfo(ptype,local,perm,NxtDir,ent,plocal); ent++; \
|
||||||
PROJMEM(base); \
|
PF_GAUGE(Xp); \
|
||||||
MAYBEPERM(PERMUTE_DIR,perm);
|
PREFETCH1_CHIMU(base); \
|
||||||
|
ASM_LEG(Dir,NxtDir,PERMUTE_DIR,PROJ,RECON)
|
||||||
#define EXTERIOR_BLOCK(a,b,RECON) \
|
|
||||||
LOAD_CHI(base);
|
|
||||||
|
|
||||||
#define COMMON_BLOCK(a,b,RECON) \
|
|
||||||
base = st.GetInfo(ptype,local,perm,b,ent,plocal); ent++; \
|
|
||||||
PREFETCH_CHIMU(base); \
|
|
||||||
MULT_2SPIN_DIR_PF(a,basep); \
|
|
||||||
LOAD64(%r10,isigns); \
|
|
||||||
RECON;
|
|
||||||
|
|
||||||
#define RESULT(base,basep) SAVE_RESULT(base,basep);
|
#define RESULT(base,basep) SAVE_RESULT(base,basep);
|
||||||
|
|
||||||
@ -67,31 +69,33 @@
|
|||||||
////////////////////////////////////////////////////////////////////////////////
|
////////////////////////////////////////////////////////////////////////////////
|
||||||
#ifdef INTERIOR
|
#ifdef INTERIOR
|
||||||
|
|
||||||
#define COMMON_BLOCK(a,b,RECON)
|
#define ASM_LEG(Dir,NxtDir,PERMUTE_DIR,PROJ,RECON) \
|
||||||
#define ZERO_NMU(A)
|
basep = st.GetPFInfo(nent,plocal); nent++; \
|
||||||
|
if ( local ) { \
|
||||||
|
LOAD64(%r10,isigns); \
|
||||||
|
PROJ(base); \
|
||||||
|
MAYBEPERM(PERMUTE_DIR,perm); \
|
||||||
|
} else if ( st.same_dir[Dir] ) { \
|
||||||
|
LOAD_CHI(base); \
|
||||||
|
} \
|
||||||
|
base = st.GetInfo(ptype,local,perm,NxtDir,ent,plocal); ent++; \
|
||||||
|
if ( local || st.same_node[Dir] ) { \
|
||||||
|
PREFETCH_CHIMU(base); \
|
||||||
|
MULT_2SPIN_DIR_PF(Dir,basep); \
|
||||||
|
LOAD64(%r10,isigns); \
|
||||||
|
RECON; \
|
||||||
|
}
|
||||||
|
|
||||||
// No accumulate for DIR0
|
#define ASM_LEG_XP(Dir,NxtDir,PERMUTE_DIR,PROJ,RECON) \
|
||||||
#define EXTERIOR_BLOCK_XP(a,b,RECON) \
|
base = st.GetInfo(ptype,local,perm,NxtDir,ent,plocal); ent++; \
|
||||||
ZERO_PSI; \
|
PF_GAUGE(Xp); \
|
||||||
base = st.GetInfo(ptype,local,perm,b,ent,plocal); ent++;
|
PREFETCH1_CHIMU(base); \
|
||||||
|
ASM_LEG(Dir,NxtDir,PERMUTE_DIR,PROJ,RECON) else { ZERO_PSI; }
|
||||||
#define EXTERIOR_BLOCK(a,b,RECON) \
|
|
||||||
base = st.GetInfo(ptype,local,perm,b,ent,plocal); ent++;
|
|
||||||
|
|
||||||
#define INTERIOR_BLOCK_XP(a,b,PERMUTE_DIR,PROJMEM,RECON) INTERIOR_BLOCK(a,b,PERMUTE_DIR,PROJMEM,RECON)
|
|
||||||
|
|
||||||
#define INTERIOR_BLOCK(a,b,PERMUTE_DIR,PROJMEM,RECON) \
|
|
||||||
LOAD64(%r10,isigns); \
|
|
||||||
PROJMEM(base); \
|
|
||||||
MAYBEPERM(PERMUTE_DIR,perm); \
|
|
||||||
base = st.GetInfo(ptype,local,perm,b,ent,plocal); ent++; \
|
|
||||||
PREFETCH_CHIMU(base); \
|
|
||||||
MULT_2SPIN_DIR_PF(a,basep); \
|
|
||||||
LOAD64(%r10,isigns); \
|
|
||||||
RECON;
|
|
||||||
|
|
||||||
#define RESULT(base,basep) SAVE_RESULT(base,basep);
|
#define RESULT(base,basep) SAVE_RESULT(base,basep);
|
||||||
|
|
||||||
|
#define ZERO_NMU(A)
|
||||||
|
|
||||||
#endif
|
#endif
|
||||||
|
|
||||||
////////////////////////////////////////////////////////////////////////////////
|
////////////////////////////////////////////////////////////////////////////////
|
||||||
@ -99,30 +103,24 @@
|
|||||||
////////////////////////////////////////////////////////////////////////////////
|
////////////////////////////////////////////////////////////////////////////////
|
||||||
#ifdef EXTERIOR
|
#ifdef EXTERIOR
|
||||||
|
|
||||||
|
|
||||||
|
#define ASM_LEG(Dir,NxtDir,PERMUTE_DIR,PROJ,RECON) \
|
||||||
|
base = st.GetInfo(ptype,local,perm,NxtDir,ent,plocal); ent++; \
|
||||||
|
if((!SE->_is_local)&&(!st.same_node[DIR]) ) { \
|
||||||
|
LOAD_CHI(base); \
|
||||||
|
MULT_2SPIN_DIR_PF(Dir,base); \
|
||||||
|
LOAD64(%r10,isigns); \
|
||||||
|
RECON; \
|
||||||
|
nmu++; \
|
||||||
|
}
|
||||||
|
|
||||||
|
#define ASM_LEG_XP(Dir,NxtDir,PERMUTE_DIR,PROJ,RECON) ASM_LEG(Dir,NxtDir,PERMUTE_DIR,PROJ,RECON)
|
||||||
|
|
||||||
#define ZERO_NMU(A) nmu=0;
|
#define ZERO_NMU(A) nmu=0;
|
||||||
|
|
||||||
#define INTERIOR_BLOCK_XP(a,b,PERMUTE_DIR,PROJMEM,RECON) \
|
|
||||||
ZERO_PSI; base = st.GetInfo(ptype,local,perm,b,ent,plocal); ent++;
|
|
||||||
|
|
||||||
#define EXTERIOR_BLOCK_XP(a,b,RECON) EXTERIOR_BLOCK(a,b,RECON)
|
|
||||||
|
|
||||||
#define INTERIOR_BLOCK(a,b,PERMUTE_DIR,PROJMEM,RECON) \
|
|
||||||
base = st.GetInfo(ptype,local,perm,b,ent,plocal); ent++;
|
|
||||||
|
|
||||||
#define EXTERIOR_BLOCK(a,b,RECON) \
|
|
||||||
nmu++; \
|
|
||||||
LOAD_CHI(base); \
|
|
||||||
MULT_2SPIN_DIR_PF(a,base); \
|
|
||||||
base = st.GetInfo(ptype,local,perm,b,ent,plocal); ent++; \
|
|
||||||
LOAD64(%r10,isigns); \
|
|
||||||
RECON;
|
|
||||||
|
|
||||||
#define COMMON_BLOCK(a,b,RECON)
|
|
||||||
|
|
||||||
#define RESULT(base,basep) if (nmu){ ADD_RESULT(base,base);}
|
#define RESULT(base,basep) if (nmu){ ADD_RESULT(base,base);}
|
||||||
|
|
||||||
#endif
|
#endif
|
||||||
|
|
||||||
{
|
{
|
||||||
int nmu;
|
int nmu;
|
||||||
int local,perm, ptype;
|
int local,perm, ptype;
|
||||||
@ -147,91 +145,20 @@
|
|||||||
int nent=ssn*8;
|
int nent=ssn*8;
|
||||||
|
|
||||||
ZERO_NMU(0);
|
ZERO_NMU(0);
|
||||||
base = st.GetInfo(ptype,local,perm,Xp,ent,plocal); ent++;
|
|
||||||
#ifndef EXTERIOR
|
ASM_LEG_XP(Xp,Yp,PERMUTE_DIR3,DIR0_PROJMEM,DIR0_RECON);
|
||||||
PF_GAUGE(Xp);
|
ASM_LEG(Yp,Zp,PERMUTE_DIR2,DIR1_PROJMEM,DIR1_RECON);
|
||||||
PREFETCH1_CHIMU(base);
|
ASM_LEG(Zp,Tp,PERMUTE_DIR1,DIR2_PROJMEM,DIR2_RECON);
|
||||||
#endif
|
ASM_LEG(Tp,Xm,PERMUTE_DIR0,DIR3_PROJMEM,DIR3_RECON);
|
||||||
////////////////////////////////
|
|
||||||
// Xp
|
ASM_LEG(Xm,Ym,PERMUTE_DIR3,DIR4_PROJMEM,DIR4_RECON);
|
||||||
////////////////////////////////
|
ASM_LEG(Ym,Zm,PERMUTE_DIR2,DIR5_PROJMEM,DIR5_RECON);
|
||||||
basep = st.GetPFInfo(nent,plocal); nent++;
|
ASM_LEG(Zm,Tm,PERMUTE_DIR1,DIR6_PROJMEM,DIR6_RECON);
|
||||||
if ( local ) {
|
ASM_LEG(Tm,Xp,PERMUTE_DIR0,DIR7_PROJMEM,DIR7_RECON);
|
||||||
INTERIOR_BLOCK_XP(Xp,Yp,PERMUTE_DIR3,DIR0_PROJMEM,DIR0_RECON);
|
|
||||||
} else {
|
#ifdef EXTERIOR
|
||||||
EXTERIOR_BLOCK_XP(Xp,Yp,DIR0_RECON);
|
if( nmu == 0 ) break;
|
||||||
}
|
#endif
|
||||||
COMMON_BLOCK(Xp,Yp,DIR0_RECON);
|
|
||||||
////////////////////////////////
|
|
||||||
// Yp
|
|
||||||
////////////////////////////////
|
|
||||||
basep = st.GetPFInfo(nent,plocal); nent++;
|
|
||||||
if ( local ) {
|
|
||||||
INTERIOR_BLOCK(Yp,Zp,PERMUTE_DIR2,DIR1_PROJMEM,DIR1_RECON);
|
|
||||||
} else {
|
|
||||||
EXTERIOR_BLOCK(Yp,Zp,DIR1_RECON);
|
|
||||||
}
|
|
||||||
COMMON_BLOCK(Yp,Zp,DIR1_RECON);
|
|
||||||
////////////////////////////////
|
|
||||||
// Zp
|
|
||||||
////////////////////////////////
|
|
||||||
basep = st.GetPFInfo(nent,plocal); nent++;
|
|
||||||
if ( local ) {
|
|
||||||
INTERIOR_BLOCK(Zp,Tp,PERMUTE_DIR1,DIR2_PROJMEM,DIR2_RECON);
|
|
||||||
} else {
|
|
||||||
EXTERIOR_BLOCK(Zp,Tp,DIR2_RECON);
|
|
||||||
}
|
|
||||||
COMMON_BLOCK(Zp,Tp,DIR2_RECON);
|
|
||||||
////////////////////////////////
|
|
||||||
// Tp
|
|
||||||
////////////////////////////////
|
|
||||||
basep = st.GetPFInfo(nent,plocal); nent++;
|
|
||||||
if ( local ) {
|
|
||||||
INTERIOR_BLOCK(Tp,Xm,PERMUTE_DIR0,DIR3_PROJMEM,DIR3_RECON);
|
|
||||||
} else {
|
|
||||||
EXTERIOR_BLOCK(Tp,Xm,DIR3_RECON);
|
|
||||||
}
|
|
||||||
COMMON_BLOCK(Tp,Xm,DIR3_RECON);
|
|
||||||
////////////////////////////////
|
|
||||||
// Xm
|
|
||||||
////////////////////////////////
|
|
||||||
// basep= st.GetPFInfo(nent,plocal); nent++;
|
|
||||||
if ( local ) {
|
|
||||||
INTERIOR_BLOCK(Xm,Ym,PERMUTE_DIR3,DIR4_PROJMEM,DIR4_RECON);
|
|
||||||
} else {
|
|
||||||
EXTERIOR_BLOCK(Xm,Ym,DIR4_RECON);
|
|
||||||
}
|
|
||||||
COMMON_BLOCK(Xm,Ym,DIR4_RECON);
|
|
||||||
////////////////////////////////
|
|
||||||
// Ym
|
|
||||||
////////////////////////////////
|
|
||||||
basep= st.GetPFInfo(nent,plocal); nent++;
|
|
||||||
if ( local ) {
|
|
||||||
INTERIOR_BLOCK(Ym,Zm,PERMUTE_DIR2,DIR5_PROJMEM,DIR5_RECON);
|
|
||||||
} else {
|
|
||||||
EXTERIOR_BLOCK(Ym,Zm,DIR5_RECON);
|
|
||||||
}
|
|
||||||
COMMON_BLOCK(Ym,Zm,DIR5_RECON);
|
|
||||||
////////////////////////////////
|
|
||||||
// Zm
|
|
||||||
////////////////////////////////
|
|
||||||
basep= st.GetPFInfo(nent,plocal); nent++;
|
|
||||||
if ( local ) {
|
|
||||||
INTERIOR_BLOCK(Zm,Tm,PERMUTE_DIR1,DIR6_PROJMEM,DIR6_RECON);
|
|
||||||
} else {
|
|
||||||
EXTERIOR_BLOCK(Zm,Tm,DIR6_RECON);
|
|
||||||
}
|
|
||||||
COMMON_BLOCK(Zm,Tm,DIR6_RECON);
|
|
||||||
////////////////////////////////
|
|
||||||
// Tm
|
|
||||||
////////////////////////////////
|
|
||||||
basep= st.GetPFInfo(nent,plocal); nent++;
|
|
||||||
if ( local ) {
|
|
||||||
INTERIOR_BLOCK(Tm,Xp,PERMUTE_DIR0,DIR7_PROJMEM,DIR7_RECON);
|
|
||||||
} else {
|
|
||||||
EXTERIOR_BLOCK(Tm,Xp,DIR7_RECON);
|
|
||||||
}
|
|
||||||
COMMON_BLOCK(Tm,Xp,DIR7_RECON);
|
|
||||||
|
|
||||||
base = (uint64_t) &out._odata[ss];
|
base = (uint64_t) &out._odata[ss];
|
||||||
basep= st.GetPFInfo(nent,plocal); nent++;
|
basep= st.GetPFInfo(nent,plocal); nent++;
|
||||||
|
|||||||
Loading…
x
Reference in New Issue
Block a user