portelli/Grid
1
0
Fork 0
mirror of https://github.com/paboyle/Grid.git synced 2024-11-09 23:45:36 +00:00
Code Releases Activity

Rebench

Browse Source
This commit is contained in:
Peter Boyle 2021-09-21 04:05:04 +02:00
parent e188c0512e
commit a29122e2bf
3 changed files with 169 additions and 170 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

142
systems/Booster/comms.4node.perf
View File

@ -17,7 +17,7 @@ AcceleratorCudaInit: Configure options --enable-summit, --enable-select-gpu=no
AcceleratorCudaInit: ================================================
SharedMemoryMpi: World communicator of size 16
SharedMemoryMpi: Node communicator of size 4
0SharedMemoryMpi: SharedMemoryMPI.cc acceleratorAllocDevice 2147483648bytes at 0x14e740000000 for comms buffers
0SharedMemoryMpi: SharedMemoryMPI.cc acceleratorAllocDevice 2147483648bytes at 0x1463a0000000 for comms buffers
Setting up IPC
__|__|__|__|__|__|__|__|__|__|__|__|__|__|__
@ -47,7 +47,7 @@ This program is distributed in the hope that it will be useful,
but WITHOUT ANY WARRANTY; without even the implied warranty of
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
GNU General Public License for more details.
Current Grid git commit hash=f660dc67e4b193afc4015bc5e5fe47cfdbb0356e: (HEAD -> develop, origin/develop, origin/HEAD) uncommited changes
Current Grid git commit hash=e188c0512ebee79bfb15906676af1c9e142aa21a: (HEAD -> develop) uncommited changes
Grid : Message : ================================================
Grid : Message : MPI is initialised and logging filters activated
@ -58,72 +58,72 @@ Grid : Message : MemoryManager::Init() setting up
Grid : Message : MemoryManager::Init() cache pool for recent allocations: SMALL 32 LARGE 8
Grid : Message : MemoryManager::Init() Non unified: Caching accelerator data in dedicated memory
Grid : Message : MemoryManager::Init() Using cudaMalloc
Grid : Message : 0.706584 s : Grid is setup to use 4 threads
Grid : Message : 0.706591 s : Number of iterations to average: 250
Grid : Message : 0.706592 s : ====================================================================================================
Grid : Message : 0.706593 s : = Benchmarking sequential halo exchange from host memory
Grid : Message : 0.706594 s : ====================================================================================================
Grid : Message : 0.706595 s : L Ls bytes MB/s uni (err/min/max) MB/s bidi (err/min/max)
Grid : Message : 0.744123 s : 8 8 393216 45765.4 91530.7
Grid : Message : 0.760079 s : 8 8 393216 49399.0 98798.0
Grid : Message : 0.776168 s : 8 8 393216 48904.4 97808.8
Grid : Message : 0.793391 s : 8 8 393216 45680.3 91360.6
Grid : Message : 0.841483 s : 12 8 1327104 61988.1 123976.3
Grid : Message : 0.881324 s : 12 8 1327104 66673.6 133347.1
Grid : Message : 0.923429 s : 12 8 1327104 63049.8 126099.6
Grid : Message : 0.965199 s : 12 8 1327104 63558.6 127117.2
Grid : Message : 1.759350 s : 16 8 3145728 63505.2 127010.3
Grid : Message : 1.162325 s : 16 8 3145728 72851.5 145703.0
Grid : Message : 1.252374 s : 16 8 3145728 69873.2 139746.5
Grid : Message : 1.343308 s : 16 8 3145728 69193.9 138387.8
Grid : Message : 1.537929 s : 20 8 6144000 69283.6 138567.2
Grid : Message : 1.689674 s : 20 8 6144000 80997.7 161995.4
Grid : Message : 1.844366 s : 20 8 6144000 79440.4 158880.8
Grid : Message : 2.585000 s : 20 8 6144000 78662.8 157325.7
Grid : Message : 2.296310 s : 24 8 10616832 78318.9 156637.8
Grid : Message : 2.552185 s : 24 8 10616832 82996.5 165993.0
Grid : Message : 2.810117 s : 24 8 10616832 82325.6 164651.2
Grid : Message : 3.708760 s : 24 8 10616832 81433.0 162866.1
Grid : Message : 3.519278 s : 28 8 16859136 81498.1 162996.1
Grid : Message : 3.919983 s : 28 8 16859136 84154.5 168309.0
Grid : Message : 4.324104 s : 28 8 16859136 83438.8 166877.5
Grid : Message : 4.726446 s : 28 8 16859136 83807.5 167615.0
Grid : Message : 5.379742 s : 32 8 25165824 83183.5 166366.9
Grid : Message : 5.973767 s : 32 8 25165824 84735.1 169470.3
Grid : Message : 6.566572 s : 32 8 25165824 84905.7 169811.3
Grid : Message : 7.161794 s : 32 8 25165824 84561.2 169122.3
Grid : Message : 7.162522 s : ====================================================================================================
Grid : Message : 7.162527 s : = Benchmarking sequential halo exchange from GPU memory
Grid : Message : 7.162528 s : ====================================================================================================
Grid : Message : 7.162529 s : L Ls bytes MB/s uni (err/min/max) MB/s bidi (err/min/max)
Grid : Message : 7.222442 s : 8 8 393216 14172.2 28344.5
Grid : Message : 7.253802 s : 8 8 393216 25092.0 50183.9
Grid : Message : 7.278690 s : 8 8 393216 31614.1 63228.2
Grid : Message : 7.304138 s : 8 8 393216 30915.6 61831.3
Grid : Message : 7.347792 s : 12 8 1327104 109873.2 219746.5
Grid : Message : 7.370904 s : 12 8 1327104 114900.8 229801.6
Grid : Message : 7.418730 s : 12 8 1327104 55509.9 111019.9
Grid : Message : 7.466445 s : 12 8 1327104 55639.1 111278.2
Grid : Message : 7.531724 s : 16 8 3145728 168680.8 337361.6
Grid : Message : 7.567205 s : 16 8 3145728 177379.0 354758.0
Grid : Message : 7.669544 s : 16 8 3145728 61483.2 122966.5
Grid : Message : 7.771543 s : 16 8 3145728 61687.6 123375.2
Grid : Message : 7.852470 s : 20 8 6144000 232313.7 464627.4
Grid : Message : 7.905813 s : 20 8 6144000 230410.1 460820.2
Grid : Message : 8.979520 s : 20 8 6144000 63957.7 127915.4
Grid : Message : 8.287586 s : 20 8 6144000 64802.3 129604.5
Grid : Message : 8.393759 s : 24 8 10616832 272264.9 544529.7
Grid : Message : 8.471189 s : 24 8 10616832 274276.5 548553.0
Grid : Message : 8.794453 s : 24 8 10616832 65688.1 131376.1
Grid : Message : 9.122233 s : 24 8 10616832 64782.8 129565.6
Grid : Message : 9.263925 s : 28 8 16859136 300457.8 600915.5
Grid : Message : 9.375294 s : 28 8 16859136 302794.4 605588.7
Grid : Message : 9.757443 s : 28 8 16859136 88236.5 176473.1
Grid : Message : 10.134856 s : 28 8 16859136 89343.4 178686.7
Grid : Message : 10.318775 s : 32 8 25165824 327347.5 654695.1
Grid : Message : 10.470617 s : 32 8 25165824 331500.0 663000.0
Grid : Message : 11.235800 s : 32 8 25165824 91024.0 182048.1
Grid : Message : 11.576311 s : 32 8 25165824 91062.1 182124.2
Grid : Message : 11.592542 s : ====================================================================================================
Grid : Message : 11.592548 s : = All done; Bye Bye
Grid : Message : 11.592549 s : ====================================================================================================
Grid : Message : 0.729967 s : Grid is setup to use 4 threads
Grid : Message : 0.729975 s : Number of iterations to average: 250
Grid : Message : 0.729977 s : ====================================================================================================
Grid : Message : 0.729978 s : = Benchmarking sequential halo exchange from host memory
Grid : Message : 0.729979 s : ====================================================================================================
Grid : Message : 0.729980 s : L Ls bytes MB/s uni (err/min/max) MB/s bidi (err/min/max)
Grid : Message : 0.749870 s : 8 8 393216 50783.4 101566.8
Grid : Message : 0.764282 s : 8 8 393216 54704.5 109409.0
Grid : Message : 0.780310 s : 8 8 393216 49090.6 98181.3
Grid : Message : 0.796479 s : 8 8 393216 48662.3 97324.7
Grid : Message : 0.841551 s : 12 8 1327104 66728.9 133457.8
Grid : Message : 0.880653 s : 12 8 1327104 67932.9 135865.9
Grid : Message : 0.920097 s : 12 8 1327104 67304.2 134608.4
Grid : Message : 0.961444 s : 12 8 1327104 64205.9 128411.8
Grid : Message : 1.660890 s : 16 8 3145728 67833.1 135666.3
Grid : Message : 1.153006 s : 16 8 3145728 72416.3 144832.6
Grid : Message : 1.240962 s : 16 8 3145728 71536.1 143072.2
Grid : Message : 1.330372 s : 16 8 3145728 70372.7 140745.3
Grid : Message : 1.519996 s : 20 8 6144000 71017.4 142034.8
Grid : Message : 1.667745 s : 20 8 6144000 83189.5 166378.9
Grid : Message : 1.817908 s : 20 8 6144000 81836.5 163673.1
Grid : Message : 1.969344 s : 20 8 6144000 81148.0 162296.0
Grid : Message : 2.260249 s : 24 8 10616832 79299.9 158599.8
Grid : Message : 2.512319 s : 24 8 10616832 84249.2 168498.4
Grid : Message : 2.763820 s : 24 8 10616832 84430.4 168860.9
Grid : Message : 3.172850 s : 24 8 10616832 83776.5 167553.1
Grid : Message : 3.460951 s : 28 8 16859136 82176.6 164353.1
Grid : Message : 3.859348 s : 28 8 16859136 84642.9 169285.9
Grid : Message : 4.254351 s : 28 8 16859136 85366.0 170731.9
Grid : Message : 4.651748 s : 28 8 16859136 84850.2 169700.4
Grid : Message : 5.302166 s : 32 8 25165824 83402.1 166804.1
Grid : Message : 5.889123 s : 32 8 25165824 85756.3 171512.6
Grid : Message : 6.472357 s : 32 8 25165824 86299.1 172598.3
Grid : Message : 7.572140 s : 32 8 25165824 86059.7 172119.3
Grid : Message : 7.578700 s : ====================================================================================================
Grid : Message : 7.578740 s : = Benchmarking sequential halo exchange from GPU memory
Grid : Message : 7.578750 s : ====================================================================================================
Grid : Message : 7.578760 s : L Ls bytes MB/s uni (err/min/max) MB/s bidi (err/min/max)
Grid : Message : 7.119231 s : 8 8 393216 13844.9 27689.8
Grid : Message : 7.150661 s : 8 8 393216 25034.4 50068.9
Grid : Message : 7.173800 s : 8 8 393216 34002.0 68004.0
Grid : Message : 7.197415 s : 8 8 393216 33317.7 66635.5
Grid : Message : 7.240696 s : 12 8 1327104 110772.0 221544.0
Grid : Message : 7.263466 s : 12 8 1327104 116627.5 233254.9
Grid : Message : 7.310752 s : 12 8 1327104 56142.8 112285.6
Grid : Message : 7.356881 s : 12 8 1327104 57551.3 115102.6
Grid : Message : 7.422351 s : 16 8 3145728 167086.0 334172.0
Grid : Message : 7.458334 s : 16 8 3145728 174903.6 349807.1
Grid : Message : 7.558746 s : 16 8 3145728 62663.3 125326.6
Grid : Message : 7.658824 s : 16 8 3145728 62871.8 125743.6
Grid : Message : 7.741423 s : 20 8 6144000 231840.3 463680.6
Grid : Message : 7.794862 s : 20 8 6144000 229996.1 459992.1
Grid : Message : 7.982472 s : 20 8 6144000 65501.1 131002.1
Grid : Message : 8.170548 s : 20 8 6144000 65338.8 130677.5
Grid : Message : 8.277182 s : 24 8 10616832 274319.0 548638.0
Grid : Message : 8.354585 s : 24 8 10616832 274365.1 548730.2
Grid : Message : 8.675675 s : 24 8 10616832 66132.8 132265.7
Grid : Message : 8.999237 s : 24 8 10616832 65627.4 131254.7
Grid : Message : 9.140302 s : 28 8 16859136 300825.0 601650.0
Grid : Message : 9.251320 s : 28 8 16859136 303749.1 607498.1
Grid : Message : 9.632241 s : 28 8 16859136 88520.3 177040.6
Grid : Message : 9.999663 s : 28 8 16859136 91772.9 183545.7
Grid : Message : 10.183071 s : 32 8 25165824 328325.5 656651.1
Grid : Message : 10.335093 s : 32 8 25165824 331109.7 662219.3
Grid : Message : 10.875980 s : 32 8 25165824 93056.0 186111.9
Grid : Message : 11.418666 s : 32 8 25165824 92747.5 185495.0
Grid : Message : 11.434792 s : ====================================================================================================
Grid : Message : 11.434797 s : = All done; Bye Bye
Grid : Message : 11.434798 s : ====================================================================================================

196
systems/Booster/dwf.4node.perf
View File

@ -17,7 +17,7 @@ AcceleratorCudaInit: Configure options --enable-summit, --enable-select-gpu=no
AcceleratorCudaInit: ================================================
SharedMemoryMpi: World communicator of size 16
SharedMemoryMpi: Node communicator of size 4
0SharedMemoryMpi: SharedMemoryMPI.cc acceleratorAllocDevice 2147483648bytes at 0x14b7a0000000 for comms buffers
0SharedMemoryMpi: SharedMemoryMPI.cc acceleratorAllocDevice 2147483648bytes at 0x14e9c0000000 for comms buffers
Setting up IPC
__|__|__|__|__|__|__|__|__|__|__|__|__|__|__
@ -47,7 +47,7 @@ This program is distributed in the hope that it will be useful,
but WITHOUT ANY WARRANTY; without even the implied warranty of
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
GNU General Public License for more details.
Current Grid git commit hash=f660dc67e4b193afc4015bc5e5fe47cfdbb0356e: (HEAD -> develop, origin/develop, origin/HEAD) uncommited changes
Current Grid git commit hash=e188c0512ebee79bfb15906676af1c9e142aa21a: (HEAD -> develop) uncommited changes
Grid : Message : ================================================
Grid : Message : MPI is initialised and logging filters activated
@ -58,99 +58,99 @@ Grid : Message : MemoryManager::Init() setting up
Grid : Message : MemoryManager::Init() cache pool for recent allocations: SMALL 32 LARGE 8
Grid : Message : MemoryManager::Init() Non unified: Caching accelerator data in dedicated memory
Grid : Message : MemoryManager::Init() Using cudaMalloc
Grid : Message : 0.751288 s : Grid Layout
Grid : Message : 0.751291 s : Global lattice size : 64 64 64 64
Grid : Message : 0.751296 s : OpenMP threads : 4
Grid : Message : 0.751297 s : MPI tasks : 2 2 2 2
Grid : Message : 0.792527 s : Making s innermost grids
Grid : Message : 0.835495 s : Initialising 4d RNG
Grid : Message : 0.940402 s : Intialising parallel RNG with unique string 'The 4D RNG'
Grid : Message : 0.940421 s : Seed SHA256: 49db4542db694e3b1a74bf2592a8c1b83bfebbe18401693c2609a4c3af1
Grid : Message : 1.336448 s : Initialising 5d RNG
Grid : Message : 2.956230 s : Intialising parallel RNG with unique string 'The 5D RNG'
Grid : Message : 2.956251 s : Seed SHA256: b6316f2fac44ce14111f93e0296389330b077bfd0a7b359f781c58589f8a
Grid : Message : 11.242345 s : Initialised RNGs
Grid : Message : 13.415017 s : Drawing gauge field
Grid : Message : 13.937529 s : Random gauge initialised
Grid : Message : 15.529056 s : Setting up Cshift based reference
Grid : Message : 21.472100 s : *****************************************************************
Grid : Message : 21.472690 s : * Kernel options --dslash-generic, --dslash-unroll, --dslash-asm
Grid : Message : 21.472700 s : *****************************************************************
Grid : Message : 21.472710 s : *****************************************************************
Grid : Message : 21.472720 s : * Benchmarking DomainWallFermionR::Dhop
Grid : Message : 21.472730 s : * Vectorising space-time by 8
Grid : Message : 21.472740 s : * VComplexF size is 64 B
Grid : Message : 21.472750 s : * SINGLE precision
Grid : Message : 21.472760 s : * Using Overlapped Comms/Compute
Grid : Message : 21.472770 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 21.472780 s : *****************************************************************
Grid : Message : 22.302206 s : Called warmup
Grid : Message : 53.261410 s : Called Dw 3000 times in 3.07237e+07 us
Grid : Message : 53.261970 s : mflop/s = 3.45988e+07
Grid : Message : 53.261990 s : mflop/s per rank = 2.16243e+06
Grid : Message : 53.262000 s : mflop/s per node = 8.64971e+06
Grid : Message : 53.262010 s : RF GiB/s (base 2) = 70304
Grid : Message : 53.262020 s : mem GiB/s (base 2) = 43940
Grid : Message : 53.297930 s : norm diff 1.03481e-13
Grid : Message : 53.647310 s : #### Dhop calls report
Grid : Message : 53.647360 s : WilsonFermion5D Number of DhopEO Calls : 6002
Grid : Message : 53.647410 s : WilsonFermion5D TotalTime /Calls : 5149.34 us
Grid : Message : 53.647430 s : WilsonFermion5D CommTime /Calls : 3752.8 us
Grid : Message : 53.647440 s : WilsonFermion5D FaceTime /Calls : 474.579 us
Grid : Message : 53.647450 s : WilsonFermion5D ComputeTime1/Calls : 46.5708 us
Grid : Message : 53.647460 s : WilsonFermion5D ComputeTime2/Calls : 926.982 us
Grid : Message : 53.647550 s : Average mflops/s per call : 3.82643e+09
Grid : Message : 53.647580 s : Average mflops/s per call per rank : 2.39152e+08
Grid : Message : 53.647590 s : Average mflops/s per call per node : 9.56608e+08
Grid : Message : 53.647610 s : Average mflops/s per call (full) : 3.50314e+07
Grid : Message : 53.647620 s : Average mflops/s per call per rank (full): 2.18946e+06
Grid : Message : 53.647630 s : Average mflops/s per call per node (full): 8.75785e+06
Grid : Message : 53.647640 s : WilsonFermion5D Stencil
Grid : Message : 53.647650 s : WilsonFermion5D StencilEven
Grid : Message : 53.647660 s : WilsonFermion5D StencilOdd
Grid : Message : 53.647670 s : WilsonFermion5D Stencil Reporti()
Grid : Message : 53.647680 s : WilsonFermion5D StencilEven Reporti()
Grid : Message : 53.647690 s : WilsonFermion5D StencilOdd Reporti()
Grid : Message : 80.460422 s : Compare to naive wilson implementation Dag to verify correctness
Grid : Message : 80.460440 s : Called DwDag
Grid : Message : 80.460441 s : norm dag result 12.0421
Grid : Message : 80.481170 s : norm dag ref 12.0421
Grid : Message : 80.497179 s : norm dag diff 7.63236e-14
Grid : Message : 80.536902 s : Calling Deo and Doe and //assert Deo+Doe == Dunprec
Grid : Message : 80.917100 s : src_e0.499997
Grid : Message : 80.993190 s : src_o0.500003
Grid : Message : 81.634480 s : *********************************************************
Grid : Message : 81.634500 s : * Benchmarking DomainWallFermionF::DhopEO
Grid : Message : 81.634510 s : * Vectorising space-time by 8
Grid : Message : 81.634520 s : * SINGLE precision
Grid : Message : 81.634530 s : * Using Overlapped Comms/Compute
Grid : Message : 81.634540 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 81.634550 s : *********************************************************
Grid : Message : 96.356262 s : Deo mflop/s = 3.49003e+07
Grid : Message : 96.356288 s : Deo mflop/s per rank 2.18127e+06
Grid : Message : 96.356290 s : Deo mflop/s per node 8.72508e+06
Grid : Message : 96.356297 s : #### Dhop calls report
Grid : Message : 96.356298 s : WilsonFermion5D Number of DhopEO Calls : 3001
Grid : Message : 96.356300 s : WilsonFermion5D TotalTime /Calls : 5095.74 us
Grid : Message : 96.356302 s : WilsonFermion5D CommTime /Calls : 3589.98 us
Grid : Message : 96.356303 s : WilsonFermion5D FaceTime /Calls : 552.086 us
Grid : Message : 96.356304 s : WilsonFermion5D ComputeTime1/Calls : 52.4692 us
Grid : Message : 96.356305 s : WilsonFermion5D ComputeTime2/Calls : 963.892 us
Grid : Message : 96.356324 s : Average mflops/s per call : 3.42222e+09
Grid : Message : 96.356326 s : Average mflops/s per call per rank : 2.13889e+08
Grid : Message : 96.356327 s : Average mflops/s per call per node : 8.55556e+08
Grid : Message : 96.356328 s : Average mflops/s per call (full) : 3.53999e+07
Grid : Message : 96.356329 s : Average mflops/s per call per rank (full): 2.21249e+06
Grid : Message : 96.356330 s : Average mflops/s per call per node (full): 8.84997e+06
Grid : Message : 96.356331 s : WilsonFermion5D Stencil
Grid : Message : 96.356332 s : WilsonFermion5D StencilEven
Grid : Message : 96.356333 s : WilsonFermion5D StencilOdd
Grid : Message : 96.356334 s : WilsonFermion5D Stencil Reporti()
Grid : Message : 96.356335 s : WilsonFermion5D StencilEven Reporti()
Grid : Message : 96.356336 s : WilsonFermion5D StencilOdd Reporti()
Grid : Message : 96.415562 s : r_e6.02111
Grid : Message : 96.422386 s : r_o6.02102
Grid : Message : 96.428364 s : res12.0421
Grid : Message : 97.865450 s : norm diff 0
Grid : Message : 97.490738 s : norm diff even 0
Grid : Message : 97.561591 s : norm diff odd 0
Grid : Message : 0.717713 s : Grid Layout
Grid : Message : 0.717716 s : Global lattice size : 64 64 64 64
Grid : Message : 0.717724 s : OpenMP threads : 4
Grid : Message : 0.717725 s : MPI tasks : 2 2 2 2
Grid : Message : 0.801634 s : Making s innermost grids
Grid : Message : 0.844903 s : Initialising 4d RNG
Grid : Message : 0.940001 s : Intialising parallel RNG with unique string 'The 4D RNG'
Grid : Message : 0.940060 s : Seed SHA256: 49db4542db694e3b1a74bf2592a8c1b83bfebbe18401693c2609a4c3af1
Grid : Message : 1.338368 s : Initialising 5d RNG
Grid : Message : 2.859273 s : Intialising parallel RNG with unique string 'The 5D RNG'
Grid : Message : 2.859304 s : Seed SHA256: b6316f2fac44ce14111f93e0296389330b077bfd0a7b359f781c58589f8a
Grid : Message : 11.140924 s : Initialised RNGs
Grid : Message : 13.433456 s : Drawing gauge field
Grid : Message : 13.955847 s : Random gauge initialised
Grid : Message : 15.528535 s : Setting up Cshift based reference
Grid : Message : 21.484340 s : *****************************************************************
Grid : Message : 21.484840 s : * Kernel options --dslash-generic, --dslash-unroll, --dslash-asm
Grid : Message : 21.484860 s : *****************************************************************
Grid : Message : 21.484870 s : *****************************************************************
Grid : Message : 21.484880 s : * Benchmarking DomainWallFermionR::Dhop
Grid : Message : 21.484890 s : * Vectorising space-time by 8
Grid : Message : 21.484900 s : * VComplexF size is 64 B
Grid : Message : 21.484910 s : * SINGLE precision
Grid : Message : 21.484920 s : * Using Overlapped Comms/Compute
Grid : Message : 21.484930 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 21.484940 s : *****************************************************************
Grid : Message : 22.344741 s : Called warmup
Grid : Message : 49.832292 s : Called Dw 3000 times in 2.74873e+07 us
Grid : Message : 49.832358 s : mflop/s = 3.86726e+07
Grid : Message : 49.832360 s : mflop/s per rank = 2.41704e+06
Grid : Message : 49.832361 s : mflop/s per node = 9.66814e+06
Grid : Message : 49.832362 s : RF GiB/s (base 2) = 78581.7
Grid : Message : 49.832363 s : mem GiB/s (base 2) = 49113.6
Grid : Message : 49.835924 s : norm diff 1.03481e-13
Grid : Message : 49.870568 s : #### Dhop calls report
Grid : Message : 49.870574 s : WilsonFermion5D Number of DhopEO Calls : 6002
Grid : Message : 49.870598 s : WilsonFermion5D TotalTime /Calls : 4616.79 us
Grid : Message : 49.870600 s : WilsonFermion5D CommTime /Calls : 3241.77 us
Grid : Message : 49.870601 s : WilsonFermion5D FaceTime /Calls : 469.006 us
Grid : Message : 49.870602 s : WilsonFermion5D ComputeTime1/Calls : 27.0492 us
Grid : Message : 49.870603 s : WilsonFermion5D ComputeTime2/Calls : 926.33 us
Grid : Message : 49.870614 s : Average mflops/s per call : 6.71631e+09
Grid : Message : 49.870619 s : Average mflops/s per call per rank : 4.19769e+08
Grid : Message : 49.870621 s : Average mflops/s per call per node : 1.67908e+09
Grid : Message : 49.870626 s : Average mflops/s per call (full) : 3.90723e+07
Grid : Message : 49.870627 s : Average mflops/s per call per rank (full): 2.44202e+06
Grid : Message : 49.870628 s : Average mflops/s per call per node (full): 9.76808e+06
Grid : Message : 49.870629 s : WilsonFermion5D Stencil
Grid : Message : 49.870630 s : WilsonFermion5D StencilEven
Grid : Message : 49.870631 s : WilsonFermion5D StencilOdd
Grid : Message : 49.870632 s : WilsonFermion5D Stencil Reporti()
Grid : Message : 49.870633 s : WilsonFermion5D StencilEven Reporti()
Grid : Message : 49.870634 s : WilsonFermion5D StencilOdd Reporti()
Grid : Message : 77.321890 s : Compare to naive wilson implementation Dag to verify correctness
Grid : Message : 77.321911 s : Called DwDag
Grid : Message : 77.321912 s : norm dag result 12.0421
Grid : Message : 77.334619 s : norm dag ref 12.0421
Grid : Message : 77.350515 s : norm dag diff 7.63236e-14
Grid : Message : 77.389923 s : Calling Deo and Doe and //assert Deo+Doe == Dunprec
Grid : Message : 77.769815 s : src_e0.499997
Grid : Message : 77.847560 s : src_o0.500003
Grid : Message : 77.917493 s : *********************************************************
Grid : Message : 77.917496 s : * Benchmarking DomainWallFermionF::DhopEO
Grid : Message : 77.917497 s : * Vectorising space-time by 8
Grid : Message : 77.917498 s : * SINGLE precision
Grid : Message : 77.917499 s : * Using Overlapped Comms/Compute
Grid : Message : 77.917500 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 77.917501 s : *********************************************************
Grid : Message : 91.412946 s : Deo mflop/s = 3.95925e+07
Grid : Message : 91.412978 s : Deo mflop/s per rank 2.47453e+06
Grid : Message : 91.412980 s : Deo mflop/s per node 9.89813e+06
Grid : Message : 91.412983 s : #### Dhop calls report
Grid : Message : 91.412984 s : WilsonFermion5D Number of DhopEO Calls : 3001
Grid : Message : 91.412986 s : WilsonFermion5D TotalTime /Calls : 4496.84 us
Grid : Message : 91.412988 s : WilsonFermion5D CommTime /Calls : 3057.28 us
Grid : Message : 91.412989 s : WilsonFermion5D FaceTime /Calls : 528.499 us
Grid : Message : 91.412990 s : WilsonFermion5D ComputeTime1/Calls : 16.1939 us
Grid : Message : 91.412991 s : WilsonFermion5D ComputeTime2/Calls : 942.557 us
Grid : Message : 91.413021 s : Average mflops/s per call : 1.12574e+10
Grid : Message : 91.413023 s : Average mflops/s per call per rank : 7.03586e+08
Grid : Message : 91.413024 s : Average mflops/s per call per node : 2.81434e+09
Grid : Message : 91.413025 s : Average mflops/s per call (full) : 4.01145e+07
Grid : Message : 91.413026 s : Average mflops/s per call per rank (full): 2.50716e+06
Grid : Message : 91.413027 s : Average mflops/s per call per node (full): 1.00286e+07
Grid : Message : 91.413028 s : WilsonFermion5D Stencil
Grid : Message : 91.413029 s : WilsonFermion5D StencilEven
Grid : Message : 91.413030 s : WilsonFermion5D StencilOdd
Grid : Message : 91.413031 s : WilsonFermion5D Stencil Reporti()
Grid : Message : 91.413032 s : WilsonFermion5D StencilEven Reporti()
Grid : Message : 91.413033 s : WilsonFermion5D StencilOdd Reporti()
Grid : Message : 91.470394 s : r_e6.02111
Grid : Message : 91.476539 s : r_o6.02102
Grid : Message : 91.482442 s : res12.0421
Grid : Message : 92.138799 s : norm diff 0
Grid : Message : 92.545354 s : norm diff even 0
Grid : Message : 92.619444 s : norm diff odd 0

1
systems/Booster/dwf4.slurm
View File

@ -22,7 +22,6 @@ srun -N 4 -n $SLURM_NTASKS \
./benchmarks/Benchmark_dwf_fp32 \
$OPT \
--mpi 2.2.2.2 \
--shm-mpi 0 \
--accelerator-threads 8 \
--grid 64.64.64.64 \
--shm 2048 > dwf.4node.perf