dc-paul1/grid_amd
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
grid_amd/bin/job.out
Srijit Paul 6c79bf7b8e Added the working results from the AMD Hackathon
2023-05-16 09:47:38 +01:00

900 lines
59 KiB
Plaintext
Raw Blame History

[1680706877.725400] [ubb-r09-09:4143038:0] parser.c:1908 UCX WARN unused env variable: UCX_HOME (set UCX_WARN_UNUSED_ENV_VARS=n to suppress this warning)
MPI 000 - OMP 001 - HWT 001 - Node ubb-r09-09 - RT_GPU_ID 0 - GPU_ID 0 - Bus_ID 29
MPI 000 - OMP 000 - HWT 000 - Node ubb-r09-09 - RT_GPU_ID 0 - GPU_ID 0 - Bus_ID 29
MPI 000 - OMP 002 - HWT 002 - Node ubb-r09-09 - RT_GPU_ID 0 - GPU_ID 0 - Bus_ID 29
MPI 000 - OMP 003 - HWT 003 - Node ubb-r09-09 - RT_GPU_ID 0 - GPU_ID 0 - Bus_ID 29
MPI 000 - OMP 004 - HWT 004 - Node ubb-r09-09 - RT_GPU_ID 0 - GPU_ID 0 - Bus_ID 29
MPI 000 - OMP 005 - HWT 005 - Node ubb-r09-09 - RT_GPU_ID 0 - GPU_ID 0 - Bus_ID 29
MPI 000 - OMP 007 - HWT 007 - Node ubb-r09-09 - RT_GPU_ID 0 - GPU_ID 0 - Bus_ID 29
MPI 000 - OMP 006 - HWT 006 - Node ubb-r09-09 - RT_GPU_ID 0 - GPU_ID 0 - Bus_ID 29
world_rank 0 has 1 devices
AcceleratorHipInit: ========================
AcceleratorHipInit: Device Number : 0
AcceleratorHipInit: ========================
AcceleratorHipInit: Device identifier: AMD Instinct MI250X/MI250
AcceleratorHipInit: totalGlobalMem: 68702699520
AcceleratorHipInit: isMultiGpuBoard: 0
AcceleratorHipInit: warpSize: 64
AcceleratorHipInit: using default device
AcceleratorHipInit: assume user or srun sets ROCR_VISIBLE_DEVICES and numa binding
AcceleratorHipInit: Configure options --enable-setdevice=no
local rank 0 device 0 bus id: 0000:29:00.0
AcceleratorHipInit: ================================================
[1680706879.831292] [ubb-r09-09:4143063:0] parser.c:1908 UCX WARN unused env variable: UCX_HOME (set UCX_WARN_UNUSED_ENV_VARS=n to suppress this warning)
SharedMemoryMpi: World communicator of size 1
SharedMemoryMpi: Node communicator of size 1
0SharedMemoryMpi: SharedMemoryMPI.cc acceleratorAllocDevice 2147483648bytes at 0x7fc341800000 - 7fc3c17fffff for comms buffers
Setting up IPC
__|__|__|__|__|__|__|__|__|__|__|__|__|__|__
__|__|__|__|__|__|__|__|__|__|__|__|__|__|__
__|_ | | | | | | | | | | | | _|__
__|_ _|__
__|_ GGGG RRRR III DDDD _|__
__|_ G R R I D D _|__
__|_ G R R I D D _|__
__|_ G GG RRRR I D D _|__
__|_ G G R R I D D _|__
__|_ GGGG R R III DDDD _|__
__|_ _|__
__|__|__|__|__|__|__|__|__|__|__|__|__|__|__
__|__|__|__|__|__|__|__|__|__|__|__|__|__|__
| | | | | | | | | | | | | |
Copyright (C) 2015 Peter Boyle, Azusa Yamaguchi, Guido Cossu, Antonin Portelli and other authors
This program is free software; you can redistribute it and/or modify
it under the terms of the GNU General Public License as published by
the Free Software Foundation; either version 2 of the License, or
(at your option) any later version.
This program is distributed in the hope that it will be useful,
but WITHOUT ANY WARRANTY; without even the implied warranty of
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
GNU General Public License for more details.
Current Grid git commit hash=af64c1c6b6dd52109e4cc87e4977ad03f6426060: (HEAD -> develop, origin/develop, origin/HEAD) uncommited changes
Grid : Message : ================================================
Grid : Message : MPI is initialised and logging filters activated
Grid : Message : ================================================
Grid : Message : Requested 2147483648 byte stencil comms buffers
Grid : Message : MemoryManager Cache 54962159616 bytes
Grid : Message : MemoryManager::Init() setting up
Grid : Message : MemoryManager::Init() cache pool for recent host allocations: SMALL 8 LARGE 2 HUGE 0
Grid : Message : MemoryManager::Init() cache pool for recent device allocations: SMALL 16 LARGE 8 Huge 0
Grid : Message : MemoryManager::Init() cache pool for recent shared allocations: SMALL 16 LARGE 8 Huge 0
Grid : Message : MemoryManager::Init() Non unified: Caching accelerator data in dedicated memory
Grid : Message : MemoryManager::Init() Using hipMalloc
Grid : Message : 0.537200 s : ===============================================================================
Grid : Message : 0.538200 s : Grid Default Decomposition patterns
Grid : Message : 0.538400 s : ------------------------------------------
Grid : Message : 0.538700 s : * OpenMP threads : 1
Grid : Message : 0.538800 s : * MPI tasks : 1 1 1 1
Grid : Message : 0.539600 s : * vReal : 512bits ; 1 2 2 2
Grid : Message : 0.540000 s : * vRealF : 512bits ; 2 2 2 2
Grid : Message : 0.540300 s : * vRealD : 512bits ; 1 2 2 2
Grid : Message : 0.540600 s : * vComplex : 512bits ; 1 1 2 2
Grid : Message : 0.540800 s : * vComplexF : 512bits ; 1 2 2 2
Grid : Message : 0.541100 s : * vComplexD : 512bits ; 1 1 2 2
Grid : Message : 0.541300 s : * ranks : 1
Grid : Message : 0.541600 s : * nodes : 1
Grid : Message : 0.541700 s : * ranks/node : 1
Grid : Message : 0.542700 s : ===============================================================================
Grid : Message : 0.542900 s : Memory benchmark
Grid : Message : 0.543000 s : ===============================================================================
Grid : Message : 0.543300 s : Benchmarking a*x + y bandwidth
Grid : Message : 0.543400 s : ------------------------------------------
Grid : Message : 0.543800 s : L size (MB/node) time (usec) GB/s/node Gflop/s/node
Grid : Message : 2.104895 s : 8 0.75 20.44 35.83 3.21
Grid : Message : 2.501739 s : 16 12.00 30.61 382.89 34.26
Grid : Message : 2.790328 s : 24 60.75 70.84 837.41 74.93
Grid : Message : 3.134382 s : 32 192.00 179.48 1044.68 93.48
Grid : Message : 3.615671 s : 40 468.75 418.36 1094.18 97.91
Grid : Message : 4.312240 s : 48 972.00 848.60 1118.57 100.09
Grid : Message : 5.311103 s : 56 1800.75 1574.15 1117.14 99.96
Grid : Message : 6.743824 s : 64 3072.00 2653.93 1130.40 101.15
Grid : Message : 6.746637 s : ===============================================================================
Grid : Message : 6.746646 s : SU(4) benchmark
Grid : Message : 6.746647 s : ===============================================================================
Grid : Message : 6.746648 s : Benchmarking z = y*x SU(4) bandwidth
Grid : Message : 6.746649 s : ------------------------------------------
Grid : Message : 6.746651 s : L size (MB/node) time (usec) GB/s/node Gflop/s/node
Grid : Message : 7.700260 s : 8 1.50 22.02 66.53 89.30
Grid : Message : 7.939874 s : 16 24.00 42.19 555.56 745.66
Grid : Message : 8.237210 s : 24 121.50 159.86 742.22 996.20
Grid : Message : 8.662510 s : 32 384.00 453.48 826.94 1109.90
Grid : Message : 9.326550 s : 40 937.50 1087.04 842.22 1130.41
Grid : Message : 10.371306 s : 48 1944.00 2231.49 850.75 1141.86
Grid : Message : 10.373198 s : ===============================================================================
Grid : Message : 10.373205 s : Communications benchmark
Grid : Message : 10.373206 s : ===============================================================================
Grid : Message : 10.373209 s : Benchmarking threaded STENCIL halo exchange in 0 dimensions
Grid : Message : 10.373210 s : ------------------------------------------
Grid : Message : 10.373212 s : L dir payload (B) time (usec) rate (GB/s/node) std dev max
Grid : Message : 10.376833 s : ===============================================================================
Grid : Message : 10.376840 s : Wilson dslash 4D vectorised
Grid : Message : 10.376886 s : ===============================================================================
Grid : Message : 10.376889 s : Benchmark DWF on 8^4 local volume
Grid : Message : 10.376890 s : * Nc : 3
Grid : Message : 10.376891 s : * Global volume : 8 8 8 8
Grid : Message : 10.376902 s : * Ls : 1
Grid : Message : 10.376903 s : * ranks : 1
Grid : Message : 10.376906 s : * nodes : 1
Grid : Message : 10.376908 s : * ranks/node : 1
Grid : Message : 10.376909 s : * ranks geom : 1 1 1 1
Grid : Message : 10.376912 s : * Using 1 threads
Grid : Message : 10.376913 s : ===============================================================================
Grid : Message : 10.378509 s : Initialised RNGs
Grid : Message : 10.491571 s : ------------------------------------------
Grid : Message : 10.491577 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 10.491578 s : * Using sequential Comms/Compute
Grid : Message : 10.491579 s : * SINGLE precision
Grid : Message : 10.491582 s : ------------------------------------------
Grid : Message : 10.517414 s : Deo FlopsPerSite is 1344
Grid : Message : 10.517445 s : Deo Gflop/s = 89.3 (0.1) 58.6-94.9
Grid : Message : 10.517450 s : Deo Gflop/s per rank 89.3
Grid : Message : 10.517453 s : Deo Gflop/s per node 89.3
Grid : Message : 10.517455 s : ------------------------------------------
Grid : Message : 10.517457 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 10.517458 s : * Using Overlapped Comms/Compute
Grid : Message : 10.517461 s : * SINGLE precision
Grid : Message : 10.517463 s : ------------------------------------------
Grid : Message : 10.536046 s : Deo FlopsPerSite is 1344.0
Grid : Message : 10.536050 s : Deo Gflop/s = 75.9 (0.1) 56.2-78.6
Grid : Message : 10.536052 s : Deo Gflop/s per rank 75.9
Grid : Message : 10.536053 s : Deo Gflop/s per node 75.9
Grid : Message : 10.536054 s : ------------------------------------------
Grid : Message : 10.536055 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 10.536056 s : * Using sequential Comms/Compute
Grid : Message : 10.536057 s : * SINGLE precision
Grid : Message : 10.536057 s : ------------------------------------------
Grid : Message : 10.551674 s : Deo FlopsPerSite is 1344.0
Grid : Message : 10.551678 s : Deo Gflop/s = 90.1 (0.1) 81.0-94.9
Grid : Message : 10.551680 s : Deo Gflop/s per rank 90.1
Grid : Message : 10.551681 s : Deo Gflop/s per node 90.1
Grid : Message : 10.551682 s : ------------------------------------------
Grid : Message : 10.551683 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 10.551684 s : * Using Overlapped Comms/Compute
Grid : Message : 10.551685 s : * SINGLE precision
Grid : Message : 10.551686 s : ------------------------------------------
Grid : Message : 10.570207 s : Deo FlopsPerSite is 1344.0
Grid : Message : 10.570211 s : Deo Gflop/s = 75.9 (0.1) 72.4-78.6
Grid : Message : 10.570213 s : Deo Gflop/s per rank 75.9
Grid : Message : 10.570214 s : Deo Gflop/s per node 75.9
Grid : Message : 10.570215 s : ------------------------------------------
Grid : Message : 10.570216 s : 8^4 x 1 Deo Best Gflop/s = 90.1 ; 90.1 per node
Grid : Message : 10.570218 s : 8^4 x 1 Deo Worst Gflop/s = 75.9 ; 75.9 per node
Grid : Message : 10.570219 s : G/S/C ; G/O/C ; G/S/S ; G/O/S
Grid : Message : 10.570220 s : 89.3 ; 75.9 ; 90.1 ; 75.9 ;
Grid : Message : 10.571167 s : ===============================================================================
Grid : Message : 10.571172 s : Benchmark DWF on 12^4 local volume
Grid : Message : 10.571173 s : * Nc : 3
Grid : Message : 10.571174 s : * Global volume : 12 12 12 12
Grid : Message : 10.571178 s : * Ls : 1
Grid : Message : 10.571179 s : * ranks : 1
Grid : Message : 10.571180 s : * nodes : 1
Grid : Message : 10.571181 s : * ranks/node : 1
Grid : Message : 10.571182 s : * ranks geom : 1 1 1 1
Grid : Message : 10.571183 s : * Using 1 threads
Grid : Message : 10.571184 s : ===============================================================================
Grid : Message : 10.576804 s : Initialised RNGs
Grid : Message : 10.843984 s : ------------------------------------------
Grid : Message : 10.843998 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 10.843999 s : * Using sequential Comms/Compute
Grid : Message : 10.844000 s : * SINGLE precision
Grid : Message : 10.844001 s : ------------------------------------------
Grid : Message : 10.862118 s : Deo FlopsPerSite is 1344.0
Grid : Message : 10.862131 s : Deo Gflop/s = 408.9 (0.5) 296.5-422.3
Grid : Message : 10.862134 s : Deo Gflop/s per rank 408.9
Grid : Message : 10.862135 s : Deo Gflop/s per node 408.9
Grid : Message : 10.862136 s : ------------------------------------------
Grid : Message : 10.862137 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 10.862138 s : * Using Overlapped Comms/Compute
Grid : Message : 10.862139 s : * SINGLE precision
Grid : Message : 10.862140 s : ------------------------------------------
Grid : Message : 10.884288 s : Deo FlopsPerSite is 1344.0
Grid : Message : 10.884292 s : Deo Gflop/s = 321.3 (0.3) 290.3-331.8
Grid : Message : 10.884294 s : Deo Gflop/s per rank 321.3
Grid : Message : 10.884295 s : Deo Gflop/s per node 321.3
Grid : Message : 10.884296 s : ------------------------------------------
Grid : Message : 10.884297 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 10.884298 s : * Using sequential Comms/Compute
Grid : Message : 10.884299 s : * SINGLE precision
Grid : Message : 10.884299 s : ------------------------------------------
Grid : Message : 10.901666 s : Deo FlopsPerSite is 1344.0
Grid : Message : 10.901669 s : Deo Gflop/s = 409.5 (0.4) 366.7-422.3
Grid : Message : 10.901671 s : Deo Gflop/s per rank 409.5
Grid : Message : 10.901672 s : Deo Gflop/s per node 409.5
Grid : Message : 10.901673 s : ------------------------------------------
Grid : Message : 10.901674 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 10.901675 s : * Using Overlapped Comms/Compute
Grid : Message : 10.901675 s : * SINGLE precision
Grid : Message : 10.901675 s : ------------------------------------------
Grid : Message : 10.923814 s : Deo FlopsPerSite is 1344.0
Grid : Message : 10.923817 s : Deo Gflop/s = 321.4 (0.3) 290.3-331.8
Grid : Message : 10.923819 s : Deo Gflop/s per rank 321.4
Grid : Message : 10.923820 s : Deo Gflop/s per node 321.4
Grid : Message : 10.923821 s : ------------------------------------------
Grid : Message : 10.923822 s : 12^4 x 1 Deo Best Gflop/s = 409.5 ; 409.5 per node
Grid : Message : 10.923824 s : 12^4 x 1 Deo Worst Gflop/s = 321.3 ; 321.3 per node
Grid : Message : 10.923826 s : G/S/C ; G/O/C ; G/S/S ; G/O/S
Grid : Message : 10.923827 s : 408.9 ; 321.3 ; 409.5 ; 321.4 ;
Grid : Message : 10.926507 s : ===============================================================================
Grid : Message : 10.926512 s : Benchmark DWF on 16^4 local volume
Grid : Message : 10.926513 s : * Nc : 3
Grid : Message : 10.926514 s : * Global volume : 16 16 16 16
Grid : Message : 10.926522 s : * Ls : 1
Grid : Message : 10.926523 s : * ranks : 1
Grid : Message : 10.926524 s : * nodes : 1
Grid : Message : 10.926525 s : * ranks/node : 1
Grid : Message : 10.926526 s : * ranks geom : 1 1 1 1
Grid : Message : 10.926527 s : * Using 1 threads
Grid : Message : 10.926528 s : ===============================================================================
Grid : Message : 10.942650 s : Initialised RNGs
Grid : Message : 11.759317 s : ------------------------------------------
Grid : Message : 11.759335 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 11.759336 s : * Using sequential Comms/Compute
Grid : Message : 11.759337 s : * SINGLE precision
Grid : Message : 11.759338 s : ------------------------------------------
Grid : Message : 11.792221 s : Deo FlopsPerSite is 1344.0
Grid : Message : 11.792236 s : Deo Gflop/s = 725.8 (0.9) 478.7-746.4
Grid : Message : 11.792239 s : Deo Gflop/s per rank 725.8
Grid : Message : 11.792240 s : Deo Gflop/s per node 725.8
Grid : Message : 11.792241 s : ------------------------------------------
Grid : Message : 11.792242 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 11.792243 s : * Using Overlapped Comms/Compute
Grid : Message : 11.792244 s : * SINGLE precision
Grid : Message : 11.792245 s : ------------------------------------------
Grid : Message : 11.823738 s : Deo FlopsPerSite is 1344.0
Grid : Message : 11.823742 s : Deo Gflop/s = 713.9 (0.5) 667.3-734.0
Grid : Message : 11.823744 s : Deo Gflop/s per rank 713.9
Grid : Message : 11.823745 s : Deo Gflop/s per node 713.9
Grid : Message : 11.823746 s : ------------------------------------------
Grid : Message : 11.823747 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 11.823748 s : * Using sequential Comms/Compute
Grid : Message : 11.823749 s : * SINGLE precision
Grid : Message : 11.823750 s : ------------------------------------------
Grid : Message : 11.854663 s : Deo FlopsPerSite is 1344.0
Grid : Message : 11.854666 s : Deo Gflop/s = 727.3 (0.5) 677.5-746.4
Grid : Message : 11.854668 s : Deo Gflop/s per rank 727.3
Grid : Message : 11.854669 s : Deo Gflop/s per node 727.3
Grid : Message : 11.854670 s : ------------------------------------------
Grid : Message : 11.854671 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 11.854672 s : * Using Overlapped Comms/Compute
Grid : Message : 11.854673 s : * SINGLE precision
Grid : Message : 11.854674 s : ------------------------------------------
Grid : Message : 11.886128 s : Deo FlopsPerSite is 1344.0
Grid : Message : 11.886131 s : Deo Gflop/s = 714.5 (0.5) 667.3-746.4
Grid : Message : 11.886133 s : Deo Gflop/s per rank 714.5
Grid : Message : 11.886134 s : Deo Gflop/s per node 714.5
Grid : Message : 11.886135 s : ------------------------------------------
Grid : Message : 11.886136 s : 16^4 x 1 Deo Best Gflop/s = 727.3 ; 727.3 per node
Grid : Message : 11.886138 s : 16^4 x 1 Deo Worst Gflop/s = 713.9 ; 713.9 per node
Grid : Message : 11.886140 s : G/S/C ; G/O/C ; G/S/S ; G/O/S
Grid : Message : 11.886141 s : 725.8 ; 713.9 ; 727.3 ; 714.5 ;
Grid : Message : 11.892130 s : ===============================================================================
Grid : Message : 11.892137 s : Benchmark DWF on 24^4 local volume
Grid : Message : 11.892138 s : * Nc : 3
Grid : Message : 11.892139 s : * Global volume : 24 24 24 24
Grid : Message : 11.892147 s : * Ls : 1
Grid : Message : 11.892148 s : * ranks : 1
Grid : Message : 11.892149 s : * nodes : 1
Grid : Message : 11.892150 s : * ranks/node : 1
Grid : Message : 11.892151 s : * ranks geom : 1 1 1 1
Grid : Message : 11.892152 s : * Using 1 threads
Grid : Message : 11.892153 s : ===============================================================================
Grid : Message : 11.978452 s : Initialised RNGs
Grid : Message : 16.753360 s : ------------------------------------------
Grid : Message : 16.753560 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 16.753570 s : * Using sequential Comms/Compute
Grid : Message : 16.753580 s : * SINGLE precision
Grid : Message : 16.753590 s : ------------------------------------------
Grid : Message : 16.178475 s : Deo FlopsPerSite is 1344.0
Grid : Message : 16.178489 s : Deo Gflop/s = 1204.9 (0.4) 1161.2-1225.0
Grid : Message : 16.178492 s : Deo Gflop/s per rank 1204.9
Grid : Message : 16.178493 s : Deo Gflop/s per node 1204.9
Grid : Message : 16.178494 s : ------------------------------------------
Grid : Message : 16.178495 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 16.178496 s : * Using Overlapped Comms/Compute
Grid : Message : 16.178497 s : * SINGLE precision
Grid : Message : 16.178498 s : ------------------------------------------
Grid : Message : 16.313480 s : Deo FlopsPerSite is 1344.0
Grid : Message : 16.313484 s : Deo Gflop/s = 842.5 (0.3) 816.7-864.2
Grid : Message : 16.313486 s : Deo Gflop/s per rank 842.5
Grid : Message : 16.313487 s : Deo Gflop/s per node 842.5
Grid : Message : 16.313488 s : ------------------------------------------
Grid : Message : 16.313489 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 16.313490 s : * Using sequential Comms/Compute
Grid : Message : 16.313491 s : * SINGLE precision
Grid : Message : 16.313491 s : ------------------------------------------
Grid : Message : 16.407847 s : Deo FlopsPerSite is 1344.0
Grid : Message : 16.407850 s : Deo Gflop/s = 1205.3 (0.4) 1167.3-1225.0
Grid : Message : 16.407852 s : Deo Gflop/s per rank 1205.3
Grid : Message : 16.407853 s : Deo Gflop/s per node 1205.3
Grid : Message : 16.407854 s : ------------------------------------------
Grid : Message : 16.407855 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 16.407856 s : * Using Overlapped Comms/Compute
Grid : Message : 16.407857 s : * SINGLE precision
Grid : Message : 16.407858 s : ------------------------------------------
Grid : Message : 16.543002 s : Deo FlopsPerSite is 1344.0
Grid : Message : 16.543005 s : Deo Gflop/s = 841.5 (0.3) 825.8-860.8
Grid : Message : 16.543007 s : Deo Gflop/s per rank 841.5
Grid : Message : 16.543008 s : Deo Gflop/s per node 841.5
Grid : Message : 16.543009 s : ------------------------------------------
Grid : Message : 16.543010 s : 24^4 x 1 Deo Best Gflop/s = 1205.3 ; 1205.3 per node
Grid : Message : 16.543012 s : 24^4 x 1 Deo Worst Gflop/s = 841.5 ; 841.5 per node
Grid : Message : 16.543013 s : G/S/C ; G/O/C ; G/S/S ; G/O/S
Grid : Message : 16.543014 s : 1204.9 ; 842.5 ; 1205.3 ; 841.5 ;
Grid : Message : 16.575736 s : ===============================================================================
Grid : Message : 16.575752 s : Benchmark DWF on 32^4 local volume
Grid : Message : 16.575753 s : * Nc : 3
Grid : Message : 16.575754 s : * Global volume : 32 32 32 32
Grid : Message : 16.575767 s : * Ls : 1
Grid : Message : 16.575768 s : * ranks : 1
Grid : Message : 16.575769 s : * nodes : 1
Grid : Message : 16.575770 s : * ranks/node : 1
Grid : Message : 16.575771 s : * ranks geom : 1 1 1 1
Grid : Message : 16.575773 s : * Using 1 threads
Grid : Message : 16.575774 s : ===============================================================================
Grid : Message : 16.839329 s : Initialised RNGs
Grid : Message : 29.647706 s : ------------------------------------------
Grid : Message : 29.647727 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 29.647728 s : * Using sequential Comms/Compute
Grid : Message : 29.647729 s : * SINGLE precision
Grid : Message : 29.647730 s : ------------------------------------------
Grid : Message : 29.981303 s : Deo FlopsPerSite is 1344.0
Grid : Message : 29.981317 s : Deo Gflop/s = 1171.5 (0.4) 1142.0-1198.4
Grid : Message : 29.981320 s : Deo Gflop/s per rank 1171.5
Grid : Message : 29.981321 s : Deo Gflop/s per node 1171.5
Grid : Message : 29.981322 s : ------------------------------------------
Grid : Message : 29.981323 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 29.981324 s : * Using Overlapped Comms/Compute
Grid : Message : 29.981325 s : * SINGLE precision
Grid : Message : 29.981325 s : ------------------------------------------
Grid : Message : 30.405186 s : Deo FlopsPerSite is 1344.0
Grid : Message : 30.405194 s : Deo Gflop/s = 847.8 (0.2) 833.9-861.4
Grid : Message : 30.405196 s : Deo Gflop/s per rank 847.8
Grid : Message : 30.405197 s : Deo Gflop/s per node 847.8
Grid : Message : 30.405198 s : ------------------------------------------
Grid : Message : 30.405199 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 30.405200 s : * Using sequential Comms/Compute
Grid : Message : 30.405201 s : * SINGLE precision
Grid : Message : 30.405202 s : ------------------------------------------
Grid : Message : 30.711705 s : Deo FlopsPerSite is 1344.0
Grid : Message : 30.711710 s : Deo Gflop/s = 1172.6 (0.4) 1143.9-1200.4
Grid : Message : 30.711712 s : Deo Gflop/s per rank 1172.6
Grid : Message : 30.711713 s : Deo Gflop/s per node 1172.6
Grid : Message : 30.711714 s : ------------------------------------------
Grid : Message : 30.711715 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 30.711716 s : * Using Overlapped Comms/Compute
Grid : Message : 30.711717 s : * SINGLE precision
Grid : Message : 30.711717 s : ------------------------------------------
Grid : Message : 31.144787 s : Deo FlopsPerSite is 1344.0
Grid : Message : 31.144798 s : Deo Gflop/s = 829.5 (17.9) 72.9-862.5
Grid : Message : 31.144801 s : Deo Gflop/s per rank 829.5
Grid : Message : 31.144802 s : Deo Gflop/s per node 829.5
Grid : Message : 31.144803 s : ------------------------------------------
Grid : Message : 31.144804 s : 32^4 x 1 Deo Best Gflop/s = 1172.6 ; 1172.6 per node
Grid : Message : 31.144806 s : 32^4 x 1 Deo Worst Gflop/s = 829.5 ; 829.5 per node
Grid : Message : 31.144808 s : G/S/C ; G/O/C ; G/S/S ; G/O/S
Grid : Message : 31.144809 s : 1171.5 ; 847.8 ; 1172.6 ; 829.5 ;
Grid : Message : 31.236007 s : ===============================================================================
Grid : Message : 31.236024 s : Domain wall dslash 4D vectorised
Grid : Message : 31.236205 s : ===============================================================================
Grid : Message : 31.236208 s : Benchmark DWF on 8^4 local volume
Grid : Message : 31.236210 s : * Nc : 3
Grid : Message : 31.236211 s : * Global volume : 8 8 8 8
Grid : Message : 31.236221 s : * Ls : 12
Grid : Message : 31.236222 s : * ranks : 1
Grid : Message : 31.236223 s : * nodes : 1
Grid : Message : 31.236224 s : * ranks/node : 1
Grid : Message : 31.236225 s : * ranks geom : 1 1 1 1
Grid : Message : 31.236226 s : * Using 1 threads
Grid : Message : 31.236227 s : ===============================================================================
Grid : Message : 31.242721 s : Initialised RNGs
Grid : Message : 31.459446 s : ------------------------------------------
Grid : Message : 31.459454 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 31.459455 s : * Using sequential Comms/Compute
Grid : Message : 31.459456 s : * SINGLE precision
Grid : Message : 31.459457 s : ------------------------------------------
Grid : Message : 31.479412 s : Deo FlopsPerSite is 1344.0
Grid : Message : 31.479425 s : Deo Gflop/s = 898.8 (0.9) 786.4-917.5
Grid : Message : 31.479428 s : Deo Gflop/s per rank 898.8
Grid : Message : 31.479429 s : Deo Gflop/s per node 898.8
Grid : Message : 31.479430 s : ------------------------------------------
Grid : Message : 31.479431 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 31.479432 s : * Using Overlapped Comms/Compute
Grid : Message : 31.479433 s : * SINGLE precision
Grid : Message : 31.479433 s : ------------------------------------------
Grid : Message : 31.503228 s : Deo FlopsPerSite is 1344.0
Grid : Message : 31.503233 s : Deo Gflop/s = 708.8 (0.6) 647.6-734.0
Grid : Message : 31.503235 s : Deo Gflop/s per rank 708.8
Grid : Message : 31.503236 s : Deo Gflop/s per node 708.8
Grid : Message : 31.503237 s : ------------------------------------------
Grid : Message : 31.503238 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 31.503238 s : * Using sequential Comms/Compute
Grid : Message : 31.503239 s : * SINGLE precision
Grid : Message : 31.503239 s : ------------------------------------------
Grid : Message : 31.521974 s : Deo FlopsPerSite is 1344.0
Grid : Message : 31.521977 s : Deo Gflop/s = 900.5 (0.9) 805.6-917.5
Grid : Message : 31.521979 s : Deo Gflop/s per rank 900.5
Grid : Message : 31.521980 s : Deo Gflop/s per node 900.5
Grid : Message : 31.521981 s : ------------------------------------------
Grid : Message : 31.521982 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 31.521983 s : * Using Overlapped Comms/Compute
Grid : Message : 31.521984 s : * SINGLE precision
Grid : Message : 31.521985 s : ------------------------------------------
Grid : Message : 31.545784 s : Deo FlopsPerSite is 1344.0
Grid : Message : 31.545787 s : Deo Gflop/s = 708.6 (0.6) 647.6-734.0
Grid : Message : 31.545789 s : Deo Gflop/s per rank 708.6
Grid : Message : 31.545790 s : Deo Gflop/s per node 708.6
Grid : Message : 31.545791 s : ------------------------------------------
Grid : Message : 31.545792 s : 8^4 x 12 Deo Best Gflop/s = 900.5 ; 900.5 per node
Grid : Message : 31.545794 s : 8^4 x 12 Deo Worst Gflop/s = 708.6 ; 708.6 per node
Grid : Message : 31.545796 s : G/S/C ; G/O/C ; G/S/S ; G/O/S
Grid : Message : 31.545797 s : 898.8 ; 708.8 ; 900.5 ; 708.6 ;
Grid : Message : 31.548767 s : ===============================================================================
Grid : Message : 31.548772 s : Benchmark DWF on 12^4 local volume
Grid : Message : 31.548773 s : * Nc : 3
Grid : Message : 31.548774 s : * Global volume : 12 12 12 12
Grid : Message : 31.548780 s : * Ls : 12
Grid : Message : 31.548781 s : * ranks : 1
Grid : Message : 31.548782 s : * nodes : 1
Grid : Message : 31.548783 s : * ranks/node : 1
Grid : Message : 31.548784 s : * ranks geom : 1 1 1 1
Grid : Message : 31.548785 s : * Using 1 threads
Grid : Message : 31.548786 s : ===============================================================================
Grid : Message : 31.581443 s : Initialised RNGs
Grid : Message : 32.627696 s : ------------------------------------------
Grid : Message : 32.627712 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 32.627713 s : * Using sequential Comms/Compute
Grid : Message : 32.627714 s : * SINGLE precision
Grid : Message : 32.627715 s : ------------------------------------------
Grid : Message : 32.684713 s : Deo FlopsPerSite is 1344.0
Grid : Message : 32.684728 s : Deo Gflop/s = 1549.8 (0.6) 1479.8-1577.5
Grid : Message : 32.684731 s : Deo Gflop/s per rank 1549.8
Grid : Message : 32.684732 s : Deo Gflop/s per node 1549.8
Grid : Message : 32.684733 s : ------------------------------------------
Grid : Message : 32.684734 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 32.684735 s : * Using Overlapped Comms/Compute
Grid : Message : 32.684736 s : * SINGLE precision
Grid : Message : 32.684736 s : ------------------------------------------
Grid : Message : 32.741454 s : Deo FlopsPerSite is 1344.0
Grid : Message : 32.741459 s : Deo Gflop/s = 1504.6 (0.8) 1429.2-1534.1
Grid : Message : 32.741461 s : Deo Gflop/s per rank 1504.6
Grid : Message : 32.741462 s : Deo Gflop/s per node 1504.6
Grid : Message : 32.741463 s : ------------------------------------------
Grid : Message : 32.741464 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 32.741465 s : * Using sequential Comms/Compute
Grid : Message : 32.741466 s : * SINGLE precision
Grid : Message : 32.741467 s : ------------------------------------------
Grid : Message : 32.796496 s : Deo FlopsPerSite is 1344.0
Grid : Message : 32.796501 s : Deo Gflop/s = 1550.3 (0.6) 1466.8-1577.5
Grid : Message : 32.796503 s : Deo Gflop/s per rank 1550.3
Grid : Message : 32.796504 s : Deo Gflop/s per node 1550.3
Grid : Message : 32.796505 s : ------------------------------------------
Grid : Message : 32.796506 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 32.796507 s : * Using Overlapped Comms/Compute
Grid : Message : 32.796508 s : * SINGLE precision
Grid : Message : 32.796508 s : ------------------------------------------
Grid : Message : 32.853215 s : Deo FlopsPerSite is 1344.0
Grid : Message : 32.853220 s : Deo Gflop/s = 1504.4 (0.8) 1429.2-1548.3
Grid : Message : 32.853222 s : Deo Gflop/s per rank 1504.4
Grid : Message : 32.853223 s : Deo Gflop/s per node 1504.4
Grid : Message : 32.853224 s : ------------------------------------------
Grid : Message : 32.853225 s : 12^4 x 12 Deo Best Gflop/s = 1550.3 ; 1550.3 per node
Grid : Message : 32.853227 s : 12^4 x 12 Deo Worst Gflop/s = 1504.4 ; 1504.4 per node
Grid : Message : 32.853228 s : G/S/C ; G/O/C ; G/S/S ; G/O/S
Grid : Message : 32.853229 s : 1549.8 ; 1504.6 ; 1550.3 ; 1504.4 ;
Grid : Message : 32.864215 s : ===============================================================================
Grid : Message : 32.864221 s : Benchmark DWF on 16^4 local volume
Grid : Message : 32.864222 s : * Nc : 3
Grid : Message : 32.864223 s : * Global volume : 16 16 16 16
Grid : Message : 32.864230 s : * Ls : 12
Grid : Message : 32.864231 s : * ranks : 1
Grid : Message : 32.864232 s : * nodes : 1
Grid : Message : 32.864233 s : * ranks/node : 1
Grid : Message : 32.864234 s : * ranks geom : 1 1 1 1
Grid : Message : 32.864235 s : * Using 1 threads
Grid : Message : 32.864236 s : ===============================================================================
Grid : Message : 32.970228 s : Initialised RNGs
Grid : Message : 36.263248 s : ------------------------------------------
Grid : Message : 36.263263 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 36.263264 s : * Using sequential Comms/Compute
Grid : Message : 36.263265 s : * SINGLE precision
Grid : Message : 36.263266 s : ------------------------------------------
Grid : Message : 36.426972 s : Deo FlopsPerSite is 1344.0
Grid : Message : 36.426985 s : Deo Gflop/s = 1699.0 (0.5) 1661.9-1727.1
Grid : Message : 36.426988 s : Deo Gflop/s per rank 1699.0
Grid : Message : 36.426989 s : Deo Gflop/s per node 1699.0
Grid : Message : 36.426990 s : ------------------------------------------
Grid : Message : 36.426991 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 36.426992 s : * Using Overlapped Comms/Compute
Grid : Message : 36.426993 s : * SINGLE precision
Grid : Message : 36.426994 s : ------------------------------------------
Grid : Message : 36.609302 s : Deo FlopsPerSite is 1344.0
Grid : Message : 36.609306 s : Deo Gflop/s = 1478.6 (0.5) 1440.0-1514.3
Grid : Message : 36.609308 s : Deo Gflop/s per rank 1478.6
Grid : Message : 36.609309 s : Deo Gflop/s per node 1478.6
Grid : Message : 36.609310 s : ------------------------------------------
Grid : Message : 36.609311 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 36.609312 s : * Using sequential Comms/Compute
Grid : Message : 36.609313 s : * SINGLE precision
Grid : Message : 36.609314 s : ------------------------------------------
Grid : Message : 36.767966 s : Deo FlopsPerSite is 1344.0
Grid : Message : 36.767972 s : Deo Gflop/s = 1699.2 (0.5) 1656.7-1732.7
Grid : Message : 36.767974 s : Deo Gflop/s per rank 1699.2
Grid : Message : 36.767975 s : Deo Gflop/s per node 1699.2
Grid : Message : 36.767976 s : ------------------------------------------
Grid : Message : 36.767977 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 36.767978 s : * Using Overlapped Comms/Compute
Grid : Message : 36.767978 s : * SINGLE precision
Grid : Message : 36.767978 s : ------------------------------------------
Grid : Message : 36.950363 s : Deo FlopsPerSite is 1344.0
Grid : Message : 36.950367 s : Deo Gflop/s = 1477.9 (0.5) 1443.9-1509.9
Grid : Message : 36.950369 s : Deo Gflop/s per rank 1477.9
Grid : Message : 36.950370 s : Deo Gflop/s per node 1477.9
Grid : Message : 36.950371 s : ------------------------------------------
Grid : Message : 36.950372 s : 16^4 x 12 Deo Best Gflop/s = 1699.2 ; 1699.2 per node
Grid : Message : 36.950374 s : 16^4 x 12 Deo Worst Gflop/s = 1477.9 ; 1477.9 per node
Grid : Message : 36.950376 s : G/S/C ; G/O/C ; G/S/S ; G/O/S
Grid : Message : 36.950377 s : 1699.0 ; 1478.6 ; 1699.2 ; 1477.9 ;
Grid : Message : 36.988167 s : ===============================================================================
Grid : Message : 36.988172 s : Benchmark DWF on 24^4 local volume
Grid : Message : 36.988173 s : * Nc : 3
Grid : Message : 36.988174 s : * Global volume : 24 24 24 24
Grid : Message : 36.988182 s : * Ls : 12
Grid : Message : 36.988183 s : * ranks : 1
Grid : Message : 36.988184 s : * nodes : 1
Grid : Message : 36.988185 s : * ranks/node : 1
Grid : Message : 36.988188 s : * ranks geom : 1 1 1 1
Grid : Message : 36.988190 s : * Using 1 threads
Grid : Message : 36.988191 s : ===============================================================================
Grid : Message : 37.567321 s : Initialised RNGs
Grid : Message : 54.225331 s : ------------------------------------------
Grid : Message : 54.225352 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 54.225353 s : * Using sequential Comms/Compute
Grid : Message : 54.225354 s : * SINGLE precision
Grid : Message : 54.225355 s : ------------------------------------------
Grid : Message : 55.805700 s : Deo FlopsPerSite is 1344.0
Grid : Message : 55.807400 s : Deo Gflop/s = 1800.0 (0.2) 1788.4-1809.0
Grid : Message : 55.807700 s : Deo Gflop/s per rank 1800.0
Grid : Message : 55.807800 s : Deo Gflop/s per node 1800.0
Grid : Message : 55.807900 s : ------------------------------------------
Grid : Message : 55.808000 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 55.808100 s : * Using Overlapped Comms/Compute
Grid : Message : 55.808200 s : * SINGLE precision
Grid : Message : 55.808300 s : ------------------------------------------
Grid : Message : 55.989838 s : Deo FlopsPerSite is 1344.0
Grid : Message : 55.989846 s : Deo Gflop/s = 1389.9 (0.2) 1376.3-1403.0
Grid : Message : 55.989849 s : Deo Gflop/s per rank 1389.9
Grid : Message : 55.989850 s : Deo Gflop/s per node 1389.9
Grid : Message : 55.989851 s : ------------------------------------------
Grid : Message : 55.989852 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 55.989853 s : * Using sequential Comms/Compute
Grid : Message : 55.989854 s : * SINGLE precision
Grid : Message : 55.989854 s : ------------------------------------------
Grid : Message : 56.748218 s : Deo FlopsPerSite is 1344.0
Grid : Message : 56.748226 s : Deo Gflop/s = 1799.3 (0.2) 1786.0-1809.0
Grid : Message : 56.748228 s : Deo Gflop/s per rank 1799.3
Grid : Message : 56.748229 s : Deo Gflop/s per node 1799.3
Grid : Message : 56.748230 s : ------------------------------------------
Grid : Message : 56.748231 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 56.748232 s : * Using Overlapped Comms/Compute
Grid : Message : 56.748233 s : * SINGLE precision
Grid : Message : 56.748234 s : ------------------------------------------
Grid : Message : 57.729778 s : Deo FlopsPerSite is 1344.0
Grid : Message : 57.729790 s : Deo Gflop/s = 1390.2 (0.2) 1375.5-1403.7
Grid : Message : 57.729793 s : Deo Gflop/s per rank 1390.2
Grid : Message : 57.729794 s : Deo Gflop/s per node 1390.2
Grid : Message : 57.729795 s : ------------------------------------------
Grid : Message : 57.729796 s : 24^4 x 12 Deo Best Gflop/s = 1800.0 ; 1800.0 per node
Grid : Message : 57.729798 s : 24^4 x 12 Deo Worst Gflop/s = 1389.9 ; 1389.9 per node
Grid : Message : 57.729801 s : G/S/C ; G/O/C ; G/S/S ; G/O/S
Grid : Message : 57.729802 s : 1800.0 ; 1389.9 ; 1799.3 ; 1390.2 ;
Grid : Message : 57.919179 s : ===============================================================================
Grid : Message : 57.919195 s : Benchmark DWF on 32^4 local volume
Grid : Message : 57.919197 s : * Nc : 3
Grid : Message : 57.919198 s : * Global volume : 32 32 32 32
Grid : Message : 57.919207 s : * Ls : 12
Grid : Message : 57.919208 s : * ranks : 1
Grid : Message : 57.919209 s : * nodes : 1
Grid : Message : 57.919210 s : * ranks/node : 1
Grid : Message : 57.919211 s : * ranks geom : 1 1 1 1
Grid : Message : 57.919212 s : * Using 1 threads
Grid : Message : 57.919213 s : ===============================================================================
Grid : Message : 59.798510 s : Initialised RNGs
Grid : Message : 112.360179 s : ------------------------------------------
Grid : Message : 112.360198 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 112.360199 s : * Using sequential Comms/Compute
Grid : Message : 112.360200 s : * SINGLE precision
Grid : Message : 112.360201 s : ------------------------------------------
Grid : Message : 115.191800 s : Deo FlopsPerSite is 1344.0
Grid : Message : 115.192040 s : Deo Gflop/s = 1670.1 (0.3) 1650.5-1685.1
Grid : Message : 115.192080 s : Deo Gflop/s per rank 1670.1
Grid : Message : 115.192090 s : Deo Gflop/s per node 1670.1
Grid : Message : 115.192100 s : ------------------------------------------
Grid : Message : 115.192110 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 115.192120 s : * Using Overlapped Comms/Compute
Grid : Message : 115.192130 s : * SINGLE precision
Grid : Message : 115.192140 s : ------------------------------------------
Grid : Message : 117.996882 s : Deo FlopsPerSite is 1344.0
Grid : Message : 117.996897 s : Deo Gflop/s = 1448.3 (0.1) 1440.3-1455.6
Grid : Message : 117.996900 s : Deo Gflop/s per rank 1448.3
Grid : Message : 117.996901 s : Deo Gflop/s per node 1448.3
Grid : Message : 117.996902 s : ------------------------------------------
Grid : Message : 117.996903 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 117.996904 s : * Using sequential Comms/Compute
Grid : Message : 117.996905 s : * SINGLE precision
Grid : Message : 117.996906 s : ------------------------------------------
Grid : Message : 120.578643 s : Deo FlopsPerSite is 1344.0
Grid : Message : 120.578657 s : Deo Gflop/s = 1670.3 (0.3) 1635.5-1685.7
Grid : Message : 120.578660 s : Deo Gflop/s per rank 1670.3
Grid : Message : 120.578661 s : Deo Gflop/s per node 1670.3
Grid : Message : 120.578663 s : ------------------------------------------
Grid : Message : 120.578664 s : * Using GENERIC Nc WilsonKernels
Grid : Message : 120.578665 s : * Using Overlapped Comms/Compute
Grid : Message : 120.578666 s : * SINGLE precision
Grid : Message : 120.578667 s : ------------------------------------------
Grid : Message : 123.556314 s : Deo FlopsPerSite is 1344.0
Grid : Message : 123.556328 s : Deo Gflop/s = 1448.3 (0.1) 1440.7-1455.6
Grid : Message : 123.556331 s : Deo Gflop/s per rank 1448.3
Grid : Message : 123.556332 s : Deo Gflop/s per node 1448.3
Grid : Message : 123.556333 s : ------------------------------------------
Grid : Message : 123.556334 s : 32^4 x 12 Deo Best Gflop/s = 1670.3 ; 1670.3 per node
Grid : Message : 123.556336 s : 32^4 x 12 Deo Worst Gflop/s = 1448.3 ; 1448.3 per node
Grid : Message : 123.556338 s : G/S/C ; G/O/C ; G/S/S ; G/O/S
Grid : Message : 123.556339 s : 1670.1 ; 1448.3 ; 1670.3 ; 1448.3 ;
Grid : Message : 124.246882 s : ===============================================================================
Grid : Message : 124.246903 s : Improved Staggered dslash 4D vectorised
Grid : Message : 124.247016 s : ===============================================================================
Grid : Message : 124.247019 s : Benchmark ImprovedStaggered on 8^4 local volume
Grid : Message : 124.247020 s : * Global volume : 8 8 8 8
Grid : Message : 124.247033 s : * ranks : 1
Grid : Message : 124.247034 s : * nodes : 1
Grid : Message : 124.247035 s : * ranks/node : 1
Grid : Message : 124.247039 s : * ranks geom : 1 1 1 1
Grid : Message : 124.247043 s : * Using 1 threads
Grid : Message : 124.247044 s : ===============================================================================
Grid : Message : 124.247555 s : Initialised RNGs
Grid : Message : 124.319977 s : ------------------------------------------
Grid : Message : 124.319984 s : * Using GENERIC Nc StaggeredKernels
Grid : Message : 124.319985 s : * Using sequential Comms/Compute
Grid : Message : 124.319986 s : * SINGLE precision
Grid : Message : 124.319987 s : ------------------------------------------
Grid : Message : 124.344334 s : Deo Gflop/s = 67.3 (0.1) 51.0-71.1
Grid : Message : 124.344347 s : Deo Gflop/s per rank 67.3
Grid : Message : 124.344349 s : Deo Gflop/s per node 67.3
Grid : Message : 124.344350 s : ------------------------------------------
Grid : Message : 124.344351 s : * Using GENERIC Nc StaggeredKernels
Grid : Message : 124.344352 s : * Using Overlapped Comms/Compute
Grid : Message : 124.344353 s : * SINGLE precision
Grid : Message : 124.344354 s : ------------------------------------------
Grid : Message : 124.375542 s : Deo Gflop/s = 38.5 (0.0) 33.5-39.8
Grid : Message : 124.375547 s : Deo Gflop/s per rank 38.5
Grid : Message : 124.375548 s : Deo Gflop/s per node 38.5
Grid : Message : 124.375549 s : ------------------------------------------
Grid : Message : 124.375550 s : * Using GENERIC Nc StaggeredKernels
Grid : Message : 124.375551 s : * Using sequential Comms/Compute
Grid : Message : 124.375552 s : * SINGLE precision
Grid : Message : 124.375552 s : ------------------------------------------
Grid : Message : 124.393356 s : Deo Gflop/s = 67.4 (0.1) 63.4-71.1
Grid : Message : 124.393361 s : Deo Gflop/s per rank 67.4
Grid : Message : 124.393362 s : Deo Gflop/s per node 67.4
Grid : Message : 124.393363 s : ------------------------------------------
Grid : Message : 124.393364 s : * Using GENERIC Nc StaggeredKernels
Grid : Message : 124.393365 s : * Using Overlapped Comms/Compute
Grid : Message : 124.393366 s : * SINGLE precision
Grid : Message : 124.393366 s : ------------------------------------------
Grid : Message : 124.424488 s : Deo Gflop/s = 38.5 (0.0) 36.1-39.8
Grid : Message : 124.424493 s : Deo Gflop/s per rank 38.5
Grid : Message : 124.424494 s : Deo Gflop/s per node 38.5
Grid : Message : 124.424495 s : ------------------------------------------
Grid : Message : 124.424496 s : 8^4 Deo Best Gflop/s = 67.4 ; 67.4 per node
Grid : Message : 124.424498 s : 8^4 Deo Worst Gflop/s = 38.5 ; 38.5 per node
Grid : Message : 124.424500 s : G/S/C ; G/O/C ; G/S/S ; G/O/S
Grid : Message : 124.424501 s : 67.3 ; 38.5 ; 67.4 ; 38.5 ;
Grid : Message : 124.425032 s : ===============================================================================
Grid : Message : 124.425036 s : Benchmark ImprovedStaggered on 12^4 local volume
Grid : Message : 124.425037 s : * Global volume : 12 12 12 12
Grid : Message : 124.425040 s : * ranks : 1
Grid : Message : 124.425041 s : * nodes : 1
Grid : Message : 124.425042 s : * ranks/node : 1
Grid : Message : 124.425043 s : * ranks geom : 1 1 1 1
Grid : Message : 124.425044 s : * Using 1 threads
Grid : Message : 124.425045 s : ===============================================================================
Grid : Message : 124.427370 s : Initialised RNGs
Grid : Message : 124.662237 s : ------------------------------------------
Grid : Message : 124.662245 s : * Using GENERIC Nc StaggeredKernels
Grid : Message : 124.662246 s : * Using sequential Comms/Compute
Grid : Message : 124.662247 s : * SINGLE precision
Grid : Message : 124.662248 s : ------------------------------------------
Grid : Message : 124.682724 s : Deo Gflop/s = 315.4 (0.3) 289.8-321.1
Grid : Message : 124.682733 s : Deo Gflop/s per rank 315.4
Grid : Message : 124.682734 s : Deo Gflop/s per node 315.4
Grid : Message : 124.682735 s : ------------------------------------------
Grid : Message : 124.682736 s : * Using GENERIC Nc StaggeredKernels
Grid : Message : 124.682737 s : * Using Overlapped Comms/Compute
Grid : Message : 124.682738 s : * SINGLE precision
Grid : Message : 124.682738 s : ------------------------------------------
Grid : Message : 124.717283 s : Deo Gflop/s = 175.7 (0.1) 156.3-180.0
Grid : Message : 124.717288 s : Deo Gflop/s per rank 175.7
Grid : Message : 124.717289 s : Deo Gflop/s per node 175.7
Grid : Message : 124.717290 s : ------------------------------------------
Grid : Message : 124.717291 s : * Using GENERIC Nc StaggeredKernels
Grid : Message : 124.717292 s : * Using sequential Comms/Compute
Grid : Message : 124.717293 s : * SINGLE precision
Grid : Message : 124.717293 s : ------------------------------------------
Grid : Message : 124.736518 s : Deo Gflop/s = 315.7 (0.4) 289.8-330.0
Grid : Message : 124.736522 s : Deo Gflop/s per rank 315.7
Grid : Message : 124.736523 s : Deo Gflop/s per node 315.7
Grid : Message : 124.736524 s : ------------------------------------------
Grid : Message : 124.736525 s : * Using GENERIC Nc StaggeredKernels
Grid : Message : 124.736526 s : * Using Overlapped Comms/Compute
Grid : Message : 124.736527 s : * SINGLE precision
Grid : Message : 124.736527 s : ------------------------------------------
Grid : Message : 124.771049 s : Deo Gflop/s = 175.7 (0.1) 160.6-180.0
Grid : Message : 124.771055 s : Deo Gflop/s per rank 175.7
Grid : Message : 124.771056 s : Deo Gflop/s per node 175.7
Grid : Message : 124.771057 s : ------------------------------------------
Grid : Message : 124.771058 s : 12^4 Deo Best Gflop/s = 315.7 ; 315.7 per node
Grid : Message : 124.771060 s : 12^4 Deo Worst Gflop/s = 175.7 ; 175.7 per node
Grid : Message : 124.771061 s : G/S/C ; G/O/C ; G/S/S ; G/O/S
Grid : Message : 124.771062 s : 315.4 ; 175.7 ; 315.7 ; 175.7 ;
Grid : Message : 124.772087 s : ===============================================================================
Grid : Message : 124.772091 s : Benchmark ImprovedStaggered on 16^4 local volume
Grid : Message : 124.772092 s : * Global volume : 16 16 16 16
Grid : Message : 124.772097 s : * ranks : 1
Grid : Message : 124.772098 s : * nodes : 1
Grid : Message : 124.772099 s : * ranks/node : 1
Grid : Message : 124.772100 s : * ranks geom : 1 1 1 1
Grid : Message : 124.772101 s : * Using 1 threads
Grid : Message : 124.772102 s : ===============================================================================
Grid : Message : 124.779417 s : Initialised RNGs
Grid : Message : 125.477612 s : ------------------------------------------
Grid : Message : 125.477627 s : * Using GENERIC Nc StaggeredKernels
Grid : Message : 125.477628 s : * Using sequential Comms/Compute
Grid : Message : 125.477629 s : * SINGLE precision
Grid : Message : 125.477630 s : ------------------------------------------
Grid : Message : 125.519431 s : Deo Gflop/s = 498.8 (0.3) 469.4-507.5
Grid : Message : 125.519447 s : Deo Gflop/s per rank 498.8
Grid : Message : 125.519448 s : Deo Gflop/s per node 498.8
Grid : Message : 125.519449 s : ------------------------------------------
Grid : Message : 125.519450 s : * Using GENERIC Nc StaggeredKernels
Grid : Message : 125.519451 s : * Using Overlapped Comms/Compute
Grid : Message : 125.519452 s : * SINGLE precision
Grid : Message : 125.519453 s : ------------------------------------------
Grid : Message : 125.563771 s : Deo Gflop/s = 432.5 (0.4) 399.5-441.8
Grid : Message : 125.563776 s : Deo Gflop/s per rank 432.5
Grid : Message : 125.563777 s : Deo Gflop/s per node 432.5
Grid : Message : 125.563778 s : ------------------------------------------
Grid : Message : 125.563779 s : * Using GENERIC Nc StaggeredKernels
Grid : Message : 125.563780 s : * Using sequential Comms/Compute
Grid : Message : 125.563781 s : * SINGLE precision
Grid : Message : 125.563781 s : ------------------------------------------
Grid : Message : 125.602189 s : Deo Gflop/s = 499.0 (0.3) 475.3-507.5
Grid : Message : 125.602193 s : Deo Gflop/s per rank 499.0
Grid : Message : 125.602194 s : Deo Gflop/s per node 499.0
Grid : Message : 125.602195 s : ------------------------------------------
Grid : Message : 125.602196 s : * Using GENERIC Nc StaggeredKernels
Grid : Message : 125.602197 s : * Using Overlapped Comms/Compute
Grid : Message : 125.602198 s : * SINGLE precision
Grid : Message : 125.602198 s : ------------------------------------------
Grid : Message : 125.646629 s : Deo Gflop/s = 431.3 (0.3) 399.5-441.8
Grid : Message : 125.646634 s : Deo Gflop/s per rank 431.3
Grid : Message : 125.646635 s : Deo Gflop/s per node 431.3
Grid : Message : 125.646636 s : ------------------------------------------
Grid : Message : 125.646637 s : 16^4 Deo Best Gflop/s = 499.0 ; 499.0 per node
Grid : Message : 125.646639 s : 16^4 Deo Worst Gflop/s = 431.3 ; 431.3 per node
Grid : Message : 125.646640 s : G/S/C ; G/O/C ; G/S/S ; G/O/S
Grid : Message : 125.646641 s : 498.8 ; 432.5 ; 499.0 ; 431.3 ;
Grid : Message : 125.649458 s : ===============================================================================
Grid : Message : 125.649463 s : Benchmark ImprovedStaggered on 24^4 local volume
Grid : Message : 125.649464 s : * Global volume : 24 24 24 24
Grid : Message : 125.649471 s : * ranks : 1
Grid : Message : 125.649472 s : * nodes : 1
Grid : Message : 125.649473 s : * ranks/node : 1
Grid : Message : 125.649474 s : * ranks geom : 1 1 1 1
Grid : Message : 125.649475 s : * Using 1 threads
Grid : Message : 125.649478 s : ===============================================================================
Grid : Message : 125.686019 s : Initialised RNGs
Grid : Message : 129.152249 s : ------------------------------------------
Grid : Message : 129.152265 s : * Using GENERIC Nc StaggeredKernels
Grid : Message : 129.152266 s : * Using sequential Comms/Compute
Grid : Message : 129.152267 s : * SINGLE precision
Grid : Message : 129.152268 s : ------------------------------------------
Grid : Message : 129.300262 s : Deo Gflop/s = 747.3 (0.2) 731.2-763.5
Grid : Message : 129.300278 s : Deo Gflop/s per rank 747.3
Grid : Message : 129.300279 s : Deo Gflop/s per node 747.3
Grid : Message : 129.300280 s : ------------------------------------------
Grid : Message : 129.300281 s : * Using GENERIC Nc StaggeredKernels
Grid : Message : 129.300282 s : * Using Overlapped Comms/Compute
Grid : Message : 129.300283 s : * SINGLE precision
Grid : Message : 129.300284 s : ------------------------------------------
Grid : Message : 129.447275 s : Deo Gflop/s = 659.7 (0.2) 646.6-671.8
Grid : Message : 129.447281 s : Deo Gflop/s per rank 659.7
Grid : Message : 129.447282 s : Deo Gflop/s per node 659.7
Grid : Message : 129.447283 s : ------------------------------------------
Grid : Message : 129.447284 s : * Using GENERIC Nc StaggeredKernels
Grid : Message : 129.447285 s : * Using sequential Comms/Compute
Grid : Message : 129.447286 s : * SINGLE precision
Grid : Message : 129.447287 s : ------------------------------------------
Grid : Message : 129.577059 s : Deo Gflop/s = 747.3 (0.2) 731.2-763.5
Grid : Message : 129.577065 s : Deo Gflop/s per rank 747.3
Grid : Message : 129.577066 s : Deo Gflop/s per node 747.3
Grid : Message : 129.577067 s : ------------------------------------------
Grid : Message : 129.577068 s : * Using GENERIC Nc StaggeredKernels
Grid : Message : 129.577069 s : * Using Overlapped Comms/Compute
Grid : Message : 129.577070 s : * SINGLE precision
Grid : Message : 129.577070 s : ------------------------------------------
Grid : Message : 129.724027 s : Deo Gflop/s = 659.9 (0.2) 644.4-674.1
Grid : Message : 129.724032 s : Deo Gflop/s per rank 659.9
Grid : Message : 129.724033 s : Deo Gflop/s per node 659.9
Grid : Message : 129.724034 s : ------------------------------------------
Grid : Message : 129.724035 s : 24^4 Deo Best Gflop/s = 747.3 ; 747.3 per node
Grid : Message : 129.724037 s : 24^4 Deo Worst Gflop/s = 659.7 ; 659.7 per node
Grid : Message : 129.724038 s : G/S/C ; G/O/C ; G/S/S ; G/O/S
Grid : Message : 129.724039 s : 747.3 ; 659.7 ; 747.3 ; 659.9 ;
Grid : Message : 129.737401 s : ===============================================================================
Grid : Message : 129.737409 s : Benchmark ImprovedStaggered on 32^4 local volume
Grid : Message : 129.737410 s : * Global volume : 32 32 32 32
Grid : Message : 129.737418 s : * ranks : 1
Grid : Message : 129.737419 s : * nodes : 1
Grid : Message : 129.737420 s : * ranks/node : 1
Grid : Message : 129.737421 s : * ranks geom : 1 1 1 1
Grid : Message : 129.737422 s : * Using 1 threads
Grid : Message : 129.737423 s : ===============================================================================
Grid : Message : 129.853540 s : Initialised RNGs
Grid : Message : 140.878355 s : ------------------------------------------
Grid : Message : 140.878368 s : * Using GENERIC Nc StaggeredKernels
Grid : Message : 140.878369 s : * Using sequential Comms/Compute
Grid : Message : 140.878370 s : * SINGLE precision
Grid : Message : 140.878371 s : ------------------------------------------
Grid : Message : 141.304260 s : Deo Gflop/s = 809.5 (0.2) 797.9-823.1
Grid : Message : 141.304277 s : Deo Gflop/s per rank 809.5
Grid : Message : 141.304278 s : Deo Gflop/s per node 809.5
Grid : Message : 141.304279 s : ------------------------------------------
Grid : Message : 141.304280 s : * Using GENERIC Nc StaggeredKernels
Grid : Message : 141.304281 s : * Using Overlapped Comms/Compute
Grid : Message : 141.304282 s : * SINGLE precision
Grid : Message : 141.304283 s : ------------------------------------------
Grid : Message : 141.724304 s : Deo Gflop/s = 729.6 (0.1) 721.3-733.6
Grid : Message : 141.724313 s : Deo Gflop/s per rank 729.6
Grid : Message : 141.724314 s : Deo Gflop/s per node 729.6
Grid : Message : 141.724315 s : ------------------------------------------
Grid : Message : 141.724316 s : * Using GENERIC Nc StaggeredKernels
Grid : Message : 141.724317 s : * Using sequential Comms/Compute
Grid : Message : 141.724318 s : * SINGLE precision
Grid : Message : 141.724319 s : ------------------------------------------
Grid : Message : 142.103287 s : Deo Gflop/s = 808.6 (0.2) 796.9-819.7
Grid : Message : 142.103294 s : Deo Gflop/s per rank 808.6
Grid : Message : 142.103295 s : Deo Gflop/s per node 808.6
Grid : Message : 142.103296 s : ------------------------------------------
Grid : Message : 142.103297 s : * Using GENERIC Nc StaggeredKernels
Grid : Message : 142.103298 s : * Using Overlapped Comms/Compute
Grid : Message : 142.103299 s : * SINGLE precision
Grid : Message : 142.103300 s : ------------------------------------------
Grid : Message : 142.523689 s : Deo Gflop/s = 729.0 (0.1) 721.3-733.6
Grid : Message : 142.523695 s : Deo Gflop/s per rank 729.0
Grid : Message : 142.523696 s : Deo Gflop/s per node 729.0
Grid : Message : 142.523697 s : ------------------------------------------
Grid : Message : 142.523698 s : 32^4 Deo Best Gflop/s = 809.5 ; 809.5 per node
Grid : Message : 142.523700 s : 32^4 Deo Worst Gflop/s = 729.0 ; 729.0 per node
Grid : Message : 142.523702 s : G/S/C ; G/O/C ; G/S/S ; G/O/S
Grid : Message : 142.523703 s : 809.5 ; 729.6 ; 808.6 ; 729.0 ;
Grid : Message : 142.574389 s : ===============================================================================
Grid : Message : 142.574401 s : Gflop/s/node Summary table Ls=12
Grid : Message : 142.574402 s : ===============================================================================
Grid : Message : 142.574406 s : L Wilson DWF Staggered
Grid : Message : 142.574411 s : 8 90.09 900.49 67.41
Grid : Message : 142.574422 s : 12 409.48 1550.33 315.72
Grid : Message : 142.574425 s : 16 727.26 1699.19 499.04
Grid : Message : 142.574434 s : 24 1205.32 1799.95 747.35
Grid : Message : 142.574438 s : 32 1172.60 1670.31 809.49
Grid : Message : 142.574440 s : ===============================================================================
Grid : Message : 142.574442 s : Comparison point result: 1735.1 Gflop/s per node
Grid : Message : 142.574448 s : Comparison point is 0.5*(1670.3+1800.0)
Grid : Message : 142.574450 s : ===============================================================================
Grid : Message : 142.574458 s : writing benchmark results to 1GPU_1_1_1_1_test_05_04_23.json
Reference in New Issue View Git Blame Copy Permalink