| /* SPDX-License-Identifier: GPL-2.0 */ |
| /* GENmemcpy.S: Generic sparc64 memcpy. |
| * |
| * Copyright (C) 2007 David S. Miller (davem@davemloft.net) |
| */ |
| |
| #ifdef __KERNEL__ |
| #include <linux/linkage.h> |
| #define GLOBAL_SPARE %g7 |
| #else |
| #define GLOBAL_SPARE %g5 |
| #endif |
| |
| #ifndef EX_LD |
| #define EX_LD(x,y) x |
| #endif |
| |
| #ifndef EX_ST |
| #define EX_ST(x,y) x |
| #endif |
| |
| #ifndef LOAD |
| #define LOAD(type,addr,dest) type [addr], dest |
| #endif |
| |
| #ifndef STORE |
| #define STORE(type,src,addr) type src, [addr] |
| #endif |
| |
| #ifndef FUNC_NAME |
| #define FUNC_NAME GENmemcpy |
| #endif |
| |
| #ifndef PREAMBLE |
| #define PREAMBLE |
| #endif |
| |
| #ifndef XCC |
| #define XCC xcc |
| #endif |
| |
| .register %g2,#scratch |
| .register %g3,#scratch |
| |
| .text |
| |
| #ifndef EX_RETVAL |
| #define EX_RETVAL(x) x |
| ENTRY(GEN_retl_o4_1) |
| add %o4, %o2, %o4 |
| retl |
| add %o4, 1, %o0 |
| ENDPROC(GEN_retl_o4_1) |
| ENTRY(GEN_retl_g1_8) |
| add %g1, %o2, %g1 |
| retl |
| add %g1, 8, %o0 |
| ENDPROC(GEN_retl_g1_8) |
| ENTRY(GEN_retl_o2_4) |
| retl |
| add %o2, 4, %o0 |
| ENDPROC(GEN_retl_o2_4) |
| ENTRY(GEN_retl_o2_1) |
| retl |
| add %o2, 1, %o0 |
| ENDPROC(GEN_retl_o2_1) |
| #endif |
| |
| .align 64 |
| |
| .globl FUNC_NAME |
| .type FUNC_NAME,#function |
| FUNC_NAME: /* %o0=dst, %o1=src, %o2=len */ |
| srlx %o2, 31, %g2 |
| cmp %g2, 0 |
| tne %XCC, 5 |
| PREAMBLE |
| mov %o0, GLOBAL_SPARE |
| |
| cmp %o2, 0 |
| be,pn %XCC, 85f |
| or %o0, %o1, %o3 |
| cmp %o2, 16 |
| blu,a,pn %XCC, 80f |
| or %o3, %o2, %o3 |
| |
| xor %o0, %o1, %o4 |
| andcc %o4, 0x7, %g0 |
| bne,a,pn %XCC, 90f |
| sub %o0, %o1, %o3 |
| |
| and %o0, 0x7, %o4 |
| sub %o4, 0x8, %o4 |
| sub %g0, %o4, %o4 |
| sub %o2, %o4, %o2 |
| 1: subcc %o4, 1, %o4 |
| EX_LD(LOAD(ldub, %o1, %g1),GEN_retl_o4_1) |
| EX_ST(STORE(stb, %g1, %o0),GEN_retl_o4_1) |
| add %o1, 1, %o1 |
| bne,pt %XCC, 1b |
| add %o0, 1, %o0 |
| |
| andn %o2, 0x7, %g1 |
| sub %o2, %g1, %o2 |
| 1: subcc %g1, 0x8, %g1 |
| EX_LD(LOAD(ldx, %o1, %g2),GEN_retl_g1_8) |
| EX_ST(STORE(stx, %g2, %o0),GEN_retl_g1_8) |
| add %o1, 0x8, %o1 |
| bne,pt %XCC, 1b |
| add %o0, 0x8, %o0 |
| |
| brz,pt %o2, 85f |
| sub %o0, %o1, %o3 |
| ba,a,pt %XCC, 90f |
| |
| .align 64 |
| 80: /* 0 < len <= 16 */ |
| andcc %o3, 0x3, %g0 |
| bne,pn %XCC, 90f |
| sub %o0, %o1, %o3 |
| |
| 1: |
| subcc %o2, 4, %o2 |
| EX_LD(LOAD(lduw, %o1, %g1),GEN_retl_o2_4) |
| EX_ST(STORE(stw, %g1, %o1 + %o3),GEN_retl_o2_4) |
| bgu,pt %XCC, 1b |
| add %o1, 4, %o1 |
| |
| 85: retl |
| mov EX_RETVAL(GLOBAL_SPARE), %o0 |
| |
| .align 32 |
| 90: |
| subcc %o2, 1, %o2 |
| EX_LD(LOAD(ldub, %o1, %g1),GEN_retl_o2_1) |
| EX_ST(STORE(stb, %g1, %o1 + %o3),GEN_retl_o2_1) |
| bgu,pt %XCC, 90b |
| add %o1, 1, %o1 |
| retl |
| mov EX_RETVAL(GLOBAL_SPARE), %o0 |
| |
| .size FUNC_NAME, .-FUNC_NAME |
