Commit | Line | Data |
---|---|---|
b2441318 | 1 | /* SPDX-License-Identifier: GPL-2.0 */ |
6c70b6fc DM |
2 | /* GENmemcpy.S: Generic sparc64 memcpy. |
3 | * | |
4 | * Copyright (C) 2007 David S. Miller (davem@davemloft.net) | |
5 | */ | |
6 | ||
7 | #ifdef __KERNEL__ | |
d0796b55 | 8 | #include <linux/linkage.h> |
6c70b6fc DM |
9 | #define GLOBAL_SPARE %g7 |
10 | #else | |
11 | #define GLOBAL_SPARE %g5 | |
12 | #endif | |
13 | ||
14 | #ifndef EX_LD | |
d0796b55 | 15 | #define EX_LD(x,y) x |
6c70b6fc DM |
16 | #endif |
17 | ||
18 | #ifndef EX_ST | |
d0796b55 | 19 | #define EX_ST(x,y) x |
6c70b6fc DM |
20 | #endif |
21 | ||
22 | #ifndef LOAD | |
23 | #define LOAD(type,addr,dest) type [addr], dest | |
24 | #endif | |
25 | ||
26 | #ifndef STORE | |
27 | #define STORE(type,src,addr) type src, [addr] | |
28 | #endif | |
29 | ||
30 | #ifndef FUNC_NAME | |
31 | #define FUNC_NAME GENmemcpy | |
32 | #endif | |
33 | ||
34 | #ifndef PREAMBLE | |
35 | #define PREAMBLE | |
36 | #endif | |
37 | ||
38 | #ifndef XCC | |
39 | #define XCC xcc | |
40 | #endif | |
41 | ||
42 | .register %g2,#scratch | |
43 | .register %g3,#scratch | |
44 | ||
45 | .text | |
d0796b55 DM |
46 | |
47 | #ifndef EX_RETVAL | |
48 | #define EX_RETVAL(x) x | |
49 | ENTRY(GEN_retl_o4_1) | |
50 | add %o4, %o2, %o4 | |
51 | retl | |
52 | add %o4, 1, %o0 | |
53 | ENDPROC(GEN_retl_o4_1) | |
54 | ENTRY(GEN_retl_g1_8) | |
55 | add %g1, %o2, %g1 | |
56 | retl | |
57 | add %g1, 8, %o0 | |
58 | ENDPROC(GEN_retl_g1_8) | |
59 | ENTRY(GEN_retl_o2_4) | |
60 | retl | |
61 | add %o2, 4, %o0 | |
62 | ENDPROC(GEN_retl_o2_4) | |
63 | ENTRY(GEN_retl_o2_1) | |
64 | retl | |
65 | add %o2, 1, %o0 | |
66 | ENDPROC(GEN_retl_o2_1) | |
67 | #endif | |
68 | ||
6c70b6fc DM |
69 | .align 64 |
70 | ||
71 | .globl FUNC_NAME | |
72 | .type FUNC_NAME,#function | |
73 | FUNC_NAME: /* %o0=dst, %o1=src, %o2=len */ | |
74 | srlx %o2, 31, %g2 | |
75 | cmp %g2, 0 | |
76 | tne %XCC, 5 | |
77 | PREAMBLE | |
78 | mov %o0, GLOBAL_SPARE | |
79 | ||
80 | cmp %o2, 0 | |
81 | be,pn %XCC, 85f | |
82 | or %o0, %o1, %o3 | |
83 | cmp %o2, 16 | |
84 | blu,a,pn %XCC, 80f | |
85 | or %o3, %o2, %o3 | |
86 | ||
87 | xor %o0, %o1, %o4 | |
88 | andcc %o4, 0x7, %g0 | |
89 | bne,a,pn %XCC, 90f | |
90 | sub %o0, %o1, %o3 | |
91 | ||
92 | and %o0, 0x7, %o4 | |
93 | sub %o4, 0x8, %o4 | |
94 | sub %g0, %o4, %o4 | |
95 | sub %o2, %o4, %o2 | |
96 | 1: subcc %o4, 1, %o4 | |
d0796b55 DM |
97 | EX_LD(LOAD(ldub, %o1, %g1),GEN_retl_o4_1) |
98 | EX_ST(STORE(stb, %g1, %o0),GEN_retl_o4_1) | |
6c70b6fc DM |
99 | add %o1, 1, %o1 |
100 | bne,pt %XCC, 1b | |
101 | add %o0, 1, %o0 | |
102 | ||
103 | andn %o2, 0x7, %g1 | |
104 | sub %o2, %g1, %o2 | |
105 | 1: subcc %g1, 0x8, %g1 | |
d0796b55 DM |
106 | EX_LD(LOAD(ldx, %o1, %g2),GEN_retl_g1_8) |
107 | EX_ST(STORE(stx, %g2, %o0),GEN_retl_g1_8) | |
6c70b6fc DM |
108 | add %o1, 0x8, %o1 |
109 | bne,pt %XCC, 1b | |
110 | add %o0, 0x8, %o0 | |
111 | ||
112 | brz,pt %o2, 85f | |
113 | sub %o0, %o1, %o3 | |
114 | ba,a,pt %XCC, 90f | |
115 | ||
116 | .align 64 | |
117 | 80: /* 0 < len <= 16 */ | |
118 | andcc %o3, 0x3, %g0 | |
119 | bne,pn %XCC, 90f | |
120 | sub %o0, %o1, %o3 | |
121 | ||
122 | 1: | |
123 | subcc %o2, 4, %o2 | |
d0796b55 DM |
124 | EX_LD(LOAD(lduw, %o1, %g1),GEN_retl_o2_4) |
125 | EX_ST(STORE(stw, %g1, %o1 + %o3),GEN_retl_o2_4) | |
6c70b6fc DM |
126 | bgu,pt %XCC, 1b |
127 | add %o1, 4, %o1 | |
128 | ||
129 | 85: retl | |
130 | mov EX_RETVAL(GLOBAL_SPARE), %o0 | |
131 | ||
132 | .align 32 | |
133 | 90: | |
134 | subcc %o2, 1, %o2 | |
d0796b55 DM |
135 | EX_LD(LOAD(ldub, %o1, %g1),GEN_retl_o2_1) |
136 | EX_ST(STORE(stb, %g1, %o1 + %o3),GEN_retl_o2_1) | |
6c70b6fc DM |
137 | bgu,pt %XCC, 90b |
138 | add %o1, 1, %o1 | |
139 | retl | |
140 | mov EX_RETVAL(GLOBAL_SPARE), %o0 | |
141 | ||
142 | .size FUNC_NAME, .-FUNC_NAME |