filelock: move file locking definitions to separate header file
[linux-block.git] / fs / cifs / cifsglob.h
1 /* SPDX-License-Identifier: LGPL-2.1 */
2 /*
3  *
4  *   Copyright (C) International Business Machines  Corp., 2002,2008
5  *   Author(s): Steve French (sfrench@us.ibm.com)
6  *              Jeremy Allison (jra@samba.org)
7  *
8  */
9 #ifndef _CIFS_GLOB_H
10 #define _CIFS_GLOB_H
11
12 #include <linux/in.h>
13 #include <linux/in6.h>
14 #include <linux/inet.h>
15 #include <linux/slab.h>
16 #include <linux/scatterlist.h>
17 #include <linux/mm.h>
18 #include <linux/mempool.h>
19 #include <linux/workqueue.h>
20 #include <linux/utsname.h>
21 #include <linux/sched/mm.h>
22 #include <linux/netfs.h>
23 #include "cifs_fs_sb.h"
24 #include "cifsacl.h"
25 #include <crypto/internal/hash.h>
26 #include <uapi/linux/cifs/cifs_mount.h>
27 #include "../smbfs_common/smb2pdu.h"
28 #include "smb2pdu.h"
29 #include <linux/filelock.h>
30
31 #define SMB_PATH_MAX 260
32 #define CIFS_PORT 445
33 #define RFC1001_PORT 139
34
35 /*
36  * The sizes of various internal tables and strings
37  */
38 #define MAX_UID_INFO 16
39 #define MAX_SES_INFO 2
40 #define MAX_TCON_INFO 4
41
42 #define MAX_TREE_SIZE (2 + CIFS_NI_MAXHOST + 1 + CIFS_MAX_SHARE_LEN + 1)
43
44 #define CIFS_MIN_RCV_POOL 4
45
46 #define MAX_REOPEN_ATT  5 /* these many maximum attempts to reopen a file */
47 /*
48  * default attribute cache timeout (jiffies)
49  */
50 #define CIFS_DEF_ACTIMEO (1 * HZ)
51
52 /*
53  * max attribute cache timeout (jiffies) - 2^30
54  */
55 #define CIFS_MAX_ACTIMEO (1 << 30)
56
57 /*
58  * Max persistent and resilient handle timeout (milliseconds).
59  * Windows durable max was 960000 (16 minutes)
60  */
61 #define SMB3_MAX_HANDLE_TIMEOUT 960000
62
63 /*
64  * MAX_REQ is the maximum number of requests that WE will send
65  * on one socket concurrently.
66  */
67 #define CIFS_MAX_REQ 32767
68
69 #define RFC1001_NAME_LEN 15
70 #define RFC1001_NAME_LEN_WITH_NULL (RFC1001_NAME_LEN + 1)
71
72 /* maximum length of ip addr as a string (including ipv6 and sctp) */
73 #define SERVER_NAME_LENGTH 80
74 #define SERVER_NAME_LEN_WITH_NULL     (SERVER_NAME_LENGTH + 1)
75
76 /* echo interval in seconds */
77 #define SMB_ECHO_INTERVAL_MIN 1
78 #define SMB_ECHO_INTERVAL_MAX 600
79 #define SMB_ECHO_INTERVAL_DEFAULT 60
80
81 /* dns resolution intervals in seconds */
82 #define SMB_DNS_RESOLVE_INTERVAL_MIN     120
83 #define SMB_DNS_RESOLVE_INTERVAL_DEFAULT 600
84
85 /* smb multichannel query server interfaces interval in seconds */
86 #define SMB_INTERFACE_POLL_INTERVAL     600
87
88 /* maximum number of PDUs in one compound */
89 #define MAX_COMPOUND 5
90
91 /*
92  * Default number of credits to keep available for SMB3.
93  * This value is chosen somewhat arbitrarily. The Windows client
94  * defaults to 128 credits, the Windows server allows clients up to
95  * 512 credits (or 8K for later versions), and the NetApp server
96  * does not limit clients at all.  Choose a high enough default value
97  * such that the client shouldn't limit performance, but allow mount
98  * to override (until you approach 64K, where we limit credits to 65000
99  * to reduce possibility of seeing more server credit overflow bugs.
100  */
101 #define SMB2_MAX_CREDITS_AVAILABLE 32000
102
103 #include "cifspdu.h"
104
105 #ifndef XATTR_DOS_ATTRIB
106 #define XATTR_DOS_ATTRIB "user.DOSATTRIB"
107 #endif
108
109 #define CIFS_MAX_WORKSTATION_LEN  (__NEW_UTS_LEN + 1)  /* reasonable max for client */
110
111 #define CIFS_DFS_ROOT_SES(ses) ((ses)->dfs_root_ses ?: (ses))
112
113 /*
114  * CIFS vfs client Status information (based on what we know.)
115  */
116
117 /* associated with each connection */
118 enum statusEnum {
119         CifsNew = 0,
120         CifsGood,
121         CifsExiting,
122         CifsNeedReconnect,
123         CifsNeedNegotiate,
124         CifsInNegotiate,
125 };
126
127 /* associated with each smb session */
128 enum ses_status_enum {
129         SES_NEW = 0,
130         SES_GOOD,
131         SES_EXITING,
132         SES_NEED_RECON,
133         SES_IN_SETUP
134 };
135
136 /* associated with each tree connection to the server */
137 enum tid_status_enum {
138         TID_NEW = 0,
139         TID_GOOD,
140         TID_EXITING,
141         TID_NEED_RECON,
142         TID_NEED_TCON,
143         TID_IN_TCON,
144         TID_NEED_FILES_INVALIDATE, /* currently unused */
145         TID_IN_FILES_INVALIDATE
146 };
147
148 enum securityEnum {
149         Unspecified = 0,        /* not specified */
150         NTLMv2,                 /* Legacy NTLM auth with NTLMv2 hash */
151         RawNTLMSSP,             /* NTLMSSP without SPNEGO, NTLMv2 hash */
152         Kerberos,               /* Kerberos via SPNEGO */
153 };
154
155 struct session_key {
156         unsigned int len;
157         char *response;
158 };
159
160 /* crypto hashing related structure/fields, not specific to a sec mech */
161 struct cifs_secmech {
162         struct shash_desc *hmacmd5; /* hmacmd5 hash function, for NTLMv2/CR1 hashes */
163         struct shash_desc *md5; /* md5 hash function, for CIFS/SMB1 signatures */
164         struct shash_desc *hmacsha256; /* hmac-sha256 hash function, for SMB2 signatures */
165         struct shash_desc *sha512; /* sha512 hash function, for SMB3.1.1 preauth hash */
166         struct shash_desc *aes_cmac; /* block-cipher based MAC function, for SMB3 signatures */
167
168         struct crypto_aead *enc; /* smb3 encryption AEAD TFM (AES-CCM and AES-GCM) */
169         struct crypto_aead *dec; /* smb3 decryption AEAD TFM (AES-CCM and AES-GCM) */
170 };
171
172 /* per smb session structure/fields */
173 struct ntlmssp_auth {
174         bool sesskey_per_smbsess; /* whether session key is per smb session */
175         __u32 client_flags; /* sent by client in type 1 ntlmsssp exchange */
176         __u32 server_flags; /* sent by server in type 2 ntlmssp exchange */
177         unsigned char ciphertext[CIFS_CPHTXT_SIZE]; /* sent to server */
178         char cryptkey[CIFS_CRYPTO_KEY_SIZE]; /* used by ntlmssp */
179 };
180
181 struct cifs_cred {
182         int uid;
183         int gid;
184         int mode;
185         int cecount;
186         struct cifs_sid osid;
187         struct cifs_sid gsid;
188         struct cifs_ntace *ntaces;
189         struct cifs_ace *aces;
190 };
191
192 struct cifs_open_info_data {
193         char *symlink_target;
194         union {
195                 struct smb2_file_all_info fi;
196                 struct smb311_posix_qinfo posix_fi;
197         };
198 };
199
200 static inline void cifs_free_open_info(struct cifs_open_info_data *data)
201 {
202         kfree(data->symlink_target);
203 }
204
205 /*
206  *****************************************************************
207  * Except the CIFS PDUs themselves all the
208  * globally interesting structs should go here
209  *****************************************************************
210  */
211
212 /*
213  * A smb_rqst represents a complete request to be issued to a server. It's
214  * formed by a kvec array, followed by an array of pages. Page data is assumed
215  * to start at the beginning of the first page.
216  */
217 struct smb_rqst {
218         struct kvec     *rq_iov;        /* array of kvecs */
219         unsigned int    rq_nvec;        /* number of kvecs in array */
220         struct page     **rq_pages;     /* pointer to array of page ptrs */
221         unsigned int    rq_offset;      /* the offset to the 1st page */
222         unsigned int    rq_npages;      /* number pages in array */
223         unsigned int    rq_pagesz;      /* page size to use */
224         unsigned int    rq_tailsz;      /* length of last page */
225 };
226
227 struct mid_q_entry;
228 struct TCP_Server_Info;
229 struct cifsFileInfo;
230 struct cifs_ses;
231 struct cifs_tcon;
232 struct dfs_info3_param;
233 struct cifs_fattr;
234 struct smb3_fs_context;
235 struct cifs_fid;
236 struct cifs_readdata;
237 struct cifs_writedata;
238 struct cifs_io_parms;
239 struct cifs_search_info;
240 struct cifsInodeInfo;
241 struct cifs_open_parms;
242 struct cifs_credits;
243
244 struct smb_version_operations {
245         int (*send_cancel)(struct TCP_Server_Info *, struct smb_rqst *,
246                            struct mid_q_entry *);
247         bool (*compare_fids)(struct cifsFileInfo *, struct cifsFileInfo *);
248         /* setup request: allocate mid, sign message */
249         struct mid_q_entry *(*setup_request)(struct cifs_ses *,
250                                              struct TCP_Server_Info *,
251                                              struct smb_rqst *);
252         /* setup async request: allocate mid, sign message */
253         struct mid_q_entry *(*setup_async_request)(struct TCP_Server_Info *,
254                                                 struct smb_rqst *);
255         /* check response: verify signature, map error */
256         int (*check_receive)(struct mid_q_entry *, struct TCP_Server_Info *,
257                              bool);
258         void (*add_credits)(struct TCP_Server_Info *server,
259                             const struct cifs_credits *credits,
260                             const int optype);
261         void (*set_credits)(struct TCP_Server_Info *, const int);
262         int * (*get_credits_field)(struct TCP_Server_Info *, const int);
263         unsigned int (*get_credits)(struct mid_q_entry *);
264         __u64 (*get_next_mid)(struct TCP_Server_Info *);
265         void (*revert_current_mid)(struct TCP_Server_Info *server,
266                                    const unsigned int val);
267         /* data offset from read response message */
268         unsigned int (*read_data_offset)(char *);
269         /*
270          * Data length from read response message
271          * When in_remaining is true, the returned data length is in
272          * message field DataRemaining for out-of-band data read (e.g through
273          * Memory Registration RDMA write in SMBD).
274          * Otherwise, the returned data length is in message field DataLength.
275          */
276         unsigned int (*read_data_length)(char *, bool in_remaining);
277         /* map smb to linux error */
278         int (*map_error)(char *, bool);
279         /* find mid corresponding to the response message */
280         struct mid_q_entry * (*find_mid)(struct TCP_Server_Info *, char *);
281         void (*dump_detail)(void *buf, struct TCP_Server_Info *ptcp_info);
282         void (*clear_stats)(struct cifs_tcon *);
283         void (*print_stats)(struct seq_file *m, struct cifs_tcon *);
284         void (*dump_share_caps)(struct seq_file *, struct cifs_tcon *);
285         /* verify the message */
286         int (*check_message)(char *, unsigned int, struct TCP_Server_Info *);
287         bool (*is_oplock_break)(char *, struct TCP_Server_Info *);
288         int (*handle_cancelled_mid)(struct mid_q_entry *, struct TCP_Server_Info *);
289         void (*downgrade_oplock)(struct TCP_Server_Info *server,
290                                  struct cifsInodeInfo *cinode, __u32 oplock,
291                                  unsigned int epoch, bool *purge_cache);
292         /* process transaction2 response */
293         bool (*check_trans2)(struct mid_q_entry *, struct TCP_Server_Info *,
294                              char *, int);
295         /* check if we need to negotiate */
296         bool (*need_neg)(struct TCP_Server_Info *);
297         /* negotiate to the server */
298         int (*negotiate)(const unsigned int xid,
299                          struct cifs_ses *ses,
300                          struct TCP_Server_Info *server);
301         /* set negotiated write size */
302         unsigned int (*negotiate_wsize)(struct cifs_tcon *tcon, struct smb3_fs_context *ctx);
303         /* set negotiated read size */
304         unsigned int (*negotiate_rsize)(struct cifs_tcon *tcon, struct smb3_fs_context *ctx);
305         /* setup smb sessionn */
306         int (*sess_setup)(const unsigned int, struct cifs_ses *,
307                           struct TCP_Server_Info *server,
308                           const struct nls_table *);
309         /* close smb session */
310         int (*logoff)(const unsigned int, struct cifs_ses *);
311         /* connect to a server share */
312         int (*tree_connect)(const unsigned int, struct cifs_ses *, const char *,
313                             struct cifs_tcon *, const struct nls_table *);
314         /* close tree connecion */
315         int (*tree_disconnect)(const unsigned int, struct cifs_tcon *);
316         /* get DFS referrals */
317         int (*get_dfs_refer)(const unsigned int, struct cifs_ses *,
318                              const char *, struct dfs_info3_param **,
319                              unsigned int *, const struct nls_table *, int);
320         /* informational QFS call */
321         void (*qfs_tcon)(const unsigned int, struct cifs_tcon *,
322                          struct cifs_sb_info *);
323         /* check if a path is accessible or not */
324         int (*is_path_accessible)(const unsigned int, struct cifs_tcon *,
325                                   struct cifs_sb_info *, const char *);
326         /* query path data from the server */
327         int (*query_path_info)(const unsigned int xid, struct cifs_tcon *tcon,
328                                struct cifs_sb_info *cifs_sb, const char *full_path,
329                                struct cifs_open_info_data *data, bool *adjust_tz, bool *reparse);
330         /* query file data from the server */
331         int (*query_file_info)(const unsigned int xid, struct cifs_tcon *tcon,
332                                struct cifsFileInfo *cfile, struct cifs_open_info_data *data);
333         /* query reparse tag from srv to determine which type of special file */
334         int (*query_reparse_tag)(const unsigned int xid, struct cifs_tcon *tcon,
335                                 struct cifs_sb_info *cifs_sb, const char *path,
336                                 __u32 *reparse_tag);
337         /* get server index number */
338         int (*get_srv_inum)(const unsigned int xid, struct cifs_tcon *tcon,
339                             struct cifs_sb_info *cifs_sb, const char *full_path, u64 *uniqueid,
340                             struct cifs_open_info_data *data);
341         /* set size by path */
342         int (*set_path_size)(const unsigned int, struct cifs_tcon *,
343                              const char *, __u64, struct cifs_sb_info *, bool);
344         /* set size by file handle */
345         int (*set_file_size)(const unsigned int, struct cifs_tcon *,
346                              struct cifsFileInfo *, __u64, bool);
347         /* set attributes */
348         int (*set_file_info)(struct inode *, const char *, FILE_BASIC_INFO *,
349                              const unsigned int);
350         int (*set_compression)(const unsigned int, struct cifs_tcon *,
351                                struct cifsFileInfo *);
352         /* check if we can send an echo or nor */
353         bool (*can_echo)(struct TCP_Server_Info *);
354         /* send echo request */
355         int (*echo)(struct TCP_Server_Info *);
356         /* create directory */
357         int (*posix_mkdir)(const unsigned int xid, struct inode *inode,
358                         umode_t mode, struct cifs_tcon *tcon,
359                         const char *full_path,
360                         struct cifs_sb_info *cifs_sb);
361         int (*mkdir)(const unsigned int xid, struct inode *inode, umode_t mode,
362                      struct cifs_tcon *tcon, const char *name,
363                      struct cifs_sb_info *sb);
364         /* set info on created directory */
365         void (*mkdir_setinfo)(struct inode *, const char *,
366                               struct cifs_sb_info *, struct cifs_tcon *,
367                               const unsigned int);
368         /* remove directory */
369         int (*rmdir)(const unsigned int, struct cifs_tcon *, const char *,
370                      struct cifs_sb_info *);
371         /* unlink file */
372         int (*unlink)(const unsigned int, struct cifs_tcon *, const char *,
373                       struct cifs_sb_info *);
374         /* open, rename and delete file */
375         int (*rename_pending_delete)(const char *, struct dentry *,
376                                      const unsigned int);
377         /* send rename request */
378         int (*rename)(const unsigned int, struct cifs_tcon *, const char *,
379                       const char *, struct cifs_sb_info *);
380         /* send create hardlink request */
381         int (*create_hardlink)(const unsigned int, struct cifs_tcon *,
382                                const char *, const char *,
383                                struct cifs_sb_info *);
384         /* query symlink target */
385         int (*query_symlink)(const unsigned int, struct cifs_tcon *,
386                              struct cifs_sb_info *, const char *,
387                              char **, bool);
388         /* open a file for non-posix mounts */
389         int (*open)(const unsigned int xid, struct cifs_open_parms *oparms, __u32 *oplock,
390                     void *buf);
391         /* set fid protocol-specific info */
392         void (*set_fid)(struct cifsFileInfo *, struct cifs_fid *, __u32);
393         /* close a file */
394         void (*close)(const unsigned int, struct cifs_tcon *,
395                       struct cifs_fid *);
396         /* close a file, returning file attributes and timestamps */
397         void (*close_getattr)(const unsigned int xid, struct cifs_tcon *tcon,
398                       struct cifsFileInfo *pfile_info);
399         /* send a flush request to the server */
400         int (*flush)(const unsigned int, struct cifs_tcon *, struct cifs_fid *);
401         /* async read from the server */
402         int (*async_readv)(struct cifs_readdata *);
403         /* async write to the server */
404         int (*async_writev)(struct cifs_writedata *,
405                             void (*release)(struct kref *));
406         /* sync read from the server */
407         int (*sync_read)(const unsigned int, struct cifs_fid *,
408                          struct cifs_io_parms *, unsigned int *, char **,
409                          int *);
410         /* sync write to the server */
411         int (*sync_write)(const unsigned int, struct cifs_fid *,
412                           struct cifs_io_parms *, unsigned int *, struct kvec *,
413                           unsigned long);
414         /* open dir, start readdir */
415         int (*query_dir_first)(const unsigned int, struct cifs_tcon *,
416                                const char *, struct cifs_sb_info *,
417                                struct cifs_fid *, __u16,
418                                struct cifs_search_info *);
419         /* continue readdir */
420         int (*query_dir_next)(const unsigned int, struct cifs_tcon *,
421                               struct cifs_fid *,
422                               __u16, struct cifs_search_info *srch_inf);
423         /* close dir */
424         int (*close_dir)(const unsigned int, struct cifs_tcon *,
425                          struct cifs_fid *);
426         /* calculate a size of SMB message */
427         unsigned int (*calc_smb_size)(void *buf);
428         /* check for STATUS_PENDING and process the response if yes */
429         bool (*is_status_pending)(char *buf, struct TCP_Server_Info *server);
430         /* check for STATUS_NETWORK_SESSION_EXPIRED */
431         bool (*is_session_expired)(char *);
432         /* send oplock break response */
433         int (*oplock_response)(struct cifs_tcon *, struct cifs_fid *,
434                                struct cifsInodeInfo *);
435         /* query remote filesystem */
436         int (*queryfs)(const unsigned int, struct cifs_tcon *,
437                        struct cifs_sb_info *, struct kstatfs *);
438         /* send mandatory brlock to the server */
439         int (*mand_lock)(const unsigned int, struct cifsFileInfo *, __u64,
440                          __u64, __u32, int, int, bool);
441         /* unlock range of mandatory locks */
442         int (*mand_unlock_range)(struct cifsFileInfo *, struct file_lock *,
443                                  const unsigned int);
444         /* push brlocks from the cache to the server */
445         int (*push_mand_locks)(struct cifsFileInfo *);
446         /* get lease key of the inode */
447         void (*get_lease_key)(struct inode *, struct cifs_fid *);
448         /* set lease key of the inode */
449         void (*set_lease_key)(struct inode *, struct cifs_fid *);
450         /* generate new lease key */
451         void (*new_lease_key)(struct cifs_fid *);
452         int (*generate_signingkey)(struct cifs_ses *ses,
453                                    struct TCP_Server_Info *server);
454         int (*calc_signature)(struct smb_rqst *, struct TCP_Server_Info *,
455                                 bool allocate_crypto);
456         int (*set_integrity)(const unsigned int, struct cifs_tcon *tcon,
457                              struct cifsFileInfo *src_file);
458         int (*enum_snapshots)(const unsigned int xid, struct cifs_tcon *tcon,
459                              struct cifsFileInfo *src_file, void __user *);
460         int (*notify)(const unsigned int xid, struct file *pfile,
461                              void __user *pbuf, bool return_changes);
462         int (*query_mf_symlink)(unsigned int, struct cifs_tcon *,
463                                 struct cifs_sb_info *, const unsigned char *,
464                                 char *, unsigned int *);
465         int (*create_mf_symlink)(unsigned int, struct cifs_tcon *,
466                                  struct cifs_sb_info *, const unsigned char *,
467                                  char *, unsigned int *);
468         /* if we can do cache read operations */
469         bool (*is_read_op)(__u32);
470         /* set oplock level for the inode */
471         void (*set_oplock_level)(struct cifsInodeInfo *, __u32, unsigned int,
472                                  bool *);
473         /* create lease context buffer for CREATE request */
474         char * (*create_lease_buf)(u8 *lease_key, u8 oplock);
475         /* parse lease context buffer and return oplock/epoch info */
476         __u8 (*parse_lease_buf)(void *buf, unsigned int *epoch, char *lkey);
477         ssize_t (*copychunk_range)(const unsigned int,
478                         struct cifsFileInfo *src_file,
479                         struct cifsFileInfo *target_file,
480                         u64 src_off, u64 len, u64 dest_off);
481         int (*duplicate_extents)(const unsigned int, struct cifsFileInfo *src,
482                         struct cifsFileInfo *target_file, u64 src_off, u64 len,
483                         u64 dest_off);
484         int (*validate_negotiate)(const unsigned int, struct cifs_tcon *);
485         ssize_t (*query_all_EAs)(const unsigned int, struct cifs_tcon *,
486                         const unsigned char *, const unsigned char *, char *,
487                         size_t, struct cifs_sb_info *);
488         int (*set_EA)(const unsigned int, struct cifs_tcon *, const char *,
489                         const char *, const void *, const __u16,
490                         const struct nls_table *, struct cifs_sb_info *);
491         struct cifs_ntsd * (*get_acl)(struct cifs_sb_info *, struct inode *,
492                         const char *, u32 *, u32);
493         struct cifs_ntsd * (*get_acl_by_fid)(struct cifs_sb_info *,
494                         const struct cifs_fid *, u32 *, u32);
495         int (*set_acl)(struct cifs_ntsd *, __u32, struct inode *, const char *,
496                         int);
497         /* writepages retry size */
498         unsigned int (*wp_retry_size)(struct inode *);
499         /* get mtu credits */
500         int (*wait_mtu_credits)(struct TCP_Server_Info *, unsigned int,
501                                 unsigned int *, struct cifs_credits *);
502         /* adjust previously taken mtu credits to request size */
503         int (*adjust_credits)(struct TCP_Server_Info *server,
504                               struct cifs_credits *credits,
505                               const unsigned int payload_size);
506         /* check if we need to issue closedir */
507         bool (*dir_needs_close)(struct cifsFileInfo *);
508         long (*fallocate)(struct file *, struct cifs_tcon *, int, loff_t,
509                           loff_t);
510         /* init transform request - used for encryption for now */
511         int (*init_transform_rq)(struct TCP_Server_Info *, int num_rqst,
512                                  struct smb_rqst *, struct smb_rqst *);
513         int (*is_transform_hdr)(void *buf);
514         int (*receive_transform)(struct TCP_Server_Info *,
515                                  struct mid_q_entry **, char **, int *);
516         enum securityEnum (*select_sectype)(struct TCP_Server_Info *,
517                             enum securityEnum);
518         int (*next_header)(char *);
519         /* ioctl passthrough for query_info */
520         int (*ioctl_query_info)(const unsigned int xid,
521                                 struct cifs_tcon *tcon,
522                                 struct cifs_sb_info *cifs_sb,
523                                 __le16 *path, int is_dir,
524                                 unsigned long p);
525         /* make unix special files (block, char, fifo, socket) */
526         int (*make_node)(unsigned int xid,
527                          struct inode *inode,
528                          struct dentry *dentry,
529                          struct cifs_tcon *tcon,
530                          const char *full_path,
531                          umode_t mode,
532                          dev_t device_number);
533         /* version specific fiemap implementation */
534         int (*fiemap)(struct cifs_tcon *tcon, struct cifsFileInfo *,
535                       struct fiemap_extent_info *, u64, u64);
536         /* version specific llseek implementation */
537         loff_t (*llseek)(struct file *, struct cifs_tcon *, loff_t, int);
538         /* Check for STATUS_IO_TIMEOUT */
539         bool (*is_status_io_timeout)(char *buf);
540         /* Check for STATUS_NETWORK_NAME_DELETED */
541         void (*is_network_name_deleted)(char *buf, struct TCP_Server_Info *srv);
542 };
543
544 struct smb_version_values {
545         char            *version_string;
546         __u16           protocol_id;
547         __u32           req_capabilities;
548         __u32           large_lock_type;
549         __u32           exclusive_lock_type;
550         __u32           shared_lock_type;
551         __u32           unlock_lock_type;
552         size_t          header_preamble_size;
553         size_t          header_size;
554         size_t          max_header_size;
555         size_t          read_rsp_size;
556         __le16          lock_cmd;
557         unsigned int    cap_unix;
558         unsigned int    cap_nt_find;
559         unsigned int    cap_large_files;
560         __u16           signing_enabled;
561         __u16           signing_required;
562         size_t          create_lease_size;
563 };
564
565 #define HEADER_SIZE(server) (server->vals->header_size)
566 #define MAX_HEADER_SIZE(server) (server->vals->max_header_size)
567 #define HEADER_PREAMBLE_SIZE(server) (server->vals->header_preamble_size)
568 #define MID_HEADER_SIZE(server) (HEADER_SIZE(server) - 1 - HEADER_PREAMBLE_SIZE(server))
569
570 /**
571  * CIFS superblock mount flags (mnt_cifs_flags) to consider when
572  * trying to reuse existing superblock for a new mount
573  */
574 #define CIFS_MOUNT_MASK (CIFS_MOUNT_NO_PERM | CIFS_MOUNT_SET_UID | \
575                          CIFS_MOUNT_SERVER_INUM | CIFS_MOUNT_DIRECT_IO | \
576                          CIFS_MOUNT_NO_XATTR | CIFS_MOUNT_MAP_SPECIAL_CHR | \
577                          CIFS_MOUNT_MAP_SFM_CHR | \
578                          CIFS_MOUNT_UNX_EMUL | CIFS_MOUNT_NO_BRL | \
579                          CIFS_MOUNT_CIFS_ACL | CIFS_MOUNT_OVERR_UID | \
580                          CIFS_MOUNT_OVERR_GID | CIFS_MOUNT_DYNPERM | \
581                          CIFS_MOUNT_NOPOSIXBRL | CIFS_MOUNT_NOSSYNC | \
582                          CIFS_MOUNT_FSCACHE | CIFS_MOUNT_MF_SYMLINKS | \
583                          CIFS_MOUNT_MULTIUSER | CIFS_MOUNT_STRICT_IO | \
584                          CIFS_MOUNT_CIFS_BACKUPUID | CIFS_MOUNT_CIFS_BACKUPGID | \
585                          CIFS_MOUNT_UID_FROM_ACL | CIFS_MOUNT_NO_HANDLE_CACHE | \
586                          CIFS_MOUNT_NO_DFS | CIFS_MOUNT_MODE_FROM_SID | \
587                          CIFS_MOUNT_RO_CACHE | CIFS_MOUNT_RW_CACHE)
588
589 /**
590  * Generic VFS superblock mount flags (s_flags) to consider when
591  * trying to reuse existing superblock for a new mount
592  */
593 #define CIFS_MS_MASK (SB_RDONLY | SB_MANDLOCK | SB_NOEXEC | SB_NOSUID | \
594                       SB_NODEV | SB_SYNCHRONOUS)
595
596 struct cifs_mnt_data {
597         struct cifs_sb_info *cifs_sb;
598         struct smb3_fs_context *ctx;
599         int flags;
600 };
601
602 static inline unsigned int
603 get_rfc1002_length(void *buf)
604 {
605         return be32_to_cpu(*((__be32 *)buf)) & 0xffffff;
606 }
607
608 static inline void
609 inc_rfc1001_len(void *buf, int count)
610 {
611         be32_add_cpu((__be32 *)buf, count);
612 }
613
614 struct TCP_Server_Info {
615         struct list_head tcp_ses_list;
616         struct list_head smb_ses_list;
617         spinlock_t srv_lock;  /* protect anything here that is not protected */
618         __u64 conn_id; /* connection identifier (useful for debugging) */
619         int srv_count; /* reference counter */
620         /* 15 character server name + 0x20 16th byte indicating type = srv */
621         char server_RFC1001_name[RFC1001_NAME_LEN_WITH_NULL];
622         struct smb_version_operations   *ops;
623         struct smb_version_values       *vals;
624         /* updates to tcpStatus protected by cifs_tcp_ses_lock */
625         enum statusEnum tcpStatus; /* what we think the status is */
626         char *hostname; /* hostname portion of UNC string */
627         struct socket *ssocket;
628         struct sockaddr_storage dstaddr;
629         struct sockaddr_storage srcaddr; /* locally bind to this IP */
630 #ifdef CONFIG_NET_NS
631         struct net *net;
632 #endif
633         wait_queue_head_t response_q;
634         wait_queue_head_t request_q; /* if more than maxmpx to srvr must block*/
635         spinlock_t mid_lock;  /* protect mid queue and it's entries */
636         struct list_head pending_mid_q;
637         bool noblocksnd;                /* use blocking sendmsg */
638         bool noautotune;                /* do not autotune send buf sizes */
639         bool nosharesock;
640         bool tcp_nodelay;
641         unsigned int credits;  /* send no more requests at once */
642         unsigned int max_credits; /* can override large 32000 default at mnt */
643         unsigned int in_flight;  /* number of requests on the wire to server */
644         unsigned int max_in_flight; /* max number of requests that were on wire */
645         spinlock_t req_lock;  /* protect the two values above */
646         struct mutex _srv_mutex;
647         unsigned int nofs_flag;
648         struct task_struct *tsk;
649         char server_GUID[16];
650         __u16 sec_mode;
651         bool sign; /* is signing enabled on this connection? */
652         bool ignore_signature:1; /* skip validation of signatures in SMB2/3 rsp */
653         bool session_estab; /* mark when very first sess is established */
654         int echo_credits;  /* echo reserved slots */
655         int oplock_credits;  /* oplock break reserved slots */
656         bool echoes:1; /* enable echoes */
657         __u8 client_guid[SMB2_CLIENT_GUID_SIZE]; /* Client GUID */
658         u16 dialect; /* dialect index that server chose */
659         bool oplocks:1; /* enable oplocks */
660         unsigned int maxReq;    /* Clients should submit no more */
661         /* than maxReq distinct unanswered SMBs to the server when using  */
662         /* multiplexed reads or writes (for SMB1/CIFS only, not SMB2/SMB3) */
663         unsigned int maxBuf;    /* maxBuf specifies the maximum */
664         /* message size the server can send or receive for non-raw SMBs */
665         /* maxBuf is returned by SMB NegotiateProtocol so maxBuf is only 0 */
666         /* when socket is setup (and during reconnect) before NegProt sent */
667         unsigned int max_rw;    /* maxRw specifies the maximum */
668         /* message size the server can send or receive for */
669         /* SMB_COM_WRITE_RAW or SMB_COM_READ_RAW. */
670         unsigned int capabilities; /* selective disabling of caps by smb sess */
671         int timeAdj;  /* Adjust for difference in server time zone in sec */
672         __u64 CurrentMid;         /* multiplex id - rotating counter, protected by GlobalMid_Lock */
673         char cryptkey[CIFS_CRYPTO_KEY_SIZE]; /* used by ntlm, ntlmv2 etc */
674         /* 16th byte of RFC1001 workstation name is always null */
675         char workstation_RFC1001_name[RFC1001_NAME_LEN_WITH_NULL];
676         __u32 sequence_number; /* for signing, protected by srv_mutex */
677         __u32 reconnect_instance; /* incremented on each reconnect */
678         struct session_key session_key;
679         unsigned long lstrp; /* when we got last response from this server */
680         struct cifs_secmech secmech; /* crypto sec mech functs, descriptors */
681 #define CIFS_NEGFLAVOR_UNENCAP  1       /* wct == 17, but no ext_sec */
682 #define CIFS_NEGFLAVOR_EXTENDED 2       /* wct == 17, ext_sec bit set */
683         char    negflavor;      /* NEGOTIATE response flavor */
684         /* extended security flavors that server supports */
685         bool    sec_ntlmssp;            /* supports NTLMSSP */
686         bool    sec_kerberosu2u;        /* supports U2U Kerberos */
687         bool    sec_kerberos;           /* supports plain Kerberos */
688         bool    sec_mskerberos;         /* supports legacy MS Kerberos */
689         bool    large_buf;              /* is current buffer large? */
690         /* use SMBD connection instead of socket */
691         bool    rdma;
692         /* point to the SMBD connection if RDMA is used instead of socket */
693         struct smbd_connection *smbd_conn;
694         struct delayed_work     echo; /* echo ping workqueue job */
695         struct delayed_work     resolve; /* dns resolution workqueue job */
696         char    *smallbuf;      /* pointer to current "small" buffer */
697         char    *bigbuf;        /* pointer to current "big" buffer */
698         /* Total size of this PDU. Only valid from cifs_demultiplex_thread */
699         unsigned int pdu_size;
700         unsigned int total_read; /* total amount of data read in this pass */
701         atomic_t in_send; /* requests trying to send */
702         atomic_t num_waiters;   /* blocked waiting to get in sendrecv */
703 #ifdef CONFIG_CIFS_STATS2
704         atomic_t num_cmds[NUMBER_OF_SMB2_COMMANDS]; /* total requests by cmd */
705         atomic_t smb2slowcmd[NUMBER_OF_SMB2_COMMANDS]; /* count resps > 1 sec */
706         __u64 time_per_cmd[NUMBER_OF_SMB2_COMMANDS]; /* total time per cmd */
707         __u32 slowest_cmd[NUMBER_OF_SMB2_COMMANDS];
708         __u32 fastest_cmd[NUMBER_OF_SMB2_COMMANDS];
709 #endif /* STATS2 */
710         unsigned int    max_read;
711         unsigned int    max_write;
712         unsigned int    min_offload;
713         __le16  compress_algorithm;
714         __u16   signing_algorithm;
715         __le16  cipher_type;
716          /* save initital negprot hash */
717         __u8    preauth_sha_hash[SMB2_PREAUTH_HASH_SIZE];
718         bool    signing_negotiated; /* true if valid signing context rcvd from server */
719         bool    posix_ext_supported;
720         struct delayed_work reconnect; /* reconnect workqueue job */
721         struct mutex reconnect_mutex; /* prevent simultaneous reconnects */
722         unsigned long echo_interval;
723
724         /*
725          * Number of targets available for reconnect. The more targets
726          * the more tasks have to wait to let the demultiplex thread
727          * reconnect.
728          */
729         int nr_targets;
730         bool noblockcnt; /* use non-blocking connect() */
731
732         /*
733          * If this is a session channel,
734          * primary_server holds the ref-counted
735          * pointer to primary channel connection for the session.
736          */
737 #define CIFS_SERVER_IS_CHAN(server)     (!!(server)->primary_server)
738         struct TCP_Server_Info *primary_server;
739
740 #ifdef CONFIG_CIFS_SWN_UPCALL
741         bool use_swn_dstaddr;
742         struct sockaddr_storage swn_dstaddr;
743 #endif
744         struct mutex refpath_lock; /* protects leaf_fullpath */
745         /*
746          * Canonical DFS full paths that were used to chase referrals in mount and reconnect.
747          *
748          * origin_fullpath: first or original referral path
749          * leaf_fullpath: last referral path (might be changed due to nested links in reconnect)
750          *
751          * current_fullpath: pointer to either origin_fullpath or leaf_fullpath
752          * NOTE: cannot be accessed outside cifs_reconnect() and smb2_reconnect()
753          *
754          * format: \\HOST\SHARE\[OPTIONAL PATH]
755          */
756         char *origin_fullpath, *leaf_fullpath, *current_fullpath;
757 };
758
759 static inline bool is_smb1(struct TCP_Server_Info *server)
760 {
761         return HEADER_PREAMBLE_SIZE(server) != 0;
762 }
763
764 static inline void cifs_server_lock(struct TCP_Server_Info *server)
765 {
766         unsigned int nofs_flag = memalloc_nofs_save();
767
768         mutex_lock(&server->_srv_mutex);
769         server->nofs_flag = nofs_flag;
770 }
771
772 static inline void cifs_server_unlock(struct TCP_Server_Info *server)
773 {
774         unsigned int nofs_flag = server->nofs_flag;
775
776         mutex_unlock(&server->_srv_mutex);
777         memalloc_nofs_restore(nofs_flag);
778 }
779
780 struct cifs_credits {
781         unsigned int value;
782         unsigned int instance;
783 };
784
785 static inline unsigned int
786 in_flight(struct TCP_Server_Info *server)
787 {
788         unsigned int num;
789
790         spin_lock(&server->req_lock);
791         num = server->in_flight;
792         spin_unlock(&server->req_lock);
793         return num;
794 }
795
796 static inline bool
797 has_credits(struct TCP_Server_Info *server, int *credits, int num_credits)
798 {
799         int num;
800
801         spin_lock(&server->req_lock);
802         num = *credits;
803         spin_unlock(&server->req_lock);
804         return num >= num_credits;
805 }
806
807 static inline void
808 add_credits(struct TCP_Server_Info *server, const struct cifs_credits *credits,
809             const int optype)
810 {
811         server->ops->add_credits(server, credits, optype);
812 }
813
814 static inline void
815 add_credits_and_wake_if(struct TCP_Server_Info *server,
816                         const struct cifs_credits *credits, const int optype)
817 {
818         if (credits->value) {
819                 server->ops->add_credits(server, credits, optype);
820                 wake_up(&server->request_q);
821         }
822 }
823
824 static inline void
825 set_credits(struct TCP_Server_Info *server, const int val)
826 {
827         server->ops->set_credits(server, val);
828 }
829
830 static inline int
831 adjust_credits(struct TCP_Server_Info *server, struct cifs_credits *credits,
832                const unsigned int payload_size)
833 {
834         return server->ops->adjust_credits ?
835                 server->ops->adjust_credits(server, credits, payload_size) : 0;
836 }
837
838 static inline __le64
839 get_next_mid64(struct TCP_Server_Info *server)
840 {
841         return cpu_to_le64(server->ops->get_next_mid(server));
842 }
843
844 static inline __le16
845 get_next_mid(struct TCP_Server_Info *server)
846 {
847         __u16 mid = server->ops->get_next_mid(server);
848         /*
849          * The value in the SMB header should be little endian for easy
850          * on-the-wire decoding.
851          */
852         return cpu_to_le16(mid);
853 }
854
855 static inline void
856 revert_current_mid(struct TCP_Server_Info *server, const unsigned int val)
857 {
858         if (server->ops->revert_current_mid)
859                 server->ops->revert_current_mid(server, val);
860 }
861
862 static inline void
863 revert_current_mid_from_hdr(struct TCP_Server_Info *server,
864                             const struct smb2_hdr *shdr)
865 {
866         unsigned int num = le16_to_cpu(shdr->CreditCharge);
867
868         return revert_current_mid(server, num > 0 ? num : 1);
869 }
870
871 static inline __u16
872 get_mid(const struct smb_hdr *smb)
873 {
874         return le16_to_cpu(smb->Mid);
875 }
876
877 static inline bool
878 compare_mid(__u16 mid, const struct smb_hdr *smb)
879 {
880         return mid == le16_to_cpu(smb->Mid);
881 }
882
883 /*
884  * When the server supports very large reads and writes via POSIX extensions,
885  * we can allow up to 2^24-1, minus the size of a READ/WRITE_AND_X header, not
886  * including the RFC1001 length.
887  *
888  * Note that this might make for "interesting" allocation problems during
889  * writeback however as we have to allocate an array of pointers for the
890  * pages. A 16M write means ~32kb page array with PAGE_SIZE == 4096.
891  *
892  * For reads, there is a similar problem as we need to allocate an array
893  * of kvecs to handle the receive, though that should only need to be done
894  * once.
895  */
896 #define CIFS_MAX_WSIZE ((1<<24) - 1 - sizeof(WRITE_REQ) + 4)
897 #define CIFS_MAX_RSIZE ((1<<24) - sizeof(READ_RSP) + 4)
898
899 /*
900  * When the server doesn't allow large posix writes, only allow a rsize/wsize
901  * of 2^17-1 minus the size of the call header. That allows for a read or
902  * write up to the maximum size described by RFC1002.
903  */
904 #define CIFS_MAX_RFC1002_WSIZE ((1<<17) - 1 - sizeof(WRITE_REQ) + 4)
905 #define CIFS_MAX_RFC1002_RSIZE ((1<<17) - 1 - sizeof(READ_RSP) + 4)
906
907 #define CIFS_DEFAULT_IOSIZE (1024 * 1024)
908
909 /*
910  * Windows only supports a max of 60kb reads and 65535 byte writes. Default to
911  * those values when posix extensions aren't in force. In actuality here, we
912  * use 65536 to allow for a write that is a multiple of 4k. Most servers seem
913  * to be ok with the extra byte even though Windows doesn't send writes that
914  * are that large.
915  *
916  * Citation:
917  *
918  * https://blogs.msdn.com/b/openspecification/archive/2009/04/10/smb-maximum-transmit-buffer-size-and-performance-tuning.aspx
919  */
920 #define CIFS_DEFAULT_NON_POSIX_RSIZE (60 * 1024)
921 #define CIFS_DEFAULT_NON_POSIX_WSIZE (65536)
922
923 /*
924  * Macros to allow the TCP_Server_Info->net field and related code to drop out
925  * when CONFIG_NET_NS isn't set.
926  */
927
928 #ifdef CONFIG_NET_NS
929
930 static inline struct net *cifs_net_ns(struct TCP_Server_Info *srv)
931 {
932         return srv->net;
933 }
934
935 static inline void cifs_set_net_ns(struct TCP_Server_Info *srv, struct net *net)
936 {
937         srv->net = net;
938 }
939
940 #else
941
942 static inline struct net *cifs_net_ns(struct TCP_Server_Info *srv)
943 {
944         return &init_net;
945 }
946
947 static inline void cifs_set_net_ns(struct TCP_Server_Info *srv, struct net *net)
948 {
949 }
950
951 #endif
952
953 struct cifs_server_iface {
954         struct list_head iface_head;
955         struct kref refcount;
956         size_t speed;
957         unsigned int rdma_capable : 1;
958         unsigned int rss_capable : 1;
959         unsigned int is_active : 1; /* unset if non existent */
960         struct sockaddr_storage sockaddr;
961 };
962
963 /* release iface when last ref is dropped */
964 static inline void
965 release_iface(struct kref *ref)
966 {
967         struct cifs_server_iface *iface = container_of(ref,
968                                                        struct cifs_server_iface,
969                                                        refcount);
970         list_del_init(&iface->iface_head);
971         kfree(iface);
972 }
973
974 /*
975  * compare two interfaces a and b
976  * return 0 if everything matches.
977  * return 1 if a has higher link speed, or rdma capable, or rss capable
978  * return -1 otherwise.
979  */
980 static inline int
981 iface_cmp(struct cifs_server_iface *a, struct cifs_server_iface *b)
982 {
983         int cmp_ret = 0;
984
985         WARN_ON(!a || !b);
986         if (a->speed == b->speed) {
987                 if (a->rdma_capable == b->rdma_capable) {
988                         if (a->rss_capable == b->rss_capable) {
989                                 cmp_ret = memcmp(&a->sockaddr, &b->sockaddr,
990                                                  sizeof(a->sockaddr));
991                                 if (!cmp_ret)
992                                         return 0;
993                                 else if (cmp_ret > 0)
994                                         return 1;
995                                 else
996                                         return -1;
997                         } else if (a->rss_capable > b->rss_capable)
998                                 return 1;
999                         else
1000                                 return -1;
1001                 } else if (a->rdma_capable > b->rdma_capable)
1002                         return 1;
1003                 else
1004                         return -1;
1005         } else if (a->speed > b->speed)
1006                 return 1;
1007         else
1008                 return -1;
1009 }
1010
1011 struct cifs_chan {
1012         unsigned int in_reconnect : 1; /* if session setup in progress for this channel */
1013         struct TCP_Server_Info *server;
1014         struct cifs_server_iface *iface; /* interface in use */
1015         __u8 signkey[SMB3_SIGN_KEY_SIZE];
1016 };
1017
1018 /*
1019  * Session structure.  One of these for each uid session with a particular host
1020  */
1021 struct cifs_ses {
1022         struct list_head smb_ses_list;
1023         struct list_head rlist; /* reconnect list */
1024         struct list_head tcon_list;
1025         struct cifs_tcon *tcon_ipc;
1026         spinlock_t ses_lock;  /* protect anything here that is not protected */
1027         struct mutex session_mutex;
1028         struct TCP_Server_Info *server; /* pointer to server info */
1029         int ses_count;          /* reference counter */
1030         enum ses_status_enum ses_status;  /* updates protected by cifs_tcp_ses_lock */
1031         unsigned int overrideSecFlg; /* if non-zero override global sec flags */
1032         char *serverOS;         /* name of operating system underlying server */
1033         char *serverNOS;        /* name of network operating system of server */
1034         char *serverDomain;     /* security realm of server */
1035         __u64 Suid;             /* remote smb uid  */
1036         kuid_t linux_uid;       /* overriding owner of files on the mount */
1037         kuid_t cred_uid;        /* owner of credentials */
1038         unsigned int capabilities;
1039         char ip_addr[INET6_ADDRSTRLEN + 1]; /* Max ipv6 (or v4) addr string len */
1040         char *user_name;        /* must not be null except during init of sess
1041                                    and after mount option parsing we fill it */
1042         char *domainName;
1043         char *password;
1044         char workstation_name[CIFS_MAX_WORKSTATION_LEN];
1045         struct session_key auth_key;
1046         struct ntlmssp_auth *ntlmssp; /* ciphertext, flags, server challenge */
1047         enum securityEnum sectype; /* what security flavor was specified? */
1048         bool sign;              /* is signing required? */
1049         bool domainAuto:1;
1050         __u16 session_flags;
1051         __u8 smb3signingkey[SMB3_SIGN_KEY_SIZE];
1052         __u8 smb3encryptionkey[SMB3_ENC_DEC_KEY_SIZE];
1053         __u8 smb3decryptionkey[SMB3_ENC_DEC_KEY_SIZE];
1054         __u8 preauth_sha_hash[SMB2_PREAUTH_HASH_SIZE];
1055
1056         /*
1057          * Network interfaces available on the server this session is
1058          * connected to.
1059          *
1060          * Other channels can be opened by connecting and binding this
1061          * session to interfaces from this list.
1062          *
1063          * iface_lock should be taken when accessing any of these fields
1064          */
1065         spinlock_t iface_lock;
1066         /* ========= begin: protected by iface_lock ======== */
1067         struct list_head iface_list;
1068         size_t iface_count;
1069         unsigned long iface_last_update; /* jiffies */
1070         /* ========= end: protected by iface_lock ======== */
1071
1072         spinlock_t chan_lock;
1073         /* ========= begin: protected by chan_lock ======== */
1074 #define CIFS_MAX_CHANNELS 16
1075 #define CIFS_ALL_CHANNELS_SET(ses)      \
1076         ((1UL << (ses)->chan_count) - 1)
1077 #define CIFS_ALL_CHANS_GOOD(ses)                \
1078         (!(ses)->chans_need_reconnect)
1079 #define CIFS_ALL_CHANS_NEED_RECONNECT(ses)      \
1080         ((ses)->chans_need_reconnect == CIFS_ALL_CHANNELS_SET(ses))
1081 #define CIFS_SET_ALL_CHANS_NEED_RECONNECT(ses)  \
1082         ((ses)->chans_need_reconnect = CIFS_ALL_CHANNELS_SET(ses))
1083 #define CIFS_CHAN_NEEDS_RECONNECT(ses, index)   \
1084         test_bit((index), &(ses)->chans_need_reconnect)
1085 #define CIFS_CHAN_IN_RECONNECT(ses, index)      \
1086         ((ses)->chans[(index)].in_reconnect)
1087
1088         struct cifs_chan chans[CIFS_MAX_CHANNELS];
1089         size_t chan_count;
1090         size_t chan_max;
1091         atomic_t chan_seq; /* round robin state */
1092
1093         /*
1094          * chans_need_reconnect is a bitmap indicating which of the channels
1095          * under this smb session needs to be reconnected.
1096          * If not multichannel session, only one bit will be used.
1097          *
1098          * We will ask for sess and tcon reconnection only if all the
1099          * channels are marked for needing reconnection. This will
1100          * enable the sessions on top to continue to live till any
1101          * of the channels below are active.
1102          */
1103         unsigned long chans_need_reconnect;
1104         /* ========= end: protected by chan_lock ======== */
1105         struct cifs_ses *dfs_root_ses;
1106 };
1107
1108 static inline bool
1109 cap_unix(struct cifs_ses *ses)
1110 {
1111         return ses->server->vals->cap_unix & ses->capabilities;
1112 }
1113
1114 /*
1115  * common struct for holding inode info when searching for or updating an
1116  * inode with new info
1117  */
1118
1119 #define CIFS_FATTR_DFS_REFERRAL         0x1
1120 #define CIFS_FATTR_DELETE_PENDING       0x2
1121 #define CIFS_FATTR_NEED_REVAL           0x4
1122 #define CIFS_FATTR_INO_COLLISION        0x8
1123 #define CIFS_FATTR_UNKNOWN_NLINK        0x10
1124 #define CIFS_FATTR_FAKE_ROOT_INO        0x20
1125
1126 struct cifs_fattr {
1127         u32             cf_flags;
1128         u32             cf_cifsattrs;
1129         u64             cf_uniqueid;
1130         u64             cf_eof;
1131         u64             cf_bytes;
1132         u64             cf_createtime;
1133         kuid_t          cf_uid;
1134         kgid_t          cf_gid;
1135         umode_t         cf_mode;
1136         dev_t           cf_rdev;
1137         unsigned int    cf_nlink;
1138         unsigned int    cf_dtype;
1139         struct timespec64 cf_atime;
1140         struct timespec64 cf_mtime;
1141         struct timespec64 cf_ctime;
1142         u32             cf_cifstag;
1143         char            *cf_symlink_target;
1144 };
1145
1146 /*
1147  * there is one of these for each connection to a resource on a particular
1148  * session
1149  */
1150 struct cifs_tcon {
1151         struct list_head tcon_list;
1152         int tc_count;
1153         struct list_head rlist; /* reconnect list */
1154         spinlock_t tc_lock;  /* protect anything here that is not protected */
1155         atomic_t num_local_opens;  /* num of all opens including disconnected */
1156         atomic_t num_remote_opens; /* num of all network opens on server */
1157         struct list_head openFileList;
1158         spinlock_t open_file_lock; /* protects list above */
1159         struct cifs_ses *ses;   /* pointer to session associated with */
1160         char tree_name[MAX_TREE_SIZE + 1]; /* UNC name of resource in ASCII */
1161         char *nativeFileSystem;
1162         char *password;         /* for share-level security */
1163         __u32 tid;              /* The 4 byte tree id */
1164         __u16 Flags;            /* optional support bits */
1165         enum tid_status_enum status;
1166         atomic_t num_smbs_sent;
1167         union {
1168                 struct {
1169                         atomic_t num_writes;
1170                         atomic_t num_reads;
1171                         atomic_t num_flushes;
1172                         atomic_t num_oplock_brks;
1173                         atomic_t num_opens;
1174                         atomic_t num_closes;
1175                         atomic_t num_deletes;
1176                         atomic_t num_mkdirs;
1177                         atomic_t num_posixopens;
1178                         atomic_t num_posixmkdirs;
1179                         atomic_t num_rmdirs;
1180                         atomic_t num_renames;
1181                         atomic_t num_t2renames;
1182                         atomic_t num_ffirst;
1183                         atomic_t num_fnext;
1184                         atomic_t num_fclose;
1185                         atomic_t num_hardlinks;
1186                         atomic_t num_symlinks;
1187                         atomic_t num_locks;
1188                         atomic_t num_acl_get;
1189                         atomic_t num_acl_set;
1190                 } cifs_stats;
1191                 struct {
1192                         atomic_t smb2_com_sent[NUMBER_OF_SMB2_COMMANDS];
1193                         atomic_t smb2_com_failed[NUMBER_OF_SMB2_COMMANDS];
1194                 } smb2_stats;
1195         } stats;
1196         __u64    bytes_read;
1197         __u64    bytes_written;
1198         spinlock_t stat_lock;  /* protects the two fields above */
1199         FILE_SYSTEM_DEVICE_INFO fsDevInfo;
1200         FILE_SYSTEM_ATTRIBUTE_INFO fsAttrInfo; /* ok if fs name truncated */
1201         FILE_SYSTEM_UNIX_INFO fsUnixInfo;
1202         bool ipc:1;   /* set if connection to IPC$ share (always also pipe) */
1203         bool pipe:1;  /* set if connection to pipe share */
1204         bool print:1; /* set if connection to printer share */
1205         bool retry:1;
1206         bool nocase:1;
1207         bool nohandlecache:1; /* if strange server resource prob can turn off */
1208         bool nodelete:1;
1209         bool seal:1;      /* transport encryption for this mounted share */
1210         bool unix_ext:1;  /* if false disable Linux extensions to CIFS protocol
1211                                 for this mount even if server would support */
1212         bool posix_extensions; /* if true SMB3.11 posix extensions enabled */
1213         bool local_lease:1; /* check leases (only) on local system not remote */
1214         bool broken_posix_open; /* e.g. Samba server versions < 3.3.2, 3.2.9 */
1215         bool broken_sparse_sup; /* if server or share does not support sparse */
1216         bool need_reconnect:1; /* connection reset, tid now invalid */
1217         bool need_reopen_files:1; /* need to reopen tcon file handles */
1218         bool use_resilient:1; /* use resilient instead of durable handles */
1219         bool use_persistent:1; /* use persistent instead of durable handles */
1220         bool no_lease:1;    /* Do not request leases on files or directories */
1221         bool use_witness:1; /* use witness protocol */
1222         __le32 capabilities;
1223         __u32 share_flags;
1224         __u32 maximal_access;
1225         __u32 vol_serial_number;
1226         __le64 vol_create_time;
1227         __u64 snapshot_time; /* for timewarp tokens - timestamp of snapshot */
1228         __u32 handle_timeout; /* persistent and durable handle timeout in ms */
1229         __u32 ss_flags;         /* sector size flags */
1230         __u32 perf_sector_size; /* best sector size for perf */
1231         __u32 max_chunks;
1232         __u32 max_bytes_chunk;
1233         __u32 max_bytes_copy;
1234 #ifdef CONFIG_CIFS_FSCACHE
1235         u64 resource_id;                /* server resource id */
1236         struct fscache_volume *fscache; /* cookie for share */
1237 #endif
1238         struct list_head pending_opens; /* list of incomplete opens */
1239         struct cached_fids *cfids;
1240         /* BB add field for back pointer to sb struct(s)? */
1241 #ifdef CONFIG_CIFS_DFS_UPCALL
1242         struct list_head ulist; /* cache update list */
1243 #endif
1244         struct delayed_work     query_interfaces; /* query interfaces workqueue job */
1245 };
1246
1247 /*
1248  * This is a refcounted and timestamped container for a tcon pointer. The
1249  * container holds a tcon reference. It is considered safe to free one of
1250  * these when the tl_count goes to 0. The tl_time is the time of the last
1251  * "get" on the container.
1252  */
1253 struct tcon_link {
1254         struct rb_node          tl_rbnode;
1255         kuid_t                  tl_uid;
1256         unsigned long           tl_flags;
1257 #define TCON_LINK_MASTER        0
1258 #define TCON_LINK_PENDING       1
1259 #define TCON_LINK_IN_TREE       2
1260         unsigned long           tl_time;
1261         atomic_t                tl_count;
1262         struct cifs_tcon        *tl_tcon;
1263 };
1264
1265 extern struct tcon_link *cifs_sb_tlink(struct cifs_sb_info *cifs_sb);
1266 extern void smb3_free_compound_rqst(int num_rqst, struct smb_rqst *rqst);
1267
1268 static inline struct cifs_tcon *
1269 tlink_tcon(struct tcon_link *tlink)
1270 {
1271         return tlink->tl_tcon;
1272 }
1273
1274 static inline struct tcon_link *
1275 cifs_sb_master_tlink(struct cifs_sb_info *cifs_sb)
1276 {
1277         return cifs_sb->master_tlink;
1278 }
1279
1280 extern void cifs_put_tlink(struct tcon_link *tlink);
1281
1282 static inline struct tcon_link *
1283 cifs_get_tlink(struct tcon_link *tlink)
1284 {
1285         if (tlink && !IS_ERR(tlink))
1286                 atomic_inc(&tlink->tl_count);
1287         return tlink;
1288 }
1289
1290 /* This function is always expected to succeed */
1291 extern struct cifs_tcon *cifs_sb_master_tcon(struct cifs_sb_info *cifs_sb);
1292
1293 #define CIFS_OPLOCK_NO_CHANGE 0xfe
1294
1295 struct cifs_pending_open {
1296         struct list_head olist;
1297         struct tcon_link *tlink;
1298         __u8 lease_key[16];
1299         __u32 oplock;
1300 };
1301
1302 struct cifs_deferred_close {
1303         struct list_head dlist;
1304         struct tcon_link *tlink;
1305         __u16  netfid;
1306         __u64  persistent_fid;
1307         __u64  volatile_fid;
1308 };
1309
1310 /*
1311  * This info hangs off the cifsFileInfo structure, pointed to by llist.
1312  * This is used to track byte stream locks on the file
1313  */
1314 struct cifsLockInfo {
1315         struct list_head llist; /* pointer to next cifsLockInfo */
1316         struct list_head blist; /* pointer to locks blocked on this */
1317         wait_queue_head_t block_q;
1318         __u64 offset;
1319         __u64 length;
1320         __u32 pid;
1321         __u16 type;
1322         __u16 flags;
1323 };
1324
1325 /*
1326  * One of these for each open instance of a file
1327  */
1328 struct cifs_search_info {
1329         loff_t index_of_last_entry;
1330         __u16 entries_in_buffer;
1331         __u16 info_level;
1332         __u32 resume_key;
1333         char *ntwrk_buf_start;
1334         char *srch_entries_start;
1335         char *last_entry;
1336         const char *presume_name;
1337         unsigned int resume_name_len;
1338         bool endOfSearch:1;
1339         bool emptyDir:1;
1340         bool unicode:1;
1341         bool smallBuf:1; /* so we know which buf_release function to call */
1342 };
1343
1344 #define ACL_NO_MODE     ((umode_t)(-1))
1345 struct cifs_open_parms {
1346         struct cifs_tcon *tcon;
1347         struct cifs_sb_info *cifs_sb;
1348         int disposition;
1349         int desired_access;
1350         int create_options;
1351         const char *path;
1352         struct cifs_fid *fid;
1353         umode_t mode;
1354         bool reconnect:1;
1355 };
1356
1357 struct cifs_fid {
1358         __u16 netfid;
1359         __u64 persistent_fid;   /* persist file id for smb2 */
1360         __u64 volatile_fid;     /* volatile file id for smb2 */
1361         __u8 lease_key[SMB2_LEASE_KEY_SIZE];    /* lease key for smb2 */
1362         __u8 create_guid[16];
1363         __u32 access;
1364         struct cifs_pending_open *pending_open;
1365         unsigned int epoch;
1366 #ifdef CONFIG_CIFS_DEBUG2
1367         __u64 mid;
1368 #endif /* CIFS_DEBUG2 */
1369         bool purge_cache;
1370 };
1371
1372 struct cifs_fid_locks {
1373         struct list_head llist;
1374         struct cifsFileInfo *cfile;     /* fid that owns locks */
1375         struct list_head locks;         /* locks held by fid above */
1376 };
1377
1378 struct cifsFileInfo {
1379         /* following two lists are protected by tcon->open_file_lock */
1380         struct list_head tlist; /* pointer to next fid owned by tcon */
1381         struct list_head flist; /* next fid (file instance) for this inode */
1382         /* lock list below protected by cifsi->lock_sem */
1383         struct cifs_fid_locks *llist;   /* brlocks held by this fid */
1384         kuid_t uid;             /* allows finding which FileInfo structure */
1385         __u32 pid;              /* process id who opened file */
1386         struct cifs_fid fid;    /* file id from remote */
1387         struct list_head rlist; /* reconnect list */
1388         /* BB add lock scope info here if needed */
1389         /* lock scope id (0 if none) */
1390         struct dentry *dentry;
1391         struct tcon_link *tlink;
1392         unsigned int f_flags;
1393         bool invalidHandle:1;   /* file closed via session abend */
1394         bool swapfile:1;
1395         bool oplock_break_cancelled:1;
1396         unsigned int oplock_epoch; /* epoch from the lease break */
1397         __u32 oplock_level; /* oplock/lease level from the lease break */
1398         int count;
1399         spinlock_t file_info_lock; /* protects four flag/count fields above */
1400         struct mutex fh_mutex; /* prevents reopen race after dead ses*/
1401         struct cifs_search_info srch_inf;
1402         struct work_struct oplock_break; /* work for oplock breaks */
1403         struct work_struct put; /* work for the final part of _put */
1404         struct delayed_work deferred;
1405         bool deferred_close_scheduled; /* Flag to indicate close is scheduled */
1406         char *symlink_target;
1407 };
1408
1409 struct cifs_io_parms {
1410         __u16 netfid;
1411         __u64 persistent_fid;   /* persist file id for smb2 */
1412         __u64 volatile_fid;     /* volatile file id for smb2 */
1413         __u32 pid;
1414         __u64 offset;
1415         unsigned int length;
1416         struct cifs_tcon *tcon;
1417         struct TCP_Server_Info *server;
1418 };
1419
1420 struct cifs_aio_ctx {
1421         struct kref             refcount;
1422         struct list_head        list;
1423         struct mutex            aio_mutex;
1424         struct completion       done;
1425         struct iov_iter         iter;
1426         struct kiocb            *iocb;
1427         struct cifsFileInfo     *cfile;
1428         struct bio_vec          *bv;
1429         loff_t                  pos;
1430         unsigned int            npages;
1431         ssize_t                 rc;
1432         unsigned int            len;
1433         unsigned int            total_len;
1434         bool                    should_dirty;
1435         /*
1436          * Indicates if this aio_ctx is for direct_io,
1437          * If yes, iter is a copy of the user passed iov_iter
1438          */
1439         bool                    direct_io;
1440 };
1441
1442 /* asynchronous read support */
1443 struct cifs_readdata {
1444         struct kref                     refcount;
1445         struct list_head                list;
1446         struct completion               done;
1447         struct cifsFileInfo             *cfile;
1448         struct address_space            *mapping;
1449         struct cifs_aio_ctx             *ctx;
1450         __u64                           offset;
1451         unsigned int                    bytes;
1452         unsigned int                    got_bytes;
1453         pid_t                           pid;
1454         int                             result;
1455         struct work_struct              work;
1456         int (*read_into_pages)(struct TCP_Server_Info *server,
1457                                 struct cifs_readdata *rdata,
1458                                 unsigned int len);
1459         int (*copy_into_pages)(struct TCP_Server_Info *server,
1460                                 struct cifs_readdata *rdata,
1461                                 struct iov_iter *iter);
1462         struct kvec                     iov[2];
1463         struct TCP_Server_Info          *server;
1464 #ifdef CONFIG_CIFS_SMB_DIRECT
1465         struct smbd_mr                  *mr;
1466 #endif
1467         unsigned int                    pagesz;
1468         unsigned int                    page_offset;
1469         unsigned int                    tailsz;
1470         struct cifs_credits             credits;
1471         unsigned int                    nr_pages;
1472         struct page                     **pages;
1473 };
1474
1475 /* asynchronous write support */
1476 struct cifs_writedata {
1477         struct kref                     refcount;
1478         struct list_head                list;
1479         struct completion               done;
1480         enum writeback_sync_modes       sync_mode;
1481         struct work_struct              work;
1482         struct cifsFileInfo             *cfile;
1483         struct cifs_aio_ctx             *ctx;
1484         __u64                           offset;
1485         pid_t                           pid;
1486         unsigned int                    bytes;
1487         int                             result;
1488         struct TCP_Server_Info          *server;
1489 #ifdef CONFIG_CIFS_SMB_DIRECT
1490         struct smbd_mr                  *mr;
1491 #endif
1492         unsigned int                    pagesz;
1493         unsigned int                    page_offset;
1494         unsigned int                    tailsz;
1495         struct cifs_credits             credits;
1496         unsigned int                    nr_pages;
1497         struct page                     **pages;
1498 };
1499
1500 /*
1501  * Take a reference on the file private data. Must be called with
1502  * cfile->file_info_lock held.
1503  */
1504 static inline void
1505 cifsFileInfo_get_locked(struct cifsFileInfo *cifs_file)
1506 {
1507         ++cifs_file->count;
1508 }
1509
1510 struct cifsFileInfo *cifsFileInfo_get(struct cifsFileInfo *cifs_file);
1511 void _cifsFileInfo_put(struct cifsFileInfo *cifs_file, bool wait_oplock_hdlr,
1512                        bool offload);
1513 void cifsFileInfo_put(struct cifsFileInfo *cifs_file);
1514
1515 #define CIFS_CACHE_READ_FLG     1
1516 #define CIFS_CACHE_HANDLE_FLG   2
1517 #define CIFS_CACHE_RH_FLG       (CIFS_CACHE_READ_FLG | CIFS_CACHE_HANDLE_FLG)
1518 #define CIFS_CACHE_WRITE_FLG    4
1519 #define CIFS_CACHE_RW_FLG       (CIFS_CACHE_READ_FLG | CIFS_CACHE_WRITE_FLG)
1520 #define CIFS_CACHE_RHW_FLG      (CIFS_CACHE_RW_FLG | CIFS_CACHE_HANDLE_FLG)
1521
1522 #define CIFS_CACHE_READ(cinode) ((cinode->oplock & CIFS_CACHE_READ_FLG) || (CIFS_SB(cinode->netfs.inode.i_sb)->mnt_cifs_flags & CIFS_MOUNT_RO_CACHE))
1523 #define CIFS_CACHE_HANDLE(cinode) (cinode->oplock & CIFS_CACHE_HANDLE_FLG)
1524 #define CIFS_CACHE_WRITE(cinode) ((cinode->oplock & CIFS_CACHE_WRITE_FLG) || (CIFS_SB(cinode->netfs.inode.i_sb)->mnt_cifs_flags & CIFS_MOUNT_RW_CACHE))
1525
1526 /*
1527  * One of these for each file inode
1528  */
1529
1530 struct cifsInodeInfo {
1531         struct netfs_inode netfs; /* Netfslib context and vfs inode */
1532         bool can_cache_brlcks;
1533         struct list_head llist; /* locks helb by this inode */
1534         /*
1535          * NOTE: Some code paths call down_read(lock_sem) twice, so
1536          * we must always use cifs_down_write() instead of down_write()
1537          * for this semaphore to avoid deadlocks.
1538          */
1539         struct rw_semaphore lock_sem;   /* protect the fields above */
1540         /* BB add in lists for dirty pages i.e. write caching info for oplock */
1541         struct list_head openFileList;
1542         spinlock_t      open_file_lock; /* protects openFileList */
1543         __u32 cifsAttrs; /* e.g. DOS archive bit, sparse, compressed, system */
1544         unsigned int oplock;            /* oplock/lease level we have */
1545         unsigned int epoch;             /* used to track lease state changes */
1546 #define CIFS_INODE_PENDING_OPLOCK_BREAK   (0) /* oplock break in progress */
1547 #define CIFS_INODE_PENDING_WRITERS        (1) /* Writes in progress */
1548 #define CIFS_INODE_FLAG_UNUSED            (2) /* Unused flag */
1549 #define CIFS_INO_DELETE_PENDING           (3) /* delete pending on server */
1550 #define CIFS_INO_INVALID_MAPPING          (4) /* pagecache is invalid */
1551 #define CIFS_INO_LOCK                     (5) /* lock bit for synchronization */
1552 #define CIFS_INO_MODIFIED_ATTR            (6) /* Indicate change in mtime/ctime */
1553 #define CIFS_INO_CLOSE_ON_LOCK            (7) /* Not to defer the close when lock is set */
1554         unsigned long flags;
1555         spinlock_t writers_lock;
1556         unsigned int writers;           /* Number of writers on this inode */
1557         unsigned long time;             /* jiffies of last update of inode */
1558         u64  server_eof;                /* current file size on server -- protected by i_lock */
1559         u64  uniqueid;                  /* server inode number */
1560         u64  createtime;                /* creation time on server */
1561         __u8 lease_key[SMB2_LEASE_KEY_SIZE];    /* lease key for this inode */
1562         struct list_head deferred_closes; /* list of deferred closes */
1563         spinlock_t deferred_lock; /* protection on deferred list */
1564         bool lease_granted; /* Flag to indicate whether lease or oplock is granted. */
1565         char *symlink_target;
1566 };
1567
1568 static inline struct cifsInodeInfo *
1569 CIFS_I(struct inode *inode)
1570 {
1571         return container_of(inode, struct cifsInodeInfo, netfs.inode);
1572 }
1573
1574 static inline struct cifs_sb_info *
1575 CIFS_SB(struct super_block *sb)
1576 {
1577         return sb->s_fs_info;
1578 }
1579
1580 static inline struct cifs_sb_info *
1581 CIFS_FILE_SB(struct file *file)
1582 {
1583         return CIFS_SB(file_inode(file)->i_sb);
1584 }
1585
1586 static inline char CIFS_DIR_SEP(const struct cifs_sb_info *cifs_sb)
1587 {
1588         if (cifs_sb->mnt_cifs_flags & CIFS_MOUNT_POSIX_PATHS)
1589                 return '/';
1590         else
1591                 return '\\';
1592 }
1593
1594 static inline void
1595 convert_delimiter(char *path, char delim)
1596 {
1597         char old_delim, *pos;
1598
1599         if (delim == '/')
1600                 old_delim = '\\';
1601         else
1602                 old_delim = '/';
1603
1604         pos = path;
1605         while ((pos = strchr(pos, old_delim)))
1606                 *pos = delim;
1607 }
1608
1609 #define cifs_stats_inc atomic_inc
1610
1611 static inline void cifs_stats_bytes_written(struct cifs_tcon *tcon,
1612                                             unsigned int bytes)
1613 {
1614         if (bytes) {
1615                 spin_lock(&tcon->stat_lock);
1616                 tcon->bytes_written += bytes;
1617                 spin_unlock(&tcon->stat_lock);
1618         }
1619 }
1620
1621 static inline void cifs_stats_bytes_read(struct cifs_tcon *tcon,
1622                                          unsigned int bytes)
1623 {
1624         spin_lock(&tcon->stat_lock);
1625         tcon->bytes_read += bytes;
1626         spin_unlock(&tcon->stat_lock);
1627 }
1628
1629
1630 /*
1631  * This is the prototype for the mid receive function. This function is for
1632  * receiving the rest of the SMB frame, starting with the WordCount (which is
1633  * just after the MID in struct smb_hdr). Note:
1634  *
1635  * - This will be called by cifsd, with no locks held.
1636  * - The mid will still be on the pending_mid_q.
1637  * - mid->resp_buf will point to the current buffer.
1638  *
1639  * Returns zero on a successful receive, or an error. The receive state in
1640  * the TCP_Server_Info will also be updated.
1641  */
1642 typedef int (mid_receive_t)(struct TCP_Server_Info *server,
1643                             struct mid_q_entry *mid);
1644
1645 /*
1646  * This is the prototype for the mid callback function. This is called once the
1647  * mid has been received off of the socket. When creating one, take special
1648  * care to avoid deadlocks. Things to bear in mind:
1649  *
1650  * - it will be called by cifsd, with no locks held
1651  * - the mid will be removed from any lists
1652  */
1653 typedef void (mid_callback_t)(struct mid_q_entry *mid);
1654
1655 /*
1656  * This is the protopyte for mid handle function. This is called once the mid
1657  * has been recognized after decryption of the message.
1658  */
1659 typedef int (mid_handle_t)(struct TCP_Server_Info *server,
1660                             struct mid_q_entry *mid);
1661
1662 /* one of these for every pending CIFS request to the server */
1663 struct mid_q_entry {
1664         struct list_head qhead; /* mids waiting on reply from this server */
1665         struct kref refcount;
1666         struct TCP_Server_Info *server; /* server corresponding to this mid */
1667         __u64 mid;              /* multiplex id */
1668         __u16 credits;          /* number of credits consumed by this mid */
1669         __u16 credits_received; /* number of credits from the response */
1670         __u32 pid;              /* process id */
1671         __u32 sequence_number;  /* for CIFS signing */
1672         unsigned long when_alloc;  /* when mid was created */
1673 #ifdef CONFIG_CIFS_STATS2
1674         unsigned long when_sent; /* time when smb send finished */
1675         unsigned long when_received; /* when demux complete (taken off wire) */
1676 #endif
1677         mid_receive_t *receive; /* call receive callback */
1678         mid_callback_t *callback; /* call completion callback */
1679         mid_handle_t *handle; /* call handle mid callback */
1680         void *callback_data;      /* general purpose pointer for callback */
1681         struct task_struct *creator;
1682         void *resp_buf;         /* pointer to received SMB header */
1683         unsigned int resp_buf_size;
1684         int mid_state;  /* wish this were enum but can not pass to wait_event */
1685         unsigned int mid_flags;
1686         __le16 command;         /* smb command code */
1687         unsigned int optype;    /* operation type */
1688         bool large_buf:1;       /* if valid response, is pointer to large buf */
1689         bool multiRsp:1;        /* multiple trans2 responses for one request  */
1690         bool multiEnd:1;        /* both received */
1691         bool decrypted:1;       /* decrypted entry */
1692 };
1693
1694 struct close_cancelled_open {
1695         struct cifs_fid         fid;
1696         struct cifs_tcon        *tcon;
1697         struct work_struct      work;
1698         __u64 mid;
1699         __u16 cmd;
1700 };
1701
1702 /*      Make code in transport.c a little cleaner by moving
1703         update of optional stats into function below */
1704 static inline void cifs_in_send_inc(struct TCP_Server_Info *server)
1705 {
1706         atomic_inc(&server->in_send);
1707 }
1708
1709 static inline void cifs_in_send_dec(struct TCP_Server_Info *server)
1710 {
1711         atomic_dec(&server->in_send);
1712 }
1713
1714 static inline void cifs_num_waiters_inc(struct TCP_Server_Info *server)
1715 {
1716         atomic_inc(&server->num_waiters);
1717 }
1718
1719 static inline void cifs_num_waiters_dec(struct TCP_Server_Info *server)
1720 {
1721         atomic_dec(&server->num_waiters);
1722 }
1723
1724 #ifdef CONFIG_CIFS_STATS2
1725 static inline void cifs_save_when_sent(struct mid_q_entry *mid)
1726 {
1727         mid->when_sent = jiffies;
1728 }
1729 #else
1730 static inline void cifs_save_when_sent(struct mid_q_entry *mid)
1731 {
1732 }
1733 #endif
1734
1735 /* for pending dnotify requests */
1736 struct dir_notify_req {
1737         struct list_head lhead;
1738         __le16 Pid;
1739         __le16 PidHigh;
1740         __u16 Mid;
1741         __u16 Tid;
1742         __u16 Uid;
1743         __u16 netfid;
1744         __u32 filter; /* CompletionFilter (for multishot) */
1745         int multishot;
1746         struct file *pfile;
1747 };
1748
1749 struct dfs_info3_param {
1750         int flags; /* DFSREF_REFERRAL_SERVER, DFSREF_STORAGE_SERVER*/
1751         int path_consumed;
1752         int server_type;
1753         int ref_flag;
1754         char *path_name;
1755         char *node_name;
1756         int ttl;
1757 };
1758
1759 struct file_list {
1760         struct list_head list;
1761         struct cifsFileInfo *cfile;
1762 };
1763
1764 struct cifs_mount_ctx {
1765         struct cifs_sb_info *cifs_sb;
1766         struct smb3_fs_context *fs_ctx;
1767         unsigned int xid;
1768         struct TCP_Server_Info *server;
1769         struct cifs_ses *ses;
1770         struct cifs_tcon *tcon;
1771         struct cifs_ses *root_ses;
1772         uuid_t mount_id;
1773         char *origin_fullpath, *leaf_fullpath;
1774 };
1775
1776 static inline void free_dfs_info_param(struct dfs_info3_param *param)
1777 {
1778         if (param) {
1779                 kfree(param->path_name);
1780                 kfree(param->node_name);
1781         }
1782 }
1783
1784 static inline void free_dfs_info_array(struct dfs_info3_param *param,
1785                                        int number_of_items)
1786 {
1787         int i;
1788
1789         if ((number_of_items == 0) || (param == NULL))
1790                 return;
1791         for (i = 0; i < number_of_items; i++) {
1792                 kfree(param[i].path_name);
1793                 kfree(param[i].node_name);
1794         }
1795         kfree(param);
1796 }
1797
1798 static inline bool is_interrupt_error(int error)
1799 {
1800         switch (error) {
1801         case -EINTR:
1802         case -ERESTARTSYS:
1803         case -ERESTARTNOHAND:
1804         case -ERESTARTNOINTR:
1805                 return true;
1806         }
1807         return false;
1808 }
1809
1810 static inline bool is_retryable_error(int error)
1811 {
1812         if (is_interrupt_error(error) || error == -EAGAIN)
1813                 return true;
1814         return false;
1815 }
1816
1817
1818 /* cifs_get_writable_file() flags */
1819 #define FIND_WR_ANY         0
1820 #define FIND_WR_FSUID_ONLY  1
1821 #define FIND_WR_WITH_DELETE 2
1822
1823 #define   MID_FREE 0
1824 #define   MID_REQUEST_ALLOCATED 1
1825 #define   MID_REQUEST_SUBMITTED 2
1826 #define   MID_RESPONSE_RECEIVED 4
1827 #define   MID_RETRY_NEEDED      8 /* session closed while this request out */
1828 #define   MID_RESPONSE_MALFORMED 0x10
1829 #define   MID_SHUTDOWN           0x20
1830
1831 /* Flags */
1832 #define   MID_WAIT_CANCELLED     1 /* Cancelled while waiting for response */
1833 #define   MID_DELETED            2 /* Mid has been dequeued/deleted */
1834
1835 /* Types of response buffer returned from SendReceive2 */
1836 #define   CIFS_NO_BUFFER        0    /* Response buffer not returned */
1837 #define   CIFS_SMALL_BUFFER     1
1838 #define   CIFS_LARGE_BUFFER     2
1839 #define   CIFS_IOVEC            4    /* array of response buffers */
1840
1841 /* Type of Request to SendReceive2 */
1842 #define   CIFS_BLOCKING_OP      1    /* operation can block */
1843 #define   CIFS_NON_BLOCKING     2    /* do not block waiting for credits */
1844 #define   CIFS_TIMEOUT_MASK 0x003    /* only one of above set in req */
1845 #define   CIFS_LOG_ERROR    0x010    /* log NT STATUS if non-zero */
1846 #define   CIFS_LARGE_BUF_OP 0x020    /* large request buffer */
1847 #define   CIFS_NO_RSP_BUF   0x040    /* no response buffer required */
1848
1849 /* Type of request operation */
1850 #define   CIFS_ECHO_OP            0x080  /* echo request */
1851 #define   CIFS_OBREAK_OP          0x0100 /* oplock break request */
1852 #define   CIFS_NEG_OP             0x0200 /* negotiate request */
1853 #define   CIFS_CP_CREATE_CLOSE_OP 0x0400 /* compound create+close request */
1854 /* Lower bitmask values are reserved by others below. */
1855 #define   CIFS_SESS_OP            0x2000 /* session setup request */
1856 #define   CIFS_OP_MASK            0x2780 /* mask request type */
1857
1858 #define   CIFS_HAS_CREDITS        0x0400 /* already has credits */
1859 #define   CIFS_TRANSFORM_REQ      0x0800 /* transform request before sending */
1860 #define   CIFS_NO_SRV_RSP         0x1000 /* there is no server response */
1861
1862 /* Security Flags: indicate type of session setup needed */
1863 #define   CIFSSEC_MAY_SIGN      0x00001
1864 #define   CIFSSEC_MAY_NTLMV2    0x00004
1865 #define   CIFSSEC_MAY_KRB5      0x00008
1866 #define   CIFSSEC_MAY_SEAL      0x00040 /* not supported yet */
1867 #define   CIFSSEC_MAY_NTLMSSP   0x00080 /* raw ntlmssp with ntlmv2 */
1868
1869 #define   CIFSSEC_MUST_SIGN     0x01001
1870 /* note that only one of the following can be set so the
1871 result of setting MUST flags more than once will be to
1872 require use of the stronger protocol */
1873 #define   CIFSSEC_MUST_NTLMV2   0x04004
1874 #define   CIFSSEC_MUST_KRB5     0x08008
1875 #ifdef CONFIG_CIFS_UPCALL
1876 #define   CIFSSEC_MASK          0x8F08F /* flags supported if no weak allowed */
1877 #else
1878 #define   CIFSSEC_MASK          0x87087 /* flags supported if no weak allowed */
1879 #endif /* UPCALL */
1880 #define   CIFSSEC_MUST_SEAL     0x40040 /* not supported yet */
1881 #define   CIFSSEC_MUST_NTLMSSP  0x80080 /* raw ntlmssp with ntlmv2 */
1882
1883 #define   CIFSSEC_DEF (CIFSSEC_MAY_SIGN | CIFSSEC_MAY_NTLMV2 | CIFSSEC_MAY_NTLMSSP)
1884 #define   CIFSSEC_MAX (CIFSSEC_MUST_NTLMV2)
1885 #define   CIFSSEC_AUTH_MASK (CIFSSEC_MAY_NTLMV2 | CIFSSEC_MAY_KRB5 | CIFSSEC_MAY_NTLMSSP)
1886 /*
1887  *****************************************************************
1888  * All constants go here
1889  *****************************************************************
1890  */
1891
1892 #define UID_HASH (16)
1893
1894 /*
1895  * Note that ONE module should define _DECLARE_GLOBALS_HERE to cause the
1896  * following to be declared.
1897  */
1898
1899 /****************************************************************************
1900  * Here are all the locks (spinlock, mutex, semaphore) in cifs.ko, arranged according
1901  * to the locking order. i.e. if two locks are to be held together, the lock that
1902  * appears higher in this list needs to be taken before the other.
1903  *
1904  * If you hold a lock that is lower in this list, and you need to take a higher lock
1905  * (or if you think that one of the functions that you're calling may need to), first
1906  * drop the lock you hold, pick up the higher lock, then the lower one. This will
1907  * ensure that locks are picked up only in one direction in the below table
1908  * (top to bottom).
1909  *
1910  * Also, if you expect a function to be called with a lock held, explicitly document
1911  * this in the comments on top of your function definition.
1912  *
1913  * And also, try to keep the critical sections (lock hold time) to be as minimal as
1914  * possible. Blocking / calling other functions with a lock held always increase
1915  * the risk of a possible deadlock.
1916  *
1917  * Following this rule will avoid unnecessary deadlocks, which can get really hard to
1918  * debug. Also, any new lock that you introduce, please add to this list in the correct
1919  * order.
1920  *
1921  * Please populate this list whenever you introduce new locks in your changes. Or in
1922  * case I've missed some existing locks. Please ensure that it's added in the list
1923  * based on the locking order expected.
1924  *
1925  * =====================================================================================
1926  * Lock                         Protects                        Initialization fn
1927  * =====================================================================================
1928  * vol_list_lock
1929  * vol_info->ctx_lock           vol_info->ctx
1930  * cifs_sb_info->tlink_tree_lock        cifs_sb_info->tlink_tree        cifs_setup_cifs_sb
1931  * TCP_Server_Info->            TCP_Server_Info                 cifs_get_tcp_session
1932  * reconnect_mutex
1933  * TCP_Server_Info->srv_mutex   TCP_Server_Info                 cifs_get_tcp_session
1934  * cifs_ses->session_mutex              cifs_ses                sesInfoAlloc
1935  *                              cifs_tcon
1936  * cifs_tcon->open_file_lock    cifs_tcon->openFileList         tconInfoAlloc
1937  *                              cifs_tcon->pending_opens
1938  * cifs_tcon->stat_lock         cifs_tcon->bytes_read           tconInfoAlloc
1939  *                              cifs_tcon->bytes_written
1940  * cifs_tcp_ses_lock            cifs_tcp_ses_list               sesInfoAlloc
1941  * GlobalMid_Lock               GlobalMaxActiveXid              init_cifs
1942  *                              GlobalCurrentXid
1943  *                              GlobalTotalActiveXid
1944  * TCP_Server_Info->srv_lock    (anything in struct not protected by another lock and can change)
1945  * TCP_Server_Info->mid_lock    TCP_Server_Info->pending_mid_q  cifs_get_tcp_session
1946  *                              ->CurrentMid
1947  *                              (any changes in mid_q_entry fields)
1948  * TCP_Server_Info->req_lock    TCP_Server_Info->in_flight      cifs_get_tcp_session
1949  *                              ->credits
1950  *                              ->echo_credits
1951  *                              ->oplock_credits
1952  *                              ->reconnect_instance
1953  * cifs_ses->ses_lock           (anything that is not protected by another lock and can change)
1954  * cifs_ses->iface_lock         cifs_ses->iface_list            sesInfoAlloc
1955  *                              ->iface_count
1956  *                              ->iface_last_update
1957  * cifs_ses->chan_lock          cifs_ses->chans
1958  *                              ->chans_need_reconnect
1959  *                              ->chans_in_reconnect
1960  * cifs_tcon->tc_lock           (anything that is not protected by another lock and can change)
1961  * cifsInodeInfo->open_file_lock        cifsInodeInfo->openFileList     cifs_alloc_inode
1962  * cifsInodeInfo->writers_lock  cifsInodeInfo->writers          cifsInodeInfo_alloc
1963  * cifsInodeInfo->lock_sem      cifsInodeInfo->llist            cifs_init_once
1964  *                              ->can_cache_brlcks
1965  * cifsInodeInfo->deferred_lock cifsInodeInfo->deferred_closes  cifsInodeInfo_alloc
1966  * cached_fid->fid_mutex                cifs_tcon->crfid                tconInfoAlloc
1967  * cifsFileInfo->fh_mutex               cifsFileInfo                    cifs_new_fileinfo
1968  * cifsFileInfo->file_info_lock cifsFileInfo->count             cifs_new_fileinfo
1969  *                              ->invalidHandle                 initiate_cifs_search
1970  *                              ->oplock_break_cancelled
1971  * cifs_aio_ctx->aio_mutex              cifs_aio_ctx                    cifs_aio_ctx_alloc
1972  ****************************************************************************/
1973
1974 #ifdef DECLARE_GLOBALS_HERE
1975 #define GLOBAL_EXTERN
1976 #else
1977 #define GLOBAL_EXTERN extern
1978 #endif
1979
1980 /*
1981  * the list of TCP_Server_Info structures, ie each of the sockets
1982  * connecting our client to a distinct server (ip address), is
1983  * chained together by cifs_tcp_ses_list. The list of all our SMB
1984  * sessions (and from that the tree connections) can be found
1985  * by iterating over cifs_tcp_ses_list
1986  */
1987 extern struct list_head         cifs_tcp_ses_list;
1988
1989 /*
1990  * This lock protects the cifs_tcp_ses_list, the list of smb sessions per
1991  * tcp session, and the list of tcon's per smb session. It also protects
1992  * the reference counters for the server, smb session, and tcon.
1993  * generally the locks should be taken in order tcp_ses_lock before
1994  * tcon->open_file_lock and that before file->file_info_lock since the
1995  * structure order is cifs_socket-->cifs_ses-->cifs_tcon-->cifs_file
1996  */
1997 extern spinlock_t               cifs_tcp_ses_lock;
1998
1999 /*
2000  * Global transaction id (XID) information
2001  */
2002 extern unsigned int GlobalCurrentXid;   /* protected by GlobalMid_Sem */
2003 extern unsigned int GlobalTotalActiveXid; /* prot by GlobalMid_Sem */
2004 extern unsigned int GlobalMaxActiveXid; /* prot by GlobalMid_Sem */
2005 extern spinlock_t GlobalMid_Lock; /* protects above & list operations on midQ entries */
2006
2007 /*
2008  *  Global counters, updated atomically
2009  */
2010 extern atomic_t sesInfoAllocCount;
2011 extern atomic_t tconInfoAllocCount;
2012 extern atomic_t tcpSesNextId;
2013 extern atomic_t tcpSesAllocCount;
2014 extern atomic_t tcpSesReconnectCount;
2015 extern atomic_t tconInfoReconnectCount;
2016
2017 /* Various Debug counters */
2018 extern atomic_t buf_alloc_count;        /* current number allocated  */
2019 extern atomic_t small_buf_alloc_count;
2020 #ifdef CONFIG_CIFS_STATS2
2021 extern atomic_t total_buf_alloc_count; /* total allocated over all time */
2022 extern atomic_t total_small_buf_alloc_count;
2023 extern unsigned int slow_rsp_threshold; /* number of secs before logging */
2024 #endif
2025
2026 /* Misc globals */
2027 extern bool enable_oplocks; /* enable or disable oplocks */
2028 extern bool lookupCacheEnabled;
2029 extern unsigned int global_secflags;    /* if on, session setup sent
2030                                 with more secure ntlmssp2 challenge/resp */
2031 extern unsigned int sign_CIFS_PDUs;  /* enable smb packet signing */
2032 extern bool enable_gcm_256; /* allow optional negotiate of strongest signing (aes-gcm-256) */
2033 extern bool require_gcm_256; /* require use of strongest signing (aes-gcm-256) */
2034 extern bool enable_negotiate_signing; /* request use of faster (GMAC) signing if available */
2035 extern bool linuxExtEnabled;/*enable Linux/Unix CIFS extensions*/
2036 extern unsigned int CIFSMaxBufSize;  /* max size not including hdr */
2037 extern unsigned int cifs_min_rcv;    /* min size of big ntwrk buf pool */
2038 extern unsigned int cifs_min_small;  /* min size of small buf pool */
2039 extern unsigned int cifs_max_pending; /* MAX requests at once to server*/
2040 extern bool disable_legacy_dialects;  /* forbid vers=1.0 and vers=2.0 mounts */
2041 extern atomic_t mid_count;
2042
2043 void cifs_oplock_break(struct work_struct *work);
2044 void cifs_queue_oplock_break(struct cifsFileInfo *cfile);
2045 void smb2_deferred_work_close(struct work_struct *work);
2046
2047 extern const struct slow_work_ops cifs_oplock_break_ops;
2048 extern struct workqueue_struct *cifsiod_wq;
2049 extern struct workqueue_struct *decrypt_wq;
2050 extern struct workqueue_struct *fileinfo_put_wq;
2051 extern struct workqueue_struct *cifsoplockd_wq;
2052 extern struct workqueue_struct *deferredclose_wq;
2053 extern __u32 cifs_lock_secret;
2054
2055 extern mempool_t *cifs_mid_poolp;
2056
2057 /* Operations for different SMB versions */
2058 #define SMB1_VERSION_STRING     "1.0"
2059 #define SMB20_VERSION_STRING    "2.0"
2060 #ifdef CONFIG_CIFS_ALLOW_INSECURE_LEGACY
2061 extern struct smb_version_operations smb1_operations;
2062 extern struct smb_version_values smb1_values;
2063 extern struct smb_version_operations smb20_operations;
2064 extern struct smb_version_values smb20_values;
2065 #endif /* CIFS_ALLOW_INSECURE_LEGACY */
2066 #define SMB21_VERSION_STRING    "2.1"
2067 extern struct smb_version_operations smb21_operations;
2068 extern struct smb_version_values smb21_values;
2069 #define SMBDEFAULT_VERSION_STRING "default"
2070 extern struct smb_version_values smbdefault_values;
2071 #define SMB3ANY_VERSION_STRING "3"
2072 extern struct smb_version_values smb3any_values;
2073 #define SMB30_VERSION_STRING    "3.0"
2074 extern struct smb_version_operations smb30_operations;
2075 extern struct smb_version_values smb30_values;
2076 #define SMB302_VERSION_STRING   "3.02"
2077 #define ALT_SMB302_VERSION_STRING "3.0.2"
2078 /*extern struct smb_version_operations smb302_operations;*/ /* not needed yet */
2079 extern struct smb_version_values smb302_values;
2080 #define SMB311_VERSION_STRING   "3.1.1"
2081 #define ALT_SMB311_VERSION_STRING "3.11"
2082 extern struct smb_version_operations smb311_operations;
2083 extern struct smb_version_values smb311_values;
2084
2085 static inline char *get_security_type_str(enum securityEnum sectype)
2086 {
2087         switch (sectype) {
2088         case RawNTLMSSP:
2089                 return "RawNTLMSSP";
2090         case Kerberos:
2091                 return "Kerberos";
2092         case NTLMv2:
2093                 return "NTLMv2";
2094         default:
2095                 return "Unknown";
2096         }
2097 }
2098
2099 static inline bool is_smb1_server(struct TCP_Server_Info *server)
2100 {
2101         return strcmp(server->vals->version_string, SMB1_VERSION_STRING) == 0;
2102 }
2103
2104 static inline bool is_tcon_dfs(struct cifs_tcon *tcon)
2105 {
2106         /*
2107          * For SMB1, see MS-CIFS 2.4.55 SMB_COM_TREE_CONNECT_ANDX (0x75) and MS-CIFS 3.3.4.4 DFS
2108          * Subsystem Notifies That a Share Is a DFS Share.
2109          *
2110          * For SMB2+, see MS-SMB2 2.2.10 SMB2 TREE_CONNECT Response and MS-SMB2 3.3.4.14 Server
2111          * Application Updates a Share.
2112          */
2113         if (!tcon || !tcon->ses || !tcon->ses->server)
2114                 return false;
2115         return is_smb1_server(tcon->ses->server) ? tcon->Flags & SMB_SHARE_IS_IN_DFS :
2116                 tcon->share_flags & (SHI1005_FLAGS_DFS | SHI1005_FLAGS_DFS_ROOT);
2117 }
2118
2119 static inline bool cifs_is_referral_server(struct cifs_tcon *tcon,
2120                                            const struct dfs_info3_param *ref)
2121 {
2122         /*
2123          * Check if all targets are capable of handling DFS referrals as per
2124          * MS-DFSC 2.2.4 RESP_GET_DFS_REFERRAL.
2125          */
2126         return is_tcon_dfs(tcon) || (ref && (ref->flags & DFSREF_REFERRAL_SERVER));
2127 }
2128
2129 static inline u64 cifs_flock_len(const struct file_lock *fl)
2130 {
2131         return (u64)fl->fl_end - fl->fl_start + 1;
2132 }
2133
2134 static inline size_t ntlmssp_workstation_name_size(const struct cifs_ses *ses)
2135 {
2136         if (WARN_ON_ONCE(!ses || !ses->server))
2137                 return 0;
2138         /*
2139          * Make workstation name no more than 15 chars when using insecure dialects as some legacy
2140          * servers do require it during NTLMSSP.
2141          */
2142         if (ses->server->dialect <= SMB20_PROT_ID)
2143                 return min_t(size_t, sizeof(ses->workstation_name), RFC1001_NAME_LEN_WITH_NULL);
2144         return sizeof(ses->workstation_name);
2145 }
2146
2147 static inline void move_cifs_info_to_smb2(struct smb2_file_all_info *dst, const FILE_ALL_INFO *src)
2148 {
2149         memcpy(dst, src, (size_t)((u8 *)&src->AccessFlags - (u8 *)src));
2150         dst->AccessFlags = src->AccessFlags;
2151         dst->CurrentByteOffset = src->CurrentByteOffset;
2152         dst->Mode = src->Mode;
2153         dst->AlignmentRequirement = src->AlignmentRequirement;
2154         dst->FileNameLength = src->FileNameLength;
2155 }
2156
2157 static inline unsigned int cifs_get_num_sgs(const struct smb_rqst *rqst,
2158                                             int num_rqst,
2159                                             const u8 *sig)
2160 {
2161         unsigned int len, skip;
2162         unsigned int nents = 0;
2163         unsigned long addr;
2164         int i, j;
2165
2166         /* Assumes the first rqst has a transform header as the first iov.
2167          * I.e.
2168          * rqst[0].rq_iov[0]  is transform header
2169          * rqst[0].rq_iov[1+] data to be encrypted/decrypted
2170          * rqst[1+].rq_iov[0+] data to be encrypted/decrypted
2171          */
2172         for (i = 0; i < num_rqst; i++) {
2173                 /*
2174                  * The first rqst has a transform header where the
2175                  * first 20 bytes are not part of the encrypted blob.
2176                  */
2177                 for (j = 0; j < rqst[i].rq_nvec; j++) {
2178                         struct kvec *iov = &rqst[i].rq_iov[j];
2179
2180                         skip = (i == 0) && (j == 0) ? 20 : 0;
2181                         addr = (unsigned long)iov->iov_base + skip;
2182                         if (unlikely(is_vmalloc_addr((void *)addr))) {
2183                                 len = iov->iov_len - skip;
2184                                 nents += DIV_ROUND_UP(offset_in_page(addr) + len,
2185                                                       PAGE_SIZE);
2186                         } else {
2187                                 nents++;
2188                         }
2189                 }
2190                 nents += rqst[i].rq_npages;
2191         }
2192         nents += DIV_ROUND_UP(offset_in_page(sig) + SMB2_SIGNATURE_SIZE, PAGE_SIZE);
2193         return nents;
2194 }
2195
2196 /* We can not use the normal sg_set_buf() as we will sometimes pass a
2197  * stack object as buf.
2198  */
2199 static inline struct scatterlist *cifs_sg_set_buf(struct scatterlist *sg,
2200                                                   const void *buf,
2201                                                   unsigned int buflen)
2202 {
2203         unsigned long addr = (unsigned long)buf;
2204         unsigned int off = offset_in_page(addr);
2205
2206         addr &= PAGE_MASK;
2207         if (unlikely(is_vmalloc_addr((void *)addr))) {
2208                 do {
2209                         unsigned int len = min_t(unsigned int, buflen, PAGE_SIZE - off);
2210
2211                         sg_set_page(sg++, vmalloc_to_page((void *)addr), len, off);
2212
2213                         off = 0;
2214                         addr += PAGE_SIZE;
2215                         buflen -= len;
2216                 } while (buflen);
2217         } else {
2218                 sg_set_page(sg++, virt_to_page(addr), buflen, off);
2219         }
2220         return sg;
2221 }
2222
2223 #endif  /* _CIFS_GLOB_H */