Merge tag 'scsi-fixes' of git://git.kernel.org/pub/scm/linux/kernel/git/jejb/scsi
[linux-block.git] / include / linux / netfs.h
1 /* SPDX-License-Identifier: GPL-2.0-or-later */
2 /* Network filesystem support services.
3  *
4  * Copyright (C) 2021 Red Hat, Inc. All Rights Reserved.
5  * Written by David Howells (dhowells@redhat.com)
6  *
7  * See:
8  *
9  *      Documentation/filesystems/netfs_library.rst
10  *
11  * for a description of the network filesystem interface declared here.
12  */
13
14 #ifndef _LINUX_NETFS_H
15 #define _LINUX_NETFS_H
16
17 #include <linux/workqueue.h>
18 #include <linux/fs.h>
19 #include <linux/pagemap.h>
20 #include <linux/uio.h>
21
22 enum netfs_sreq_ref_trace;
23 typedef struct mempool_s mempool_t;
24
25 /**
26  * folio_start_private_2 - Start an fscache write on a folio.  [DEPRECATED]
27  * @folio: The folio.
28  *
29  * Call this function before writing a folio to a local cache.  Starting a
30  * second write before the first one finishes is not allowed.
31  *
32  * Note that this should no longer be used.
33  */
34 static inline void folio_start_private_2(struct folio *folio)
35 {
36         VM_BUG_ON_FOLIO(folio_test_private_2(folio), folio);
37         folio_get(folio);
38         folio_set_private_2(folio);
39 }
40
41 /* Marks used on xarray-based buffers */
42 #define NETFS_BUF_PUT_MARK      XA_MARK_0       /* - Page needs putting  */
43 #define NETFS_BUF_PAGECACHE_MARK XA_MARK_1      /* - Page needs wb/dirty flag wrangling */
44
45 enum netfs_io_source {
46         NETFS_FILL_WITH_ZEROES,
47         NETFS_DOWNLOAD_FROM_SERVER,
48         NETFS_READ_FROM_CACHE,
49         NETFS_INVALID_READ,
50         NETFS_UPLOAD_TO_SERVER,
51         NETFS_WRITE_TO_CACHE,
52         NETFS_INVALID_WRITE,
53 } __mode(byte);
54
55 typedef void (*netfs_io_terminated_t)(void *priv, ssize_t transferred_or_error,
56                                       bool was_async);
57
58 /*
59  * Per-inode context.  This wraps the VFS inode.
60  */
61 struct netfs_inode {
62         struct inode            inode;          /* The VFS inode */
63         const struct netfs_request_ops *ops;
64 #if IS_ENABLED(CONFIG_FSCACHE)
65         struct fscache_cookie   *cache;
66 #endif
67         struct mutex            wb_lock;        /* Writeback serialisation */
68         loff_t                  remote_i_size;  /* Size of the remote file */
69         loff_t                  zero_point;     /* Size after which we assume there's no data
70                                                  * on the server */
71         unsigned long           flags;
72 #define NETFS_ICTX_ODIRECT      0               /* The file has DIO in progress */
73 #define NETFS_ICTX_UNBUFFERED   1               /* I/O should not use the pagecache */
74 #define NETFS_ICTX_WRITETHROUGH 2               /* Write-through caching */
75 #define NETFS_ICTX_USE_PGPRIV2  31              /* [DEPRECATED] Use PG_private_2 to mark
76                                                  * write to cache on read */
77 };
78
79 /*
80  * A netfs group - for instance a ceph snap.  This is marked on dirty pages and
81  * pages marked with a group must be flushed before they can be written under
82  * the domain of another group.
83  */
84 struct netfs_group {
85         refcount_t              ref;
86         void (*free)(struct netfs_group *netfs_group);
87 };
88
89 /*
90  * Information about a dirty page (attached only if necessary).
91  * folio->private
92  */
93 struct netfs_folio {
94         struct netfs_group      *netfs_group;   /* Filesystem's grouping marker (or NULL). */
95         unsigned int            dirty_offset;   /* Write-streaming dirty data offset */
96         unsigned int            dirty_len;      /* Write-streaming dirty data length */
97 };
98 #define NETFS_FOLIO_INFO        0x1UL   /* OR'd with folio->private. */
99 #define NETFS_FOLIO_COPY_TO_CACHE ((struct netfs_group *)0x356UL) /* Write to the cache only */
100
101 static inline bool netfs_is_folio_info(const void *priv)
102 {
103         return (unsigned long)priv & NETFS_FOLIO_INFO;
104 }
105
106 static inline struct netfs_folio *__netfs_folio_info(const void *priv)
107 {
108         if (netfs_is_folio_info(priv))
109                 return (struct netfs_folio *)((unsigned long)priv & ~NETFS_FOLIO_INFO);
110         return NULL;
111 }
112
113 static inline struct netfs_folio *netfs_folio_info(struct folio *folio)
114 {
115         return __netfs_folio_info(folio_get_private(folio));
116 }
117
118 static inline struct netfs_group *netfs_folio_group(struct folio *folio)
119 {
120         struct netfs_folio *finfo;
121         void *priv = folio_get_private(folio);
122
123         finfo = netfs_folio_info(folio);
124         if (finfo)
125                 return finfo->netfs_group;
126         return priv;
127 }
128
129 /*
130  * Stream of I/O subrequests going to a particular destination, such as the
131  * server or the local cache.  This is mainly intended for writing where we may
132  * have to write to multiple destinations concurrently.
133  */
134 struct netfs_io_stream {
135         /* Submission tracking */
136         struct netfs_io_subrequest *construct;  /* Op being constructed */
137         unsigned int            submit_off;     /* Folio offset we're submitting from */
138         unsigned int            submit_len;     /* Amount of data left to submit */
139         unsigned int            submit_max_len; /* Amount I/O can be rounded up to */
140         void (*prepare_write)(struct netfs_io_subrequest *subreq);
141         void (*issue_write)(struct netfs_io_subrequest *subreq);
142         /* Collection tracking */
143         struct list_head        subrequests;    /* Contributory I/O operations */
144         struct netfs_io_subrequest *front;      /* Op being collected */
145         unsigned long long      collected_to;   /* Position we've collected results to */
146         size_t                  transferred;    /* The amount transferred from this stream */
147         enum netfs_io_source    source;         /* Where to read from/write to */
148         unsigned short          error;          /* Aggregate error for the stream */
149         unsigned char           stream_nr;      /* Index of stream in parent table */
150         bool                    avail;          /* T if stream is available */
151         bool                    active;         /* T if stream is active */
152         bool                    need_retry;     /* T if this stream needs retrying */
153         bool                    failed;         /* T if this stream failed */
154 };
155
156 /*
157  * Resources required to do operations on a cache.
158  */
159 struct netfs_cache_resources {
160         const struct netfs_cache_ops    *ops;
161         void                            *cache_priv;
162         void                            *cache_priv2;
163         unsigned int                    debug_id;       /* Cookie debug ID */
164         unsigned int                    inval_counter;  /* object->inval_counter at begin_op */
165 };
166
167 /*
168  * Descriptor for a single component subrequest.  Each operation represents an
169  * individual read/write from/to a server, a cache, a journal, etc..
170  *
171  * The buffer iterator is persistent for the life of the subrequest struct and
172  * the pages it points to can be relied on to exist for the duration.
173  */
174 struct netfs_io_subrequest {
175         struct netfs_io_request *rreq;          /* Supervising I/O request */
176         struct work_struct      work;
177         struct list_head        rreq_link;      /* Link in rreq->subrequests */
178         struct iov_iter         io_iter;        /* Iterator for this subrequest */
179         unsigned long long      start;          /* Where to start the I/O */
180         size_t                  max_len;        /* Maximum size of the I/O */
181         size_t                  len;            /* Size of the I/O */
182         size_t                  transferred;    /* Amount of data transferred */
183         refcount_t              ref;
184         short                   error;          /* 0 or error that occurred */
185         unsigned short          debug_index;    /* Index in list (for debugging output) */
186         unsigned int            nr_segs;        /* Number of segs in io_iter */
187         unsigned int            max_nr_segs;    /* 0 or max number of segments in an iterator */
188         enum netfs_io_source    source;         /* Where to read from/write to */
189         unsigned char           stream_nr;      /* I/O stream this belongs to */
190         unsigned long           flags;
191 #define NETFS_SREQ_COPY_TO_CACHE        0       /* Set if should copy the data to the cache */
192 #define NETFS_SREQ_CLEAR_TAIL           1       /* Set if the rest of the read should be cleared */
193 #define NETFS_SREQ_SHORT_IO             2       /* Set if the I/O was short */
194 #define NETFS_SREQ_SEEK_DATA_READ       3       /* Set if ->read() should SEEK_DATA first */
195 #define NETFS_SREQ_NO_PROGRESS          4       /* Set if we didn't manage to read any data */
196 #define NETFS_SREQ_ONDEMAND             5       /* Set if it's from on-demand read mode */
197 #define NETFS_SREQ_BOUNDARY             6       /* Set if ends on hard boundary (eg. ceph object) */
198 #define NETFS_SREQ_IN_PROGRESS          8       /* Unlocked when the subrequest completes */
199 #define NETFS_SREQ_NEED_RETRY           9       /* Set if the filesystem requests a retry */
200 #define NETFS_SREQ_RETRYING             10      /* Set if we're retrying */
201 #define NETFS_SREQ_FAILED               11      /* Set if the subreq failed unretryably */
202 };
203
204 enum netfs_io_origin {
205         NETFS_READAHEAD,                /* This read was triggered by readahead */
206         NETFS_READPAGE,                 /* This read is a synchronous read */
207         NETFS_READ_FOR_WRITE,           /* This read is to prepare a write */
208         NETFS_COPY_TO_CACHE,            /* This write is to copy a read to the cache */
209         NETFS_WRITEBACK,                /* This write was triggered by writepages */
210         NETFS_WRITETHROUGH,             /* This write was made by netfs_perform_write() */
211         NETFS_UNBUFFERED_WRITE,         /* This is an unbuffered write */
212         NETFS_DIO_READ,                 /* This is a direct I/O read */
213         NETFS_DIO_WRITE,                /* This is a direct I/O write */
214         nr__netfs_io_origin
215 } __mode(byte);
216
217 /*
218  * Descriptor for an I/O helper request.  This is used to make multiple I/O
219  * operations to a variety of data stores and then stitch the result together.
220  */
221 struct netfs_io_request {
222         union {
223                 struct work_struct work;
224                 struct rcu_head rcu;
225         };
226         struct inode            *inode;         /* The file being accessed */
227         struct address_space    *mapping;       /* The mapping being accessed */
228         struct kiocb            *iocb;          /* AIO completion vector */
229         struct netfs_cache_resources cache_resources;
230         struct list_head        proc_link;      /* Link in netfs_iorequests */
231         struct list_head        subrequests;    /* Contributory I/O operations */
232         struct netfs_io_stream  io_streams[2];  /* Streams of parallel I/O operations */
233 #define NR_IO_STREAMS 2 //wreq->nr_io_streams
234         struct netfs_group      *group;         /* Writeback group being written back */
235         struct iov_iter         iter;           /* Unencrypted-side iterator */
236         struct iov_iter         io_iter;        /* I/O (Encrypted-side) iterator */
237         void                    *netfs_priv;    /* Private data for the netfs */
238         void                    *netfs_priv2;   /* Private data for the netfs */
239         struct bio_vec          *direct_bv;     /* DIO buffer list (when handling iovec-iter) */
240         unsigned int            direct_bv_count; /* Number of elements in direct_bv[] */
241         unsigned int            debug_id;
242         unsigned int            rsize;          /* Maximum read size (0 for none) */
243         unsigned int            wsize;          /* Maximum write size (0 for none) */
244         atomic_t                subreq_counter; /* Next subreq->debug_index */
245         unsigned int            nr_group_rel;   /* Number of refs to release on ->group */
246         spinlock_t              lock;           /* Lock for queuing subreqs */
247         atomic_t                nr_outstanding; /* Number of ops in progress */
248         atomic_t                nr_copy_ops;    /* Number of copy-to-cache ops in progress */
249         size_t                  upper_len;      /* Length can be extended to here */
250         unsigned long long      submitted;      /* Amount submitted for I/O so far */
251         unsigned long long      len;            /* Length of the request */
252         size_t                  transferred;    /* Amount to be indicated as transferred */
253         short                   error;          /* 0 or error that occurred */
254         enum netfs_io_origin    origin;         /* Origin of the request */
255         bool                    direct_bv_unpin; /* T if direct_bv[] must be unpinned */
256         unsigned long long      i_size;         /* Size of the file */
257         unsigned long long      start;          /* Start position */
258         atomic64_t              issued_to;      /* Write issuer folio cursor */
259         unsigned long long      contiguity;     /* Tracking for gaps in the writeback sequence */
260         unsigned long long      collected_to;   /* Point we've collected to */
261         unsigned long long      cleaned_to;     /* Position we've cleaned folios to */
262         pgoff_t                 no_unlock_folio; /* Don't unlock this folio after read */
263         refcount_t              ref;
264         unsigned long           flags;
265 #define NETFS_RREQ_INCOMPLETE_IO        0       /* Some ioreqs terminated short or with error */
266 #define NETFS_RREQ_COPY_TO_CACHE        1       /* Need to write to the cache */
267 #define NETFS_RREQ_NO_UNLOCK_FOLIO      2       /* Don't unlock no_unlock_folio on completion */
268 #define NETFS_RREQ_DONT_UNLOCK_FOLIOS   3       /* Don't unlock the folios on completion */
269 #define NETFS_RREQ_FAILED               4       /* The request failed */
270 #define NETFS_RREQ_IN_PROGRESS          5       /* Unlocked when the request completes */
271 #define NETFS_RREQ_WRITE_TO_CACHE       7       /* Need to write to the cache */
272 #define NETFS_RREQ_UPLOAD_TO_SERVER     8       /* Need to write to the server */
273 #define NETFS_RREQ_NONBLOCK             9       /* Don't block if possible (O_NONBLOCK) */
274 #define NETFS_RREQ_BLOCKED              10      /* We blocked */
275 #define NETFS_RREQ_PAUSE                11      /* Pause subrequest generation */
276 #define NETFS_RREQ_USE_IO_ITER          12      /* Use ->io_iter rather than ->i_pages */
277 #define NETFS_RREQ_ALL_QUEUED           13      /* All subreqs are now queued */
278 #define NETFS_RREQ_USE_PGPRIV2          31      /* [DEPRECATED] Use PG_private_2 to mark
279                                                  * write to cache on read */
280         const struct netfs_request_ops *netfs_ops;
281         void (*cleanup)(struct netfs_io_request *req);
282 };
283
284 /*
285  * Operations the network filesystem can/must provide to the helpers.
286  */
287 struct netfs_request_ops {
288         mempool_t *request_pool;
289         mempool_t *subrequest_pool;
290         int (*init_request)(struct netfs_io_request *rreq, struct file *file);
291         void (*free_request)(struct netfs_io_request *rreq);
292         void (*free_subrequest)(struct netfs_io_subrequest *rreq);
293
294         /* Read request handling */
295         void (*expand_readahead)(struct netfs_io_request *rreq);
296         bool (*clamp_length)(struct netfs_io_subrequest *subreq);
297         void (*issue_read)(struct netfs_io_subrequest *subreq);
298         bool (*is_still_valid)(struct netfs_io_request *rreq);
299         int (*check_write_begin)(struct file *file, loff_t pos, unsigned len,
300                                  struct folio **foliop, void **_fsdata);
301         void (*done)(struct netfs_io_request *rreq);
302
303         /* Modification handling */
304         void (*update_i_size)(struct inode *inode, loff_t i_size);
305         void (*post_modify)(struct inode *inode);
306
307         /* Write request handling */
308         void (*begin_writeback)(struct netfs_io_request *wreq);
309         void (*prepare_write)(struct netfs_io_subrequest *subreq);
310         void (*issue_write)(struct netfs_io_subrequest *subreq);
311         void (*retry_request)(struct netfs_io_request *wreq, struct netfs_io_stream *stream);
312         void (*invalidate_cache)(struct netfs_io_request *wreq);
313 };
314
315 /*
316  * How to handle reading from a hole.
317  */
318 enum netfs_read_from_hole {
319         NETFS_READ_HOLE_IGNORE,
320         NETFS_READ_HOLE_CLEAR,
321         NETFS_READ_HOLE_FAIL,
322 };
323
324 /*
325  * Table of operations for access to a cache.
326  */
327 struct netfs_cache_ops {
328         /* End an operation */
329         void (*end_operation)(struct netfs_cache_resources *cres);
330
331         /* Read data from the cache */
332         int (*read)(struct netfs_cache_resources *cres,
333                     loff_t start_pos,
334                     struct iov_iter *iter,
335                     enum netfs_read_from_hole read_hole,
336                     netfs_io_terminated_t term_func,
337                     void *term_func_priv);
338
339         /* Write data to the cache */
340         int (*write)(struct netfs_cache_resources *cres,
341                      loff_t start_pos,
342                      struct iov_iter *iter,
343                      netfs_io_terminated_t term_func,
344                      void *term_func_priv);
345
346         /* Write data to the cache from a netfs subrequest. */
347         void (*issue_write)(struct netfs_io_subrequest *subreq);
348
349         /* Expand readahead request */
350         void (*expand_readahead)(struct netfs_cache_resources *cres,
351                                  unsigned long long *_start,
352                                  unsigned long long *_len,
353                                  unsigned long long i_size);
354
355         /* Prepare a read operation, shortening it to a cached/uncached
356          * boundary as appropriate.
357          */
358         enum netfs_io_source (*prepare_read)(struct netfs_io_subrequest *subreq,
359                                              unsigned long long i_size);
360
361         /* Prepare a write subrequest, working out if we're allowed to do it
362          * and finding out the maximum amount of data to gather before
363          * attempting to submit.  If we're not permitted to do it, the
364          * subrequest should be marked failed.
365          */
366         void (*prepare_write_subreq)(struct netfs_io_subrequest *subreq);
367
368         /* Prepare a write operation, working out what part of the write we can
369          * actually do.
370          */
371         int (*prepare_write)(struct netfs_cache_resources *cres,
372                              loff_t *_start, size_t *_len, size_t upper_len,
373                              loff_t i_size, bool no_space_allocated_yet);
374
375         /* Prepare an on-demand read operation, shortening it to a cached/uncached
376          * boundary as appropriate.
377          */
378         enum netfs_io_source (*prepare_ondemand_read)(struct netfs_cache_resources *cres,
379                                                       loff_t start, size_t *_len,
380                                                       loff_t i_size,
381                                                       unsigned long *_flags, ino_t ino);
382
383         /* Query the occupancy of the cache in a region, returning where the
384          * next chunk of data starts and how long it is.
385          */
386         int (*query_occupancy)(struct netfs_cache_resources *cres,
387                                loff_t start, size_t len, size_t granularity,
388                                loff_t *_data_start, size_t *_data_len);
389 };
390
391 /* High-level read API. */
392 ssize_t netfs_unbuffered_read_iter_locked(struct kiocb *iocb, struct iov_iter *iter);
393 ssize_t netfs_unbuffered_read_iter(struct kiocb *iocb, struct iov_iter *iter);
394 ssize_t netfs_buffered_read_iter(struct kiocb *iocb, struct iov_iter *iter);
395 ssize_t netfs_file_read_iter(struct kiocb *iocb, struct iov_iter *iter);
396
397 /* High-level write API */
398 ssize_t netfs_perform_write(struct kiocb *iocb, struct iov_iter *iter,
399                             struct netfs_group *netfs_group);
400 ssize_t netfs_buffered_write_iter_locked(struct kiocb *iocb, struct iov_iter *from,
401                                          struct netfs_group *netfs_group);
402 ssize_t netfs_unbuffered_write_iter(struct kiocb *iocb, struct iov_iter *from);
403 ssize_t netfs_file_write_iter(struct kiocb *iocb, struct iov_iter *from);
404
405 /* Address operations API */
406 struct readahead_control;
407 void netfs_readahead(struct readahead_control *);
408 int netfs_read_folio(struct file *, struct folio *);
409 int netfs_write_begin(struct netfs_inode *, struct file *,
410                       struct address_space *, loff_t pos, unsigned int len,
411                       struct folio **, void **fsdata);
412 int netfs_writepages(struct address_space *mapping,
413                      struct writeback_control *wbc);
414 bool netfs_dirty_folio(struct address_space *mapping, struct folio *folio);
415 int netfs_unpin_writeback(struct inode *inode, struct writeback_control *wbc);
416 void netfs_clear_inode_writeback(struct inode *inode, const void *aux);
417 void netfs_invalidate_folio(struct folio *folio, size_t offset, size_t length);
418 bool netfs_release_folio(struct folio *folio, gfp_t gfp);
419
420 /* VMA operations API. */
421 vm_fault_t netfs_page_mkwrite(struct vm_fault *vmf, struct netfs_group *netfs_group);
422
423 /* (Sub)request management API. */
424 void netfs_subreq_terminated(struct netfs_io_subrequest *, ssize_t, bool);
425 void netfs_get_subrequest(struct netfs_io_subrequest *subreq,
426                           enum netfs_sreq_ref_trace what);
427 void netfs_put_subrequest(struct netfs_io_subrequest *subreq,
428                           bool was_async, enum netfs_sreq_ref_trace what);
429 ssize_t netfs_extract_user_iter(struct iov_iter *orig, size_t orig_len,
430                                 struct iov_iter *new,
431                                 iov_iter_extraction_t extraction_flags);
432 size_t netfs_limit_iter(const struct iov_iter *iter, size_t start_offset,
433                         size_t max_size, size_t max_segs);
434 void netfs_prepare_write_failed(struct netfs_io_subrequest *subreq);
435 void netfs_write_subrequest_terminated(void *_op, ssize_t transferred_or_error,
436                                        bool was_async);
437 void netfs_queue_write_request(struct netfs_io_subrequest *subreq);
438
439 int netfs_start_io_read(struct inode *inode);
440 void netfs_end_io_read(struct inode *inode);
441 int netfs_start_io_write(struct inode *inode);
442 void netfs_end_io_write(struct inode *inode);
443 int netfs_start_io_direct(struct inode *inode);
444 void netfs_end_io_direct(struct inode *inode);
445
446 /**
447  * netfs_inode - Get the netfs inode context from the inode
448  * @inode: The inode to query
449  *
450  * Get the netfs lib inode context from the network filesystem's inode.  The
451  * context struct is expected to directly follow on from the VFS inode struct.
452  */
453 static inline struct netfs_inode *netfs_inode(struct inode *inode)
454 {
455         return container_of(inode, struct netfs_inode, inode);
456 }
457
458 /**
459  * netfs_inode_init - Initialise a netfslib inode context
460  * @ctx: The netfs inode to initialise
461  * @ops: The netfs's operations list
462  * @use_zero_point: True to use the zero_point read optimisation
463  *
464  * Initialise the netfs library context struct.  This is expected to follow on
465  * directly from the VFS inode struct.
466  */
467 static inline void netfs_inode_init(struct netfs_inode *ctx,
468                                     const struct netfs_request_ops *ops,
469                                     bool use_zero_point)
470 {
471         ctx->ops = ops;
472         ctx->remote_i_size = i_size_read(&ctx->inode);
473         ctx->zero_point = LLONG_MAX;
474         ctx->flags = 0;
475 #if IS_ENABLED(CONFIG_FSCACHE)
476         ctx->cache = NULL;
477 #endif
478         mutex_init(&ctx->wb_lock);
479         /* ->releasepage() drives zero_point */
480         if (use_zero_point) {
481                 ctx->zero_point = ctx->remote_i_size;
482                 mapping_set_release_always(ctx->inode.i_mapping);
483         }
484 }
485
486 /**
487  * netfs_resize_file - Note that a file got resized
488  * @ctx: The netfs inode being resized
489  * @new_i_size: The new file size
490  * @changed_on_server: The change was applied to the server
491  *
492  * Inform the netfs lib that a file got resized so that it can adjust its state.
493  */
494 static inline void netfs_resize_file(struct netfs_inode *ctx, loff_t new_i_size,
495                                      bool changed_on_server)
496 {
497         if (changed_on_server)
498                 ctx->remote_i_size = new_i_size;
499         if (new_i_size < ctx->zero_point)
500                 ctx->zero_point = new_i_size;
501 }
502
503 /**
504  * netfs_i_cookie - Get the cache cookie from the inode
505  * @ctx: The netfs inode to query
506  *
507  * Get the caching cookie (if enabled) from the network filesystem's inode.
508  */
509 static inline struct fscache_cookie *netfs_i_cookie(struct netfs_inode *ctx)
510 {
511 #if IS_ENABLED(CONFIG_FSCACHE)
512         return ctx->cache;
513 #else
514         return NULL;
515 #endif
516 }
517
518 #endif /* _LINUX_NETFS_H */