Revamp file locking
[fio.git] / fio.h
diff --git a/fio.h b/fio.h
index 9c9002454054e3aa37cbb7bc5da7ef8e0e8e0f2a..b22009b9ffc933bdf4f5ce12c13916398f06a91a 100644 (file)
--- a/fio.h
+++ b/fio.h
@@ -22,6 +22,8 @@
 #include "arch/arch.h"
 #include "os/os.h"
 #include "mutex.h"
+#include "log.h"
+#include "debug.h"
 
 #ifdef FIO_HAVE_GUASI
 #include <guasi.h>
@@ -44,6 +46,12 @@ enum td_ddir {
        TD_DDIR_RANDRW          = TD_DDIR_RW | TD_DDIR_RAND,
 };
 
+enum file_lock_mode {
+       FILE_LOCK_NONE,
+       FILE_LOCK_EXCLUSIVE,
+       FILE_LOCK_READWRITE,
+};
+
 /*
  * Use for maintaining statistics
  */
@@ -269,11 +277,10 @@ enum fio_ioengine_flags {
 enum fio_file_flags {
        FIO_FILE_OPEN           = 1 << 0,       /* file is open */
        FIO_FILE_CLOSING        = 1 << 1,       /* file being closed */
-       FIO_FILE_EXISTS         = 1 << 2,       /* file there */
-       FIO_FILE_EXTEND         = 1 << 3,       /* needs extend */
-       FIO_FILE_NOSORT         = 1 << 4,       /* don't sort verify blocks */
-       FIO_FILE_DONE           = 1 << 5,       /* io completed to this file */
-       FIO_SIZE_KNOWN          = 1 << 6,       /* size has been set */
+       FIO_FILE_EXTEND         = 1 << 2,       /* needs extend */
+       FIO_FILE_DONE           = 1 << 3,       /* io completed to this file */
+       FIO_SIZE_KNOWN          = 1 << 4,       /* size has been set */
+       FIO_FILE_HASHED         = 1 << 5,       /* file is on hash */
 };
 
 /*
@@ -281,6 +288,7 @@ enum fio_file_flags {
  * this structure holds state information for a single file.
  */
 struct fio_file {
+       struct list_head hash_list;
        enum fio_filetype filetype;
 
        /*
@@ -306,7 +314,14 @@ struct fio_file {
        unsigned long long io_size;
 
        unsigned long long last_pos;
-       unsigned long long last_completed_pos;
+
+       /*
+        * if io is protected by a semaphore, this is set
+        */
+       struct fio_mutex *lock;
+       void *lock_owner;
+       unsigned int lock_batch;
+       enum fio_ddir lock_ddir;
 
        /*
         * block map for random io
@@ -406,6 +421,8 @@ struct thread_options {
 
        unsigned int nr_files;
        unsigned int open_files;
+       enum file_lock_mode file_lock_mode;
+       unsigned int lockfile_batch;
 
        unsigned int odirect;
        unsigned int invalidate_cache;
@@ -498,7 +515,7 @@ struct thread_data {
        int thread_number;
        int groupid;
        struct thread_stat ts;
-       struct fio_file *files;
+       struct fio_file **files;
        unsigned int files_index;
        unsigned int nr_open_files;
        unsigned int nr_done_files;
@@ -563,7 +580,7 @@ struct thread_data {
        unsigned long long io_skip_bytes;
        unsigned long long this_io_bytes[2];
        unsigned long long zone_bytes;
-       struct fio_sem *mutex;
+       struct fio_mutex *mutex;
 
        /*
         * State for random io, a bitmap of blocks done vs not done
@@ -661,8 +678,6 @@ extern int nr_process, nr_thread;
 extern int shm_id;
 extern int groupid;
 extern int terse_output;
-extern FILE *f_out;
-extern FILE *f_err;
 extern int temp_stall_ts;
 extern unsigned long long mlock_size;
 extern unsigned long page_mask, page_size;
@@ -683,7 +698,7 @@ static inline void fio_ro_check(struct thread_data *td, struct io_u *io_u)
 }
 
 #define BLOCKS_PER_MAP         (8 * sizeof(long))
-#define TO_MAP_BLOCK(td, f, b) ((b) - ((f)->file_offset / (unsigned long long) (td)->o.rw_min_bs))
+#define TO_MAP_BLOCK(td, f, b) (b)
 #define RAND_MAP_IDX(td, f, b) (TO_MAP_BLOCK(td, f, b) / BLOCKS_PER_MAP)
 #define RAND_MAP_BIT(td, f, b) (TO_MAP_BLOCK(td, f, b) & (BLOCKS_PER_MAP - 1))
 
@@ -802,14 +817,18 @@ extern void options_mem_free(struct thread_data *);
  * File setup/shutdown
  */
 extern void close_files(struct thread_data *);
+extern void close_and_free_files(struct thread_data *);
 extern int __must_check setup_files(struct thread_data *);
 extern int __must_check open_files(struct thread_data *);
 extern int __must_check file_invalidate_cache(struct thread_data *, struct fio_file *);
 extern int __must_check generic_open_file(struct thread_data *, struct fio_file *);
-extern void generic_close_file(struct thread_data *, struct fio_file *);
+extern int __must_check generic_close_file(struct thread_data *, struct fio_file *);
 extern int add_file(struct thread_data *, const char *);
 extern void get_file(struct fio_file *);
-extern void put_file(struct thread_data *, struct fio_file *);
+extern int __must_check put_file(struct thread_data *, struct fio_file *);
+extern void lock_file(struct thread_data *, struct fio_file *, enum fio_ddir);
+extern void unlock_file(struct thread_data *, struct fio_file *);
+extern void unlock_file_all(struct thread_data *, struct fio_file *);
 extern int add_dir_files(struct thread_data *, const char *);
 extern int init_random_map(struct thread_data *);
 extern void dup_files(struct thread_data *, struct thread_data *);
@@ -895,7 +914,7 @@ extern int __must_check td_io_sync(struct thread_data *, struct fio_file *);
 extern int __must_check td_io_getevents(struct thread_data *, unsigned int, unsigned int, struct timespec *);
 extern int __must_check td_io_commit(struct thread_data *);
 extern int __must_check td_io_open_file(struct thread_data *, struct fio_file *);
-extern void td_io_close_file(struct thread_data *, struct fio_file *);
+extern int td_io_close_file(struct thread_data *, struct fio_file *);
 
 /*
  * blktrace support
@@ -905,20 +924,6 @@ extern int is_blktrace(const char *);
 extern int load_blktrace(struct thread_data *, const char *);
 #endif
 
-/*
- * If logging output to a file, stderr should go to both stderr and f_err
- */
-#define log_err(args...)       do {            \
-       fprintf(f_err, ##args);                 \
-       if (f_err != stderr)                    \
-               fprintf(stderr, ##args);        \
-       } while (0)
-
-#define log_info(args...)      fprintf(f_out, ##args)
-
-FILE *get_f_out(void);
-FILE *get_f_err(void);
-
 struct ioengine_ops {
        struct list_head list;
        char name[16];
@@ -934,12 +939,12 @@ struct ioengine_ops {
        int (*cancel)(struct thread_data *, struct io_u *);
        void (*cleanup)(struct thread_data *);
        int (*open_file)(struct thread_data *, struct fio_file *);
-       void (*close_file)(struct thread_data *, struct fio_file *);
+       int (*close_file)(struct thread_data *, struct fio_file *);
        void *data;
        void *dlhandle;
 };
 
-#define FIO_IOOPS_VERSION      8
+#define FIO_IOOPS_VERSION      9
 
 extern struct ioengine_ops *load_ioengine(struct thread_data *, const char *);
 extern void register_ioengine(struct ioengine_ops *);
@@ -956,7 +961,7 @@ extern void close_ioengine(struct thread_data *);
 #define for_each_td(td, i)     \
        for ((i) = 0, (td) = &threads[0]; (i) < (int) thread_number; (i)++, (td)++)
 #define for_each_file(td, f, i)        \
-       for ((i) = 0, (f) = &(td)->files[0]; (i) < (td)->o.nr_files; (i)++, (f)++)
+       for ((i) = 0, (f) = (td)->files[0]; (i) < (td)->o.nr_files; (i)++, (f)++)
 
 #define fio_assert(td, cond)   do {    \
        if (!(cond)) {                  \
@@ -974,34 +979,7 @@ static inline void clear_error(struct thread_data *td)
        td->verror[0] = '\0';
 }
 
-enum {
-       FD_PROCESS      = 0,
-       FD_FILE,
-       FD_IO,
-       FD_MEM,
-       FD_BLKTRACE,
-       FD_VERIFY,
-       FD_DEBUG_MAX,
-};
-
 #ifdef FIO_INC_DEBUG
-struct debug_level {
-       const char *name;
-       unsigned long shift;
-};
-extern struct debug_level debug_levels[];
-
-extern unsigned long fio_debug;
-
-#define dprint(type, str, args...)                             \
-       do {                                                    \
-               assert(type < FD_DEBUG_MAX);                    \
-               if ((((1 << type)) & fio_debug) == 0)           \
-                       break;                                  \
-               log_info("%-8s ", debug_levels[(type)].name);   \
-               log_info(str, ##args);                          \
-       } while (0)
-
 static inline void dprint_io_u(struct io_u *io_u, const char *p)
 {
        struct fio_file *f = io_u->file;
@@ -1016,7 +994,6 @@ static inline void dprint_io_u(struct io_u *io_u, const char *p)
        }
 }
 #else
-#define dprint(type, str, args...)
 #define dprint_io_u(io_u, p)
 #endif