Merge branch 'stephen/rate-ull' of https://github.com/sbates130272/fio
[fio.git] / zbd.c
diff --git a/zbd.c b/zbd.c
index 99ac72cab71cbcbdec4c32f755367aff94a8669a..36de29fbd2fd6399aa81c8757d240274a805df47 100644 (file)
--- a/zbd.c
+++ b/zbd.c
@@ -262,7 +262,8 @@ static bool zbd_verify_sizes(void)
 
                        zone_idx = zbd_zone_idx(f, f->file_offset);
                        z = &f->zbd_info->zone_info[zone_idx];
-                       if (f->file_offset != z->start) {
+                       if ((f->file_offset != z->start) &&
+                           (td->o.td_ddir != TD_DDIR_READ)) {
                                new_offset = (z+1)->start;
                                if (new_offset >= f->file_offset + f->io_size) {
                                        log_info("%s: io_size must be at least one zone\n",
@@ -278,7 +279,8 @@ static bool zbd_verify_sizes(void)
                        zone_idx = zbd_zone_idx(f, f->file_offset + f->io_size);
                        z = &f->zbd_info->zone_info[zone_idx];
                        new_end = z->start;
-                       if (f->file_offset + f->io_size != new_end) {
+                       if ((td->o.td_ddir != TD_DDIR_READ) &&
+                           (f->file_offset + f->io_size != new_end)) {
                                if (new_end <= f->file_offset) {
                                        log_info("%s: io_size must be at least one zone\n",
                                                 f->file_name);
@@ -546,8 +548,7 @@ void zbd_free_zone_info(struct fio_file *f)
 {
        uint32_t refcount;
 
-       if (!f->zbd_info)
-               return;
+       assert(f->zbd_info);
 
        pthread_mutex_lock(&f->zbd_info->mutex);
        refcount = --f->zbd_info->refcount;
@@ -592,7 +593,7 @@ static int zbd_init_zone_info(struct thread_data *td, struct fio_file *file)
        return ret;
 }
 
-int zbd_init(struct thread_data *td)
+int zbd_setup_files(struct thread_data *td)
 {
        struct fio_file *f;
        int i;
@@ -687,6 +688,22 @@ static int zbd_reset_zone(struct thread_data *td, struct fio_file *f,
        return zbd_reset_range(td, f, z->start, (z+1)->start - z->start);
 }
 
+/* The caller must hold f->zbd_info->mutex */
+static void zbd_close_zone(struct thread_data *td, const struct fio_file *f,
+                          unsigned int open_zone_idx)
+{
+       uint32_t zone_idx;
+
+       assert(open_zone_idx < f->zbd_info->num_open_zones);
+       zone_idx = f->zbd_info->open_zones[open_zone_idx];
+       memmove(f->zbd_info->open_zones + open_zone_idx,
+               f->zbd_info->open_zones + open_zone_idx + 1,
+               (ZBD_MAX_OPEN_ZONES - (open_zone_idx + 1)) *
+               sizeof(f->zbd_info->open_zones[0]));
+       f->zbd_info->num_open_zones--;
+       f->zbd_info->zone_info[zone_idx].open = 0;
+}
+
 /*
  * Reset a range of zones. Returns 0 upon success and 1 upon failure.
  * @td: fio thread data.
@@ -710,12 +727,25 @@ static int zbd_reset_zones(struct thread_data *td, struct fio_file *f,
        dprint(FD_ZBD, "%s: examining zones %u .. %u\n", f->file_name,
                zbd_zone_nr(f->zbd_info, zb), zbd_zone_nr(f->zbd_info, ze));
        for (z = zb; z < ze; z++) {
+               uint32_t nz = z - f->zbd_info->zone_info;
+
                if (!zbd_zone_swr(z))
                        continue;
                zone_lock(td, z);
-               reset_wp = all_zones ? z->wp != z->start :
-                               (td->o.td_ddir & TD_DDIR_WRITE) &&
-                               z->wp % min_bs != 0;
+               if (all_zones) {
+                       unsigned int i;
+
+                       pthread_mutex_lock(&f->zbd_info->mutex);
+                       for (i = 0; i < f->zbd_info->num_open_zones; i++) {
+                               if (f->zbd_info->open_zones[i] == nz)
+                                       zbd_close_zone(td, f, i);
+                       }
+                       pthread_mutex_unlock(&f->zbd_info->mutex);
+
+                       reset_wp = z->wp != z->start;
+               } else {
+                       reset_wp = z->wp % min_bs != 0;
+               }
                if (reset_wp) {
                        dprint(FD_ZBD, "%s: resetting zone %u\n",
                               f->file_name,
@@ -826,7 +856,7 @@ void zbd_file_reset(struct thread_data *td, struct fio_file *f)
        struct fio_zone_info *zb, *ze;
        uint32_t zone_idx_e;
 
-       if (!f->zbd_info)
+       if (!f->zbd_info || !td_write(td))
                return;
 
        zb = &f->zbd_info->zone_info[zbd_zone_idx(f, f->file_offset)];
@@ -839,7 +869,6 @@ void zbd_file_reset(struct thread_data *td, struct fio_file *f)
         * writing data, which causes data loss.
         */
        zbd_reset_zones(td, f, zb, ze, td->o.verify != VERIFY_NONE &&
-                       (td->o.td_ddir & TD_DDIR_WRITE) &&
                        td->runstate != TD_VERIFYING);
        zbd_reset_write_cnt(td, f);
 }
@@ -905,22 +934,6 @@ out:
        return res;
 }
 
-/* The caller must hold f->zbd_info->mutex */
-static void zbd_close_zone(struct thread_data *td, const struct fio_file *f,
-                          unsigned int open_zone_idx)
-{
-       uint32_t zone_idx;
-
-       assert(open_zone_idx < f->zbd_info->num_open_zones);
-       zone_idx = f->zbd_info->open_zones[open_zone_idx];
-       memmove(f->zbd_info->open_zones + open_zone_idx,
-               f->zbd_info->open_zones + open_zone_idx + 1,
-               (ZBD_MAX_OPEN_ZONES - (open_zone_idx + 1)) *
-               sizeof(f->zbd_info->open_zones[0]));
-       f->zbd_info->num_open_zones--;
-       f->zbd_info->zone_info[zone_idx].open = 0;
-}
-
 /* Anything goes as long as it is not a constant. */
 static uint32_t pick_random_zone_idx(const struct fio_file *f,
                                     const struct io_u *io_u)
@@ -1127,7 +1140,7 @@ zbd_find_zone(struct thread_data *td, struct io_u *io_u,
         */
        for (z1 = zb + 1, z2 = zb - 1; z1 < zl || z2 >= zf; z1++, z2--) {
                if (z1 < zl && z1->cond != ZBD_ZONE_COND_OFFLINE) {
-                       pthread_mutex_lock(&z1->mutex);
+                       zone_lock(td, z1);
                        if (z1->start + min_bs <= z1->wp)
                                return z1;
                        pthread_mutex_unlock(&z1->mutex);
@@ -1136,7 +1149,7 @@ zbd_find_zone(struct thread_data *td, struct io_u *io_u,
                }
                if (td_random(td) && z2 >= zf &&
                    z2->cond != ZBD_ZONE_COND_OFFLINE) {
-                       pthread_mutex_lock(&z2->mutex);
+                       zone_lock(td, z2);
                        if (z2->start + min_bs <= z2->wp)
                                return z2;
                        pthread_mutex_unlock(&z2->mutex);
@@ -1317,6 +1330,34 @@ void setup_zbd_zone_mode(struct thread_data *td, struct io_u *io_u)
        }
 }
 
+/**
+ * zbd_adjust_ddir - Adjust an I/O direction for zonedmode=zbd.
+ *
+ * @td: FIO thread data.
+ * @io_u: FIO I/O unit.
+ * @ddir: I/O direction before adjustment.
+ *
+ * Return adjusted I/O direction.
+ */
+enum fio_ddir zbd_adjust_ddir(struct thread_data *td, struct io_u *io_u,
+                             enum fio_ddir ddir)
+{
+       /*
+        * In case read direction is chosen for the first random I/O, fio with
+        * zonemode=zbd stops because no data can be read from zoned block
+        * devices with all empty zones. Overwrite the first I/O direction as
+        * write to make sure data to read exists.
+        */
+       if (ddir != DDIR_READ || !td_rw(td))
+               return ddir;
+
+       if (io_u->file->zbd_info->sectors_with_data ||
+           td->o.read_beyond_wp)
+               return DDIR_READ;
+
+       return DDIR_WRITE;
+}
+
 /**
  * zbd_adjust_block - adjust the offset and length as necessary for ZBD drives
  * @td: FIO thread data.
@@ -1350,16 +1391,6 @@ enum io_u_action zbd_adjust_block(struct thread_data *td, struct io_u *io_u)
        if (!zbd_zone_swr(zb))
                return io_u_accept;
 
-       /*
-        * In case read direction is chosen for the first random I/O, fio with
-        * zonemode=zbd stops because no data can be read from zoned block
-        * devices with all empty zones. Overwrite the first I/O direction as
-        * write to make sure data to read exists.
-        */
-       if (td_rw(td) && !f->zbd_info->sectors_with_data
-           && !td->o.read_beyond_wp)
-               io_u->ddir = DDIR_WRITE;
-
        /*
         * Accept the I/O offset for reads if reading beyond the write pointer
         * is enabled.
@@ -1375,7 +1406,8 @@ enum io_u_action zbd_adjust_block(struct thread_data *td, struct io_u *io_u)
        switch (io_u->ddir) {
        case DDIR_READ:
                if (td->runstate == TD_VERIFYING) {
-                       zb = zbd_replay_write_order(td, io_u, zb);
+                       if (td_write(td))
+                               zb = zbd_replay_write_order(td, io_u, zb);
                        goto accept;
                }
                /*