td_verror() needs errno style error
[fio.git] / io_u.c
diff --git a/io_u.c b/io_u.c
index 6598881941ef41297ac9566b6d24701affdde0ef..4b0b5a7a11bdb002f72d552c89ee4ce8c4fd6b4e 100644 (file)
--- a/io_u.c
+++ b/io_u.c
@@ -11,6 +11,7 @@
 #include "trim.h"
 #include "lib/rand.h"
 #include "lib/axmap.h"
+#include "err.h"
 
 struct io_completion_data {
        int nr;                         /* input */
@@ -101,9 +102,9 @@ static int __get_next_rand_offset(struct thread_data *td, struct fio_file *f,
                        r = __rand(&td->__random_state);
                }
 
-               dprint(FD_RANDOM, "off rand %llu\n", r);
+               dprint(FD_RANDOM, "off rand %llu\n", (unsigned long long) r);
 
-               *b = (lastb - 1) * (r / ((uint64_t) rmax + 1.0));
+               *b = lastb * (r / ((uint64_t) rmax + 1.0));
        } else {
                uint64_t off = 0;
 
@@ -125,7 +126,8 @@ static int __get_next_rand_offset(struct thread_data *td, struct fio_file *f,
        if (random_map_free(f, *b))
                goto ret;
 
-       dprint(FD_RANDOM, "get_next_rand_offset: offset %llu busy\n", *b);
+       dprint(FD_RANDOM, "get_next_rand_offset: offset %llu busy\n",
+                                               (unsigned long long) *b);
 
        *b = axmap_next_free(f->io_axmap, *b);
        if (*b == (uint64_t) -1ULL)
@@ -190,6 +192,25 @@ static inline int should_sort_io(struct thread_data *td)
        return 1;
 }
 
+static int should_do_random(struct thread_data *td, enum fio_ddir ddir)
+{
+       unsigned int v;
+       unsigned long r;
+
+       if (td->o.perc_rand[ddir] == 100)
+               return 1;
+
+       if (td->o.use_os_rand) {
+               r = os_random_long(&td->seq_rand_state[ddir]);
+               v = 1 + (int) (100.0 * (r / (OS_RAND_MAX + 1.0)));
+       } else {
+               r = __rand(&td->__seq_rand_state[ddir]);
+               v = 1 + (int) (100.0 * (r / (FRAND_MAX + 1.0)));
+       }
+
+       return v <= td->o.perc_rand[ddir];
+}
+
 static int get_next_rand_offset(struct thread_data *td, struct fio_file *f,
                                enum fio_ddir ddir, uint64_t *b)
 {
@@ -242,7 +263,8 @@ static int get_next_rand_block(struct thread_data *td, struct fio_file *f,
        }
 
        dprint(FD_IO, "%s: rand offset failed, last=%llu, size=%llu\n",
-                       f->file_name, f->last_pos, f->real_file_size);
+                       f->file_name, (unsigned long long) f->last_pos,
+                       (unsigned long long) f->real_file_size);
        return 1;
 }
 
@@ -251,7 +273,7 @@ static int get_next_seq_offset(struct thread_data *td, struct fio_file *f,
 {
        assert(ddir_rw(ddir));
 
-       if (f->last_pos >= f->io_size + get_start_offset(td) && td->o.time_based)
+       if (f->last_pos >= f->io_size + get_start_offset(td, f) && td->o.time_based)
                f->last_pos = f->last_pos - f->io_size;
 
        if (f->last_pos < f->real_file_size) {
@@ -272,7 +294,8 @@ static int get_next_seq_offset(struct thread_data *td, struct fio_file *f,
 }
 
 static int get_next_block(struct thread_data *td, struct io_u *io_u,
-                         enum fio_ddir ddir, int rw_seq)
+                         enum fio_ddir ddir, int rw_seq,
+                         unsigned int *is_random)
 {
        struct fio_file *f = io_u->file;
        uint64_t b, offset;
@@ -283,17 +306,31 @@ static int get_next_block(struct thread_data *td, struct io_u *io_u,
        b = offset = -1ULL;
 
        if (rw_seq) {
-               if (td_random(td))
-                       ret = get_next_rand_block(td, f, ddir, &b);
-               else
+               if (td_random(td)) {
+                       if (should_do_random(td, ddir)) {
+                               ret = get_next_rand_block(td, f, ddir, &b);
+                               *is_random = 1;
+                       } else {
+                               *is_random = 0;
+                               io_u->flags |= IO_U_F_BUSY_OK;
+                               ret = get_next_seq_offset(td, f, ddir, &offset);
+                               if (ret)
+                                       ret = get_next_rand_block(td, f, ddir, &b);
+                       }
+               } else {
+                       *is_random = 0;
                        ret = get_next_seq_offset(td, f, ddir, &offset);
+               }
        } else {
                io_u->flags |= IO_U_F_BUSY_OK;
+               *is_random = 0;
 
                if (td->o.rw_seq == RW_SEQ_SEQ) {
                        ret = get_next_seq_offset(td, f, ddir, &offset);
-                       if (ret)
+                       if (ret) {
                                ret = get_next_rand_block(td, f, ddir, &b);
+                               *is_random = 0;
+                       }
                } else if (td->o.rw_seq == RW_SEQ_IDENT) {
                        if (f->last_start != -1ULL)
                                offset = f->last_start - f->file_offset;
@@ -312,8 +349,7 @@ static int get_next_block(struct thread_data *td, struct io_u *io_u,
                else if (b != -1ULL)
                        io_u->offset = b * td->o.ba[ddir];
                else {
-                       log_err("fio: bug in offset generation: offset=%llu, b=%llu\n",
-                                                               offset, b);
+                       log_err("fio: bug in offset generation: offset=%llu, b=%llu\n", (unsigned long long) offset, (unsigned long long) b);
                        ret = 1;
                }
        }
@@ -326,7 +362,8 @@ static int get_next_block(struct thread_data *td, struct io_u *io_u,
  * until we find a free one. For sequential io, just return the end of
  * the last io issued.
  */
-static int __get_next_offset(struct thread_data *td, struct io_u *io_u)
+static int __get_next_offset(struct thread_data *td, struct io_u *io_u,
+                            unsigned int *is_random)
 {
        struct fio_file *f = io_u->file;
        enum fio_ddir ddir = io_u->ddir;
@@ -339,35 +376,38 @@ static int __get_next_offset(struct thread_data *td, struct io_u *io_u)
                td->ddir_seq_nr = td->o.ddir_seq_nr;
        }
 
-       if (get_next_block(td, io_u, ddir, rw_seq_hit))
+       if (get_next_block(td, io_u, ddir, rw_seq_hit, is_random))
                return 1;
 
        if (io_u->offset >= f->io_size) {
                dprint(FD_IO, "get_next_offset: offset %llu >= io_size %llu\n",
-                                       io_u->offset, f->io_size);
+                                       (unsigned long long) io_u->offset,
+                                       (unsigned long long) f->io_size);
                return 1;
        }
 
        io_u->offset += f->file_offset;
        if (io_u->offset >= f->real_file_size) {
                dprint(FD_IO, "get_next_offset: offset %llu >= size %llu\n",
-                                       io_u->offset, f->real_file_size);
+                                       (unsigned long long) io_u->offset,
+                                       (unsigned long long) f->real_file_size);
                return 1;
        }
 
        return 0;
 }
 
-static int get_next_offset(struct thread_data *td, struct io_u *io_u)
+static int get_next_offset(struct thread_data *td, struct io_u *io_u,
+                          unsigned int *is_random)
 {
        if (td->flags & TD_F_PROFILE_OPS) {
                struct prof_io_ops *ops = &td->prof_io_ops;
 
                if (ops->fill_io_u_off)
-                       return ops->fill_io_u_off(td, io_u);
+                       return ops->fill_io_u_off(td, io_u, is_random);
        }
 
-       return __get_next_offset(td, io_u);
+       return __get_next_offset(td, io_u, is_random);
 }
 
 static inline int io_u_fits(struct thread_data *td, struct io_u *io_u,
@@ -375,18 +415,22 @@ static inline int io_u_fits(struct thread_data *td, struct io_u *io_u,
 {
        struct fio_file *f = io_u->file;
 
-       return io_u->offset + buflen <= f->io_size + get_start_offset(td);
+       return io_u->offset + buflen <= f->io_size + get_start_offset(td, f);
 }
 
-static unsigned int __get_next_buflen(struct thread_data *td, struct io_u *io_u)
+static unsigned int __get_next_buflen(struct thread_data *td, struct io_u *io_u,
+                                     unsigned int is_random)
 {
-       const int ddir = io_u->ddir;
+       int ddir = io_u->ddir;
        unsigned int buflen = 0;
        unsigned int minbs, maxbs;
        unsigned long r, rand_max;
 
        assert(ddir_rw(ddir));
 
+       if (td->o.bs_is_seq_rand)
+               ddir = is_random ? DDIR_WRITE: DDIR_READ;
+
        minbs = td->o.min_bs[ddir];
        maxbs = td->o.max_bs[ddir];
 
@@ -430,6 +474,10 @@ static unsigned int __get_next_buflen(struct thread_data *td, struct io_u *io_u)
                        }
                }
 
+               if (td->o.do_verify && td->o.verify != VERIFY_NONE)
+                       buflen = (buflen + td->o.verify_interval - 1) &
+                               ~(td->o.verify_interval - 1);
+
                if (!td->o.bs_unaligned && is_power_of_2(minbs))
                        buflen = (buflen + minbs - 1) & ~(minbs - 1);
 
@@ -438,16 +486,17 @@ static unsigned int __get_next_buflen(struct thread_data *td, struct io_u *io_u)
        return buflen;
 }
 
-static unsigned int get_next_buflen(struct thread_data *td, struct io_u *io_u)
+static unsigned int get_next_buflen(struct thread_data *td, struct io_u *io_u,
+                                   unsigned int is_random)
 {
        if (td->flags & TD_F_PROFILE_OPS) {
                struct prof_io_ops *ops = &td->prof_io_ops;
 
                if (ops->fill_io_u_size)
-                       return ops->fill_io_u_size(td, io_u);
+                       return ops->fill_io_u_size(td, io_u, is_random);
        }
 
-       return __get_next_buflen(td, io_u);
+       return __get_next_buflen(td, io_u, is_random);
 }
 
 static void set_rwmix_bytes(struct thread_data *td)
@@ -482,6 +531,24 @@ static inline enum fio_ddir get_rand_ddir(struct thread_data *td)
        return DDIR_WRITE;
 }
 
+void io_u_quiesce(struct thread_data *td)
+{
+       /*
+        * We are going to sleep, ensure that we flush anything pending as
+        * not to skew our latency numbers.
+        *
+        * Changed to only monitor 'in flight' requests here instead of the
+        * td->cur_depth, b/c td->cur_depth does not accurately represent
+        * io's that have been actually submitted to an async engine,
+        * and cur_depth is meaningless for sync engines.
+        */
+       while (td->io_u_in_flight) {
+               int fio_unused ret;
+
+               ret = io_u_queued_complete(td, 1, NULL);
+       }
+}
+
 static enum fio_ddir rate_ddir(struct thread_data *td, enum fio_ddir ddir)
 {
        enum fio_ddir odir = ddir ^ 1;
@@ -490,14 +557,14 @@ static enum fio_ddir rate_ddir(struct thread_data *td, enum fio_ddir ddir)
 
        assert(ddir_rw(ddir));
 
-       if (td->rate_pending_usleep[ddir] <= 0 || !td->o.rwmix[odir])
+       if (td->rate_pending_usleep[ddir] <= 0)
                return ddir;
 
        /*
         * We have too much pending sleep in this direction. See if we
         * should switch.
         */
-       if (td_rw(td)) {
+       if (td_rw(td) && td->o.rwmix[odir]) {
                /*
                 * Other direction does not have too much pending, switch
                 */
@@ -518,20 +585,7 @@ static enum fio_ddir rate_ddir(struct thread_data *td, enum fio_ddir ddir)
        } else
                usec = td->rate_pending_usleep[ddir];
 
-       /*
-        * We are going to sleep, ensure that we flush anything pending as
-        * not to skew our latency numbers.
-        *
-        * Changed to only monitor 'in flight' requests here instead of the
-        * td->cur_depth, b/c td->cur_depth does not accurately represent
-        * io's that have been actually submitted to an async engine,
-        * and cur_depth is meaningless for sync engines.
-        */
-       if (td->io_u_in_flight) {
-               int fio_unused ret;
-
-               ret = io_u_queued_complete(td, td->io_u_in_flight, NULL);
-       }
+       io_u_quiesce(td);
 
        fio_gettime(&t, NULL);
        usec_sleep(td, usec);
@@ -624,7 +678,7 @@ static void set_rw_ddir(struct thread_data *td, struct io_u *io_u)
 
 void put_file_log(struct thread_data *td, struct fio_file *f)
 {
-       int ret = put_file(td, f);
+       unsigned int ret = put_file(td, f);
 
        if (ret)
                td_verror(td, ret, "file close");
@@ -642,8 +696,7 @@ void put_io_u(struct thread_data *td, struct io_u *io_u)
 
        if (io_u->flags & IO_U_F_IN_CUR_DEPTH)
                td->cur_depth--;
-       flist_del_init(&io_u->list);
-       flist_add(&io_u->list, &td->io_u_freelist);
+       io_u_qpush(&td->io_u_freelist, io_u);
        td_io_u_unlock(td);
        td_io_u_free_notify(td);
 }
@@ -670,14 +723,16 @@ void requeue_io_u(struct thread_data *td, struct io_u **io_u)
        __io_u->flags &= ~IO_U_F_FLIGHT;
        if (__io_u->flags & IO_U_F_IN_CUR_DEPTH)
                td->cur_depth--;
-       flist_del(&__io_u->list);
-       flist_add_tail(&__io_u->list, &td->io_u_requeues);
+
+       io_u_rpush(&td->io_u_requeues, __io_u);
        td_io_u_unlock(td);
        *io_u = NULL;
 }
 
 static int fill_io_u(struct thread_data *td, struct io_u *io_u)
 {
+       unsigned int is_random;
+
        if (td->io_ops->flags & FIO_NOIO)
                goto out;
 
@@ -703,12 +758,12 @@ static int fill_io_u(struct thread_data *td, struct io_u *io_u)
         * No log, let the seq/rand engine retrieve the next buflen and
         * position.
         */
-       if (get_next_offset(td, io_u)) {
+       if (get_next_offset(td, io_u, &is_random)) {
                dprint(FD_IO, "io_u %p, failed getting offset\n", io_u);
                return 1;
        }
 
-       io_u->buflen = get_next_buflen(td, io_u);
+       io_u->buflen = get_next_buflen(td, io_u, is_random);
        if (!io_u->buflen) {
                dprint(FD_IO, "io_u %p, failed getting buflen\n", io_u);
                return 1;
@@ -716,8 +771,9 @@ static int fill_io_u(struct thread_data *td, struct io_u *io_u)
 
        if (io_u->offset + io_u->buflen > io_u->file->real_file_size) {
                dprint(FD_IO, "io_u %p, offset too large\n", io_u);
-               dprint(FD_IO, "  off=%llu/%lu > %llu\n", io_u->offset,
-                               io_u->buflen, io_u->file->real_file_size);
+               dprint(FD_IO, "  off=%llu/%lu > %llu\n",
+                       (unsigned long long) io_u->offset, io_u->buflen,
+                       (unsigned long long) io_u->file->real_file_size);
                return 1;
        }
 
@@ -928,6 +984,9 @@ static struct fio_file *get_next_file_rand(struct thread_data *td,
                if (!fio_file_open(f)) {
                        int err;
 
+                       if (td->nr_open_files >= td->o.open_files)
+                               return ERR_PTR(-EBUSY);
+
                        err = td_io_open_file(td, f);
                        if (err)
                                continue;
@@ -970,6 +1029,9 @@ static struct fio_file *get_next_file_rr(struct thread_data *td, int goodf,
                if (!fio_file_open(f)) {
                        int err;
 
+                       if (td->nr_open_files >= td->o.open_files)
+                               return ERR_PTR(-EBUSY);
+
                        err = td_io_open_file(td, f);
                        if (err) {
                                dprint(FD_FILE, "error %d on open of %s\n",
@@ -1023,10 +1085,16 @@ static struct fio_file *__get_next_file(struct thread_data *td)
        else
                f = get_next_file_rand(td, FIO_FILE_open, FIO_FILE_closing);
 
+       if (IS_ERR(f))
+               return f;
+
        td->file_service_file = f;
        td->file_service_left = td->file_service_nr - 1;
 out:
-       dprint(FD_FILE, "get_next_file: %p [%s]\n", f, f->file_name);
+       if (f)
+               dprint(FD_FILE, "get_next_file: %p [%s]\n", f, f->file_name);
+       else
+               dprint(FD_FILE, "get_next_file: NULL\n");
        return f;
 }
 
@@ -1042,14 +1110,14 @@ static struct fio_file *get_next_file(struct thread_data *td)
        return __get_next_file(td);
 }
 
-static int set_io_u_file(struct thread_data *td, struct io_u *io_u)
+static long set_io_u_file(struct thread_data *td, struct io_u *io_u)
 {
        struct fio_file *f;
 
        do {
                f = get_next_file(td);
-               if (!f)
-                       return 1;
+               if (IS_ERR_OR_NULL(f))
+                       return PTR_ERR(f);
 
                io_u->file = f;
                get_file(f);
@@ -1069,6 +1137,161 @@ static int set_io_u_file(struct thread_data *td, struct io_u *io_u)
        return 0;
 }
 
+static void lat_fatal(struct thread_data *td, struct io_completion_data *icd,
+                     unsigned long tusec, unsigned long max_usec)
+{
+       if (!td->error)
+               log_err("fio: latency of %lu usec exceeds specified max (%lu usec)\n", tusec, max_usec);
+       td_verror(td, ETIMEDOUT, "max latency exceeded");
+       icd->error = ETIMEDOUT;
+}
+
+static void lat_new_cycle(struct thread_data *td)
+{
+       fio_gettime(&td->latency_ts, NULL);
+       td->latency_ios = ddir_rw_sum(td->io_blocks);
+       td->latency_failed = 0;
+}
+
+/*
+ * We had an IO outside the latency target. Reduce the queue depth. If we
+ * are at QD=1, then it's time to give up.
+ */
+static int __lat_target_failed(struct thread_data *td)
+{
+       if (td->latency_qd == 1)
+               return 1;
+
+       td->latency_qd_high = td->latency_qd;
+
+       if (td->latency_qd == td->latency_qd_low)
+               td->latency_qd_low--;
+
+       td->latency_qd = (td->latency_qd + td->latency_qd_low) / 2;
+
+       dprint(FD_RATE, "Ramped down: %d %d %d\n", td->latency_qd_low, td->latency_qd, td->latency_qd_high);
+
+       /*
+        * When we ramp QD down, quiesce existing IO to prevent
+        * a storm of ramp downs due to pending higher depth.
+        */
+       io_u_quiesce(td);
+       lat_new_cycle(td);
+       return 0;
+}
+
+static int lat_target_failed(struct thread_data *td)
+{
+       if (td->o.latency_percentile.u.f == 100.0)
+               return __lat_target_failed(td);
+
+       td->latency_failed++;
+       return 0;
+}
+
+void lat_target_init(struct thread_data *td)
+{
+       td->latency_end_run = 0;
+
+       if (td->o.latency_target) {
+               dprint(FD_RATE, "Latency target=%llu\n", td->o.latency_target);
+               fio_gettime(&td->latency_ts, NULL);
+               td->latency_qd = 1;
+               td->latency_qd_high = td->o.iodepth;
+               td->latency_qd_low = 1;
+               td->latency_ios = ddir_rw_sum(td->io_blocks);
+       } else
+               td->latency_qd = td->o.iodepth;
+}
+
+void lat_target_reset(struct thread_data *td)
+{
+       if (!td->latency_end_run)
+               lat_target_init(td);
+}
+
+static void lat_target_success(struct thread_data *td)
+{
+       const unsigned int qd = td->latency_qd;
+       struct thread_options *o = &td->o;
+
+       td->latency_qd_low = td->latency_qd;
+
+       /*
+        * If we haven't failed yet, we double up to a failing value instead
+        * of bisecting from highest possible queue depth. If we have set
+        * a limit other than td->o.iodepth, bisect between that.
+        */
+       if (td->latency_qd_high != o->iodepth)
+               td->latency_qd = (td->latency_qd + td->latency_qd_high) / 2;
+       else
+               td->latency_qd *= 2;
+
+       if (td->latency_qd > o->iodepth)
+               td->latency_qd = o->iodepth;
+
+       dprint(FD_RATE, "Ramped up: %d %d %d\n", td->latency_qd_low, td->latency_qd, td->latency_qd_high);
+
+       /*
+        * Same as last one, we are done. Let it run a latency cycle, so
+        * we get only the results from the targeted depth.
+        */
+       if (td->latency_qd == qd) {
+               if (td->latency_end_run) {
+                       dprint(FD_RATE, "We are done\n");
+                       td->done = 1;
+               } else {
+                       dprint(FD_RATE, "Quiesce and final run\n");
+                       io_u_quiesce(td);
+                       td->latency_end_run = 1;
+                       reset_all_stats(td);
+                       reset_io_stats(td);
+               }
+       }
+
+       lat_new_cycle(td);
+}
+
+/*
+ * Check if we can bump the queue depth
+ */
+void lat_target_check(struct thread_data *td)
+{
+       uint64_t usec_window;
+       uint64_t ios;
+       double success_ios;
+
+       usec_window = utime_since_now(&td->latency_ts);
+       if (usec_window < td->o.latency_window)
+               return;
+
+       ios = ddir_rw_sum(td->io_blocks) - td->latency_ios;
+       success_ios = (double) (ios - td->latency_failed) / (double) ios;
+       success_ios *= 100.0;
+
+       dprint(FD_RATE, "Success rate: %.2f%% (target %.2f%%)\n", success_ios, td->o.latency_percentile.u.f);
+
+       if (success_ios >= td->o.latency_percentile.u.f)
+               lat_target_success(td);
+       else
+               __lat_target_failed(td);
+}
+
+/*
+ * If latency target is enabled, we might be ramping up or down and not
+ * using the full queue depth available.
+ */
+int queue_full(struct thread_data *td)
+{
+       const int qempty = io_u_qempty(&td->io_u_freelist);
+
+       if (qempty)
+               return 1;
+       if (!td->o.latency_target)
+               return 0;
+
+       return td->cur_depth >= td->latency_qd;
+}
 
 struct io_u *__get_io_u(struct thread_data *td)
 {
@@ -1077,14 +1300,14 @@ struct io_u *__get_io_u(struct thread_data *td)
        td_io_u_lock(td);
 
 again:
-       if (!flist_empty(&td->io_u_requeues))
-               io_u = flist_entry(td->io_u_requeues.next, struct io_u, list);
+       if (!io_u_rempty(&td->io_u_requeues))
+               io_u = io_u_rpop(&td->io_u_requeues);
        else if (!queue_full(td)) {
-               io_u = flist_entry(td->io_u_freelist.next, struct io_u, list);
+               io_u = io_u_qpop(&td->io_u_freelist);
 
+               io_u->file = NULL;
                io_u->buflen = 0;
                io_u->resid = 0;
-               io_u->file = NULL;
                io_u->end_io = NULL;
        }
 
@@ -1096,10 +1319,9 @@ again:
 
                io_u->error = 0;
                io_u->acct_ddir = -1;
-               flist_del(&io_u->list);
-               flist_add_tail(&io_u->list, &td->io_u_busylist);
                td->cur_depth++;
                io_u->flags |= IO_U_F_IN_CUR_DEPTH;
+               io_u->ipo = NULL;
        } else if (td->o.verify_async) {
                /*
                 * We ran out, wait for async verify threads to finish and
@@ -1214,6 +1436,7 @@ struct io_u *get_io_u(struct thread_data *td)
        struct fio_file *f;
        struct io_u *io_u;
        int do_scramble = 0;
+       long ret = 0;
 
        io_u = __get_io_u(td);
        if (!io_u) {
@@ -1239,11 +1462,17 @@ struct io_u *get_io_u(struct thread_data *td)
                if (read_iolog_get(td, io_u))
                        goto err_put;
        } else if (set_io_u_file(td, io_u)) {
+               ret = -EBUSY;
                dprint(FD_IO, "io_u %p, setting file failed\n", io_u);
                goto err_put;
        }
 
        f = io_u->file;
+       if (!f) {
+               dprint(FD_IO, "io_u %p, setting file failed\n", io_u);
+               goto err_put;
+       }
+
        assert(fio_file_open(f));
 
        if (ddir_rw(io_u->ddir)) {
@@ -1259,7 +1488,8 @@ struct io_u *get_io_u(struct thread_data *td)
                        if (td->flags & TD_F_REFILL_BUFFERS) {
                                io_u_fill_buffer(td, io_u,
                                        io_u->xfer_buflen, io_u->xfer_buflen);
-                       } else if (td->flags & TD_F_SCRAMBLE_BUFFERS)
+                       } else if ((td->flags & TD_F_SCRAMBLE_BUFFERS) &&
+                                  !(td->flags & TD_F_COMPRESS))
                                do_scramble = 1;
                        if (td->flags & TD_F_VER_NONE) {
                                populate_verify_io_u(td, io_u);
@@ -1292,7 +1522,7 @@ out:
 err_put:
        dprint(FD_IO, "get_io_u failed\n");
        put_io_u(td, io_u);
-       return NULL;
+       return ERR_PTR(ret);
 }
 
 void io_u_log_error(struct thread_data *td, struct io_u *io_u)
@@ -1318,13 +1548,19 @@ void io_u_log_error(struct thread_data *td, struct io_u *io_u)
                td_verror(td, io_u->error, "io_u error");
 }
 
+static inline int gtod_reduce(struct thread_data *td)
+{
+       return td->o.disable_clat && td->o.disable_lat && td->o.disable_slat
+               && td->o.disable_bw;
+}
+
 static void account_io_completion(struct thread_data *td, struct io_u *io_u,
                                  struct io_completion_data *icd,
                                  const enum fio_ddir idx, unsigned int bytes)
 {
        unsigned long lusec = 0;
 
-       if (!td->o.disable_clat || !td->o.disable_bw)
+       if (!gtod_reduce(td))
                lusec = utime_since(&io_u->issue_time, &icd->time);
 
        if (!td->o.disable_lat) {
@@ -1333,11 +1569,18 @@ static void account_io_completion(struct thread_data *td, struct io_u *io_u,
                tusec = utime_since(&io_u->start_time, &icd->time);
                add_lat_sample(td, idx, tusec, bytes);
 
-               if (td->o.max_latency && tusec > td->o.max_latency) {
-                       if (!td->error)
-                               log_err("fio: latency of %lu usec exceeds specified max (%u usec)\n", tusec, td->o.max_latency);
-                       td_verror(td, ETIMEDOUT, "max latency exceeded");
-                       icd->error = ETIMEDOUT;
+               if (td->flags & TD_F_PROFILE_OPS) {
+                       struct prof_io_ops *ops = &td->prof_io_ops;
+
+                       if (ops->io_u_lat)
+                               icd->error = ops->io_u_lat(td, tusec);
+               }
+
+               if (td->o.max_latency && tusec > td->o.max_latency)
+                       lat_fatal(td, icd, tusec, td->o.max_latency);
+               if (td->o.latency_target && tusec > td->o.latency_target) {
+                       if (lat_target_failed(td))
+                               lat_fatal(td, icd, tusec, td->o.latency_target);
                }
        }
 
@@ -1349,7 +1592,8 @@ static void account_io_completion(struct thread_data *td, struct io_u *io_u,
        if (!td->o.disable_bw)
                add_bw_sample(td, idx, bytes, &icd->time);
 
-       add_iops_sample(td, idx, &icd->time);
+       if (!gtod_reduce(td))
+               add_iops_sample(td, idx, bytes, &icd->time);
 }
 
 static long long usec_for_io(struct thread_data *td, enum fio_ddir ddir)
@@ -1373,6 +1617,15 @@ static void io_completed(struct thread_data *td, struct io_u *io_u,
        td_io_u_lock(td);
        assert(io_u->flags & IO_U_F_FLIGHT);
        io_u->flags &= ~(IO_U_F_FLIGHT | IO_U_F_BUSY_OK);
+
+       /*
+        * Mark IO ok to verify
+        */
+       if (io_u->ipo) {
+               io_u->ipo->flags &= ~IP_F_IN_FLIGHT;
+               write_barrier();
+       }
+
        td_io_u_unlock(td);
 
        if (ddir_sync(io_u->ddir)) {
@@ -1428,12 +1681,6 @@ static void io_completed(struct thread_data *td, struct io_u *io_u,
                                         utime_since_now(&td->start));
                }
 
-               if (td_write(td) && idx == DDIR_WRITE &&
-                   td->o.do_verify &&
-                   td->o.verify != VERIFY_NONE &&
-                   !td->o.experimental_verify)
-                       log_io_piece(td, io_u);
-
                icd->bytes_done[idx] += bytes;
 
                if (io_u->end_io) {
@@ -1464,7 +1711,8 @@ static void init_icd(struct thread_data *td, struct io_completion_data *icd,
                     int nr)
 {
        int ddir;
-       if (!td->o.disable_clat || !td->o.disable_bw)
+
+       if (!gtod_reduce(td))
                fio_gettime(&icd->time, NULL);
 
        icd->nr = nr;
@@ -1572,25 +1820,35 @@ void io_u_queued(struct thread_data *td, struct io_u *io_u)
        }
 }
 
-/*
- * "randomly" fill the buffer contents
- */
-void io_u_fill_buffer(struct thread_data *td, struct io_u *io_u,
-                     unsigned int min_write, unsigned int max_bs)
+void fill_io_buffer(struct thread_data *td, void *buf, unsigned int min_write,
+                   unsigned int max_bs)
 {
-       io_u->buf_filled_len = 0;
-
-       if (!td->o.zero_buffers) {
+       if (td->o.buffer_pattern_bytes)
+               fill_buffer_pattern(td, buf, max_bs);
+       else if (!td->o.zero_buffers) {
                unsigned int perc = td->o.compress_percentage;
 
                if (perc) {
                        unsigned int seg = min_write;
 
                        seg = min(min_write, td->o.compress_chunk);
-                       fill_random_buf_percentage(&td->buf_state, io_u->buf,
+                       if (!seg)
+                               seg = min_write;
+
+                       fill_random_buf_percentage(&td->buf_state, buf,
                                                perc, seg, max_bs);
                } else
-                       fill_random_buf(&td->buf_state, io_u->buf, max_bs);
+                       fill_random_buf(&td->buf_state, buf, max_bs);
        } else
-               memset(io_u->buf, 0, max_bs);
+               memset(buf, 0, max_bs);
+}
+
+/*
+ * "randomly" fill the buffer contents
+ */
+void io_u_fill_buffer(struct thread_data *td, struct io_u *io_u,
+                     unsigned int min_write, unsigned int max_bs)
+{
+       io_u->buf_filled_len = 0;
+       fill_io_buffer(td, io_u->buf, min_write, max_bs);
 }