continue;
} else if (io_u->ddir == DDIR_TRIM) {
io_u->ddir = DDIR_READ;
- io_u_set(io_u, IO_U_F_TRIMMED);
+ io_u_set(td, io_u, IO_U_F_TRIMMED);
break;
} else if (io_u->ddir == DDIR_WRITE) {
io_u->ddir = DDIR_READ;
if (IS_ERR_OR_NULL(io_u))
break;
- io_u_set(io_u, IO_U_F_FLIGHT);
+ io_u_set(td, io_u, IO_U_F_FLIGHT);
io_u->error = 0;
io_u->resid = 0;
if (ddir_rw(acct_ddir(io_u)))
return min(td->o.min_bs[DDIR_TRIM], min_bs);
}
-static inline int td_async_processing(struct thread_data *td)
+static inline bool td_async_processing(struct thread_data *td)
{
return (td->flags & TD_F_NEED_LOCK) != 0;
}
pthread_cond_signal(&td->free_cond);
}
+static inline void td_flags_clear(struct thread_data *td, unsigned int *flags,
+ unsigned int value)
+{
+ if (!td_async_processing(td))
+ *flags &= ~value;
+ else
+ __sync_fetch_and_and(flags, ~value);
+}
+
+static inline void td_flags_set(struct thread_data *td, unsigned int *flags,
+ unsigned int value)
+{
+ if (!td_async_processing(td))
+ *flags |= value;
+ else
+ __sync_fetch_and_or(flags, value);
+}
+
extern const char *fio_get_arch_string(int);
extern const char *fio_get_os_string(int);
*is_random = 1;
} else {
*is_random = 0;
- io_u_set(io_u, IO_U_F_BUSY_OK);
+ io_u_set(td, io_u, IO_U_F_BUSY_OK);
ret = get_next_seq_offset(td, f, ddir, &offset);
if (ret)
ret = get_next_rand_block(td, f, ddir, &b);
ret = get_next_seq_offset(td, f, ddir, &offset);
}
} else {
- io_u_set(io_u, IO_U_F_BUSY_OK);
+ io_u_set(td, io_u, IO_U_F_BUSY_OK);
*is_random = 0;
if (td->o.rw_seq == RW_SEQ_SEQ) {
td->o.barrier_blocks &&
!(td->io_issues[DDIR_WRITE] % td->o.barrier_blocks) &&
td->io_issues[DDIR_WRITE])
- io_u_set(io_u, IO_U_F_BARRIER);
+ io_u_set(td, io_u, IO_U_F_BARRIER);
}
void put_file_log(struct thread_data *td, struct fio_file *f)
put_file_log(td, io_u->file);
io_u->file = NULL;
- io_u_set(io_u, IO_U_F_FREE);
+ io_u_set(td, io_u, IO_U_F_FREE);
if (io_u->flags & IO_U_F_IN_CUR_DEPTH) {
td->cur_depth--;
void clear_io_u(struct thread_data *td, struct io_u *io_u)
{
- io_u_clear(io_u, IO_U_F_FLIGHT);
+ io_u_clear(td, io_u, IO_U_F_FLIGHT);
put_io_u(td, io_u);
}
td_io_u_lock(td);
- io_u_set(__io_u, IO_U_F_FREE);
+ io_u_set(td, __io_u, IO_U_F_FREE);
if ((__io_u->flags & IO_U_F_FLIGHT) && ddir_rw(ddir))
td->io_issues[ddir]--;
- io_u_clear(__io_u, IO_U_F_FLIGHT);
+ io_u_clear(td, __io_u, IO_U_F_FLIGHT);
if (__io_u->flags & IO_U_F_IN_CUR_DEPTH) {
td->cur_depth--;
assert(!(td->flags & TD_F_CHILD));
if (io_u) {
assert(io_u->flags & IO_U_F_FREE);
- io_u_clear(io_u, IO_U_F_FREE | IO_U_F_NO_FILE_PUT |
+ io_u_clear(td, io_u, IO_U_F_FREE | IO_U_F_NO_FILE_PUT |
IO_U_F_TRIMMED | IO_U_F_BARRIER |
IO_U_F_VER_LIST);
io_u->acct_ddir = -1;
td->cur_depth++;
assert(!(td->flags & TD_F_CHILD));
- io_u_set(io_u, IO_U_F_IN_CUR_DEPTH);
+ io_u_set(td, io_u, IO_U_F_IN_CUR_DEPTH);
io_u->ipo = NULL;
} else if (td_async_processing(td)) {
/*
dprint_io_u(io_u, "io complete");
assert(io_u->flags & IO_U_F_FLIGHT);
- io_u_clear(io_u, IO_U_F_FLIGHT | IO_U_F_BUSY_OK);
+ io_u_clear(td, io_u, IO_U_F_FLIGHT | IO_U_F_BUSY_OK);
/*
* Mark IO ok to verify
return io_u->ddir;
}
-static inline void io_u_clear(struct io_u *io_u, unsigned int flags)
-{
- __sync_fetch_and_and(&io_u->flags, ~flags);
-}
-
-static inline void io_u_set(struct io_u *io_u, unsigned int flags)
-{
- __sync_fetch_and_or(&io_u->flags, flags);
-}
+#define io_u_clear(td, io_u, val) \
+ td_flags_clear((td), &(io_u->flags), (val))
+#define io_u_set(td, io_u, val) \
+ td_flags_set((td), &(io_u)->flags, (val))
#endif
fio_ro_check(td, io_u);
assert((io_u->flags & IO_U_F_FLIGHT) == 0);
- io_u_set(io_u, IO_U_F_FLIGHT);
+ io_u_set(td, io_u, IO_U_F_FLIGHT);
assert(fio_file_open(io_u->file));
dprint(FD_RATE, "io_u %p queued by %u\n", io_u, gettid());
- io_u_set(io_u, IO_U_F_NO_FILE_PUT);
+ io_u_set(td, io_u, IO_U_F_NO_FILE_PUT);
td->cur_depth++;
ret = io_u_queued_complete(td, 1);
if (ret > 0)
td->cur_depth -= ret;
- io_u_clear(io_u, IO_U_F_FLIGHT);
+ io_u_clear(td, io_u, IO_U_F_FLIGHT);
} while (1);
dprint(FD_RATE, "io_u %p ret %d by %u\n", io_u, ret, gettid());
if (io_u->flags & IO_U_F_IN_CUR_DEPTH) {
td->cur_depth--;
- io_u_clear(io_u, IO_U_F_IN_CUR_DEPTH);
+ io_u_clear(td, io_u, IO_U_F_IN_CUR_DEPTH);
}
flist_add_tail(&io_u->verify_list, &td->verify_list);
*io_u_ptr = NULL;
io_u->buflen = ipo->len;
io_u->numberio = ipo->numberio;
io_u->file = ipo->file;
- io_u_set(io_u, IO_U_F_VER_LIST);
+ io_u_set(td, io_u, IO_U_F_VER_LIST);
if (ipo->flags & IP_F_TRIMMED)
- io_u_set(io_u, IO_U_F_TRIMMED);
+ io_u_set(td, io_u, IO_U_F_TRIMMED);
if (!fio_file_open(io_u->file)) {
int r = td_io_open_file(td, io_u->file);
io_u = flist_first_entry(&list, struct io_u, verify_list);
flist_del_init(&io_u->verify_list);
- io_u_set(io_u, IO_U_F_NO_FILE_PUT);
+ io_u_set(td, io_u, IO_U_F_NO_FILE_PUT);
ret = verify_io_u(td, &io_u);
put_io_u(td, io_u);