X-Git-Url: https://git.kernel.dk/?p=fio.git;a=blobdiff_plain;f=engines%2Fsync.c;h=1726b8e6b20e4bac77fef7e3aceaba4e0b6342ce;hp=561e77ba02539e7ca88e5a70ea141a01c0a66529;hb=565e784df05c2529479eed8a38701a33b01894bd;hpb=5921e80c5dfc9f96d2f21da6ae58f2b5d3a0b373

diff --git a/engines/sync.c b/engines/sync.c
index 561e77ba..1726b8e6 100644
--- a/engines/sync.c
+++ b/engines/sync.c
@@ -13,11 +13,18 @@
 #include <assert.h>
 
 #include "../fio.h"
+#include "../optgroup.h"
+
+/*
+ * Sync engine uses engine_data to store last offset
+ */
+#define LAST_POS(f)	((f)->engine_data)
 
 struct syncio_data {
 	struct iovec *iovecs;
 	struct io_u **io_us;
 	unsigned int queued;
+	unsigned int events;
 	unsigned long queued_bytes;
 
 	unsigned long long last_offset;
@@ -25,11 +32,36 @@ struct syncio_data {
 	enum fio_ddir last_ddir;
 };
 
+#ifdef FIO_HAVE_PWRITEV2
+struct psyncv2_options {
+	void *pad;
+	unsigned int hipri;
+};
+
+static struct fio_option options[] = {
+	{
+		.name	= "hipri",
+		.lname	= "RWF_HIPRI",
+		.type	= FIO_OPT_STR_SET,
+		.off1	= offsetof(struct psyncv2_options, hipri),
+		.help	= "Set RWF_HIPRI for pwritev2/preadv2",
+		.category = FIO_OPT_C_ENGINE,
+		.group	= FIO_OPT_G_INVALID,
+	},
+	{
+		.name	= NULL,
+	},
+};
+#endif
+
 static int fio_syncio_prep(struct thread_data *td, struct io_u *io_u)
 {
 	struct fio_file *f = io_u->file;
 
-	if (io_u->ddir == DDIR_SYNC)
+	if (!ddir_rw(io_u->ddir))
+		return 0;
+
+	if (LAST_POS(f) != -1ULL && LAST_POS(f) == io_u->offset)
 		return 0;
 
 	if (lseek(f->fd, io_u->offset, SEEK_SET) == -1) {
@@ -42,6 +74,9 @@ static int fio_syncio_prep(struct thread_data *td, struct io_u *io_u)
 
 static int fio_io_end(struct thread_data *td, struct io_u *io_u, int ret)
 {
+	if (io_u->file && ret >= 0 && ddir_rw(io_u->ddir))
+		LAST_POS(io_u->file) = io_u->offset + ret;
+
 	if (ret != (int) io_u->xfer_buflen) {
 		if (ret >= 0) {
 			io_u->resid = io_u->xfer_buflen - ret;
@@ -51,12 +86,73 @@ static int fio_io_end(struct thread_data *td, struct io_u *io_u, int ret)
 			io_u->error = errno;
 	}
 
-	if (io_u->error)
+	if (io_u->error) {
+		io_u_log_error(td, io_u);
 		td_verror(td, io_u->error, "xfer");
+	}
 
 	return FIO_Q_COMPLETED;
 }
 
+#ifdef CONFIG_PWRITEV
+static int fio_pvsyncio_queue(struct thread_data *td, struct io_u *io_u)
+{
+	struct syncio_data *sd = td->io_ops_data;
+	struct iovec *iov = &sd->iovecs[0];
+	struct fio_file *f = io_u->file;
+	int ret;
+
+	fio_ro_check(td, io_u);
+
+	iov->iov_base = io_u->xfer_buf;
+	iov->iov_len = io_u->xfer_buflen;
+
+	if (io_u->ddir == DDIR_READ)
+		ret = preadv(f->fd, iov, 1, io_u->offset);
+	else if (io_u->ddir == DDIR_WRITE)
+		ret = pwritev(f->fd, iov, 1, io_u->offset);
+	else if (io_u->ddir == DDIR_TRIM) {
+		do_io_u_trim(td, io_u);
+		return FIO_Q_COMPLETED;
+	} else
+		ret = do_io_u_sync(td, io_u);
+
+	return fio_io_end(td, io_u, ret);
+}
+#endif
+
+#ifdef FIO_HAVE_PWRITEV2
+static int fio_pvsyncio2_queue(struct thread_data *td, struct io_u *io_u)
+{
+	struct syncio_data *sd = td->io_ops_data;
+	struct psyncv2_options *o = td->eo;
+	struct iovec *iov = &sd->iovecs[0];
+	struct fio_file *f = io_u->file;
+	int ret, flags = 0;
+
+	fio_ro_check(td, io_u);
+
+	if (o->hipri)
+		flags |= RWF_HIPRI;
+
+	iov->iov_base = io_u->xfer_buf;
+	iov->iov_len = io_u->xfer_buflen;
+
+	if (io_u->ddir == DDIR_READ)
+		ret = preadv2(f->fd, iov, 1, io_u->offset, flags);
+	else if (io_u->ddir == DDIR_WRITE)
+		ret = pwritev2(f->fd, iov, 1, io_u->offset, flags);
+	else if (io_u->ddir == DDIR_TRIM) {
+		do_io_u_trim(td, io_u);
+		return FIO_Q_COMPLETED;
+	} else
+		ret = do_io_u_sync(td, io_u);
+
+	return fio_io_end(td, io_u, ret);
+}
+#endif
+
+
 static int fio_psyncio_queue(struct thread_data *td, struct io_u *io_u)
 {
 	struct fio_file *f = io_u->file;
@@ -68,8 +164,11 @@ static int fio_psyncio_queue(struct thread_data *td, struct io_u *io_u)
 		ret = pread(f->fd, io_u->xfer_buf, io_u->xfer_buflen, io_u->offset);
 	else if (io_u->ddir == DDIR_WRITE)
 		ret = pwrite(f->fd, io_u->xfer_buf, io_u->xfer_buflen, io_u->offset);
-	else
-		ret = fsync(f->fd);
+	else if (io_u->ddir == DDIR_TRIM) {
+		do_io_u_trim(td, io_u);
+		return FIO_Q_COMPLETED;
+	} else
+		ret = do_io_u_sync(td, io_u);
 
 	return fio_io_end(td, io_u, ret);
 }
@@ -85,22 +184,25 @@ static int fio_syncio_queue(struct thread_data *td, struct io_u *io_u)
 		ret = read(f->fd, io_u->xfer_buf, io_u->xfer_buflen);
 	else if (io_u->ddir == DDIR_WRITE)
 		ret = write(f->fd, io_u->xfer_buf, io_u->xfer_buflen);
-	else
-		ret = fsync(f->fd);
+	else if (io_u->ddir == DDIR_TRIM) {
+		do_io_u_trim(td, io_u);
+		return FIO_Q_COMPLETED;
+	} else
+		ret = do_io_u_sync(td, io_u);
 
 	return fio_io_end(td, io_u, ret);
 }
 
 static int fio_vsyncio_getevents(struct thread_data *td, unsigned int min,
 				 unsigned int max,
-				 struct timespec fio_unused *t)
+				 const struct timespec fio_unused *t)
 {
-	struct syncio_data *sd = td->io_ops->data;
+	struct syncio_data *sd = td->io_ops_data;
 	int ret;
 
 	if (min) {
-		ret = sd->queued;
-		sd->queued = 0;
+		ret = sd->events;
+		sd->events = 0;
 	} else
 		ret = 0;
 
@@ -110,16 +212,16 @@ static int fio_vsyncio_getevents(struct thread_data *td, unsigned int min,
 
 static struct io_u *fio_vsyncio_event(struct thread_data *td, int event)
 {
-	struct syncio_data *sd = td->io_ops->data;
+	struct syncio_data *sd = td->io_ops_data;
 
 	return sd->io_us[event];
 }
 
 static int fio_vsyncio_append(struct thread_data *td, struct io_u *io_u)
 {
-	struct syncio_data *sd = td->io_ops->data;
+	struct syncio_data *sd = td->io_ops_data;
 
-	if (io_u->ddir == DDIR_SYNC)
+	if (ddir_sync(io_u->ddir))
 		return 0;
 
 	if (io_u->offset == sd->last_offset && io_u->file == sd->last_file &&
@@ -130,11 +232,11 @@ static int fio_vsyncio_append(struct thread_data *td, struct io_u *io_u)
 }
 
 static void fio_vsyncio_set_iov(struct syncio_data *sd, struct io_u *io_u,
-				int index)
+				int idx)
 {
-	sd->io_us[index] = io_u;
-	sd->iovecs[index].iov_base = io_u->xfer_buf;
-	sd->iovecs[index].iov_len = io_u->xfer_buflen;
+	sd->io_us[idx] = io_u;
+	sd->iovecs[idx].iov_base = io_u->xfer_buf;
+	sd->iovecs[idx].iov_len = io_u->xfer_buflen;
 	sd->last_offset = io_u->offset + io_u->xfer_buflen;
 	sd->last_file = io_u->file;
 	sd->last_ddir = io_u->ddir;
@@ -144,7 +246,7 @@ static void fio_vsyncio_set_iov(struct syncio_data *sd, struct io_u *io_u,
 
 static int fio_vsyncio_queue(struct thread_data *td, struct io_u *io_u)
 {
-	struct syncio_data *sd = td->io_ops->data;
+	struct syncio_data *sd = td->io_ops_data;
 
 	fio_ro_check(td, io_u);
 
@@ -156,8 +258,8 @@ static int fio_vsyncio_queue(struct thread_data *td, struct io_u *io_u)
 		 */
 		if (sd->queued)
 			return FIO_Q_BUSY;
-		if (io_u->ddir == DDIR_SYNC) {
-			int ret = fsync(io_u->file->fd);
+		if (ddir_sync(io_u->ddir)) {
+			int ret = do_io_u_sync(td, io_u);
 
 			return fio_io_end(td, io_u, ret);
 		}
@@ -184,7 +286,7 @@ static int fio_vsyncio_queue(struct thread_data *td, struct io_u *io_u)
  */
 static int fio_vsyncio_end(struct thread_data *td, ssize_t bytes)
 {
-	struct syncio_data *sd = td->io_ops->data;
+	struct syncio_data *sd = td->io_ops_data;
 	struct io_u *io_u;
 	unsigned int i;
 	int err;
@@ -224,7 +326,7 @@ static int fio_vsyncio_end(struct thread_data *td, ssize_t bytes)
 
 static int fio_vsyncio_commit(struct thread_data *td)
 {
-	struct syncio_data *sd = td->io_ops->data;
+	struct syncio_data *sd = td->io_ops_data;
 	struct fio_file *f;
 	ssize_t ret;
 
@@ -247,6 +349,8 @@ static int fio_vsyncio_commit(struct thread_data *td)
 		ret = writev(f->fd, sd->iovecs, sd->queued);
 
 	dprint(FD_IO, "vsyncio_commit: %d\n", (int) ret);
+	sd->events = sd->queued;
+	sd->queued = 0;
 	return fio_vsyncio_end(td, ret);
 }
 
@@ -260,18 +364,19 @@ static int fio_vsyncio_init(struct thread_data *td)
 	sd->iovecs = malloc(td->o.iodepth * sizeof(struct iovec));
 	sd->io_us = malloc(td->o.iodepth * sizeof(struct io_u *));
 
-	td->io_ops->data = sd;
+	td->io_ops_data = sd;
 	return 0;
 }
 
 static void fio_vsyncio_cleanup(struct thread_data *td)
 {
-	struct syncio_data *sd = td->io_ops->data;
+	struct syncio_data *sd = td->io_ops_data;
 
-	free(sd->iovecs);
-	free(sd->io_us);
-	free(sd);
-	td->io_ops->data = NULL;
+	if (sd) {
+		free(sd->iovecs);
+		free(sd->io_us);
+		free(sd);
+	}
 }
 
 static struct ioengine_ops ioengine_rw = {
@@ -281,6 +386,7 @@ static struct ioengine_ops ioengine_rw = {
 	.queue		= fio_syncio_queue,
 	.open_file	= generic_open_file,
 	.close_file	= generic_close_file,
+	.get_file_size	= generic_get_file_size,
 	.flags		= FIO_SYNCIO,
 };
 
@@ -290,6 +396,7 @@ static struct ioengine_ops ioengine_prw = {
 	.queue		= fio_psyncio_queue,
 	.open_file	= generic_open_file,
 	.close_file	= generic_close_file,
+	.get_file_size	= generic_get_file_size,
 	.flags		= FIO_SYNCIO,
 };
 
@@ -304,14 +411,51 @@ static struct ioengine_ops ioengine_vrw = {
 	.getevents	= fio_vsyncio_getevents,
 	.open_file	= generic_open_file,
 	.close_file	= generic_close_file,
+	.get_file_size	= generic_get_file_size,
+	.flags		= FIO_SYNCIO,
+};
+
+#ifdef CONFIG_PWRITEV
+static struct ioengine_ops ioengine_pvrw = {
+	.name		= "pvsync",
+	.version	= FIO_IOOPS_VERSION,
+	.init		= fio_vsyncio_init,
+	.cleanup	= fio_vsyncio_cleanup,
+	.queue		= fio_pvsyncio_queue,
+	.open_file	= generic_open_file,
+	.close_file	= generic_close_file,
+	.get_file_size	= generic_get_file_size,
+	.flags		= FIO_SYNCIO,
+};
+#endif
+
+#ifdef FIO_HAVE_PWRITEV2
+static struct ioengine_ops ioengine_pvrw2 = {
+	.name		= "pvsync2",
+	.version	= FIO_IOOPS_VERSION,
+	.init		= fio_vsyncio_init,
+	.cleanup	= fio_vsyncio_cleanup,
+	.queue		= fio_pvsyncio2_queue,
+	.open_file	= generic_open_file,
+	.close_file	= generic_close_file,
+	.get_file_size	= generic_get_file_size,
 	.flags		= FIO_SYNCIO,
+	.options	= options,
+	.option_struct_size	= sizeof(struct psyncv2_options),
 };
+#endif
 
 static void fio_init fio_syncio_register(void)
 {
 	register_ioengine(&ioengine_rw);
 	register_ioengine(&ioengine_prw);
 	register_ioengine(&ioengine_vrw);
+#ifdef CONFIG_PWRITEV
+	register_ioengine(&ioengine_pvrw);
+#endif
+#ifdef FIO_HAVE_PWRITEV2
+	register_ioengine(&ioengine_pvrw2);
+#endif
 }
 
 static void fio_exit fio_syncio_unregister(void)
@@ -319,4 +463,10 @@ static void fio_exit fio_syncio_unregister(void)
 	unregister_ioengine(&ioengine_rw);
 	unregister_ioengine(&ioengine_prw);
 	unregister_ioengine(&ioengine_vrw);
+#ifdef CONFIG_PWRITEV
+	unregister_ioengine(&ioengine_pvrw);
+#endif
+#ifdef FIO_HAVE_PWRITEV2
+	unregister_ioengine(&ioengine_pvrw2);
+#endif
 }