xprtrdma: Don't defer fencing an async RPC's chunks
authorChuck Lever <chuck.lever@oracle.com>
Mon, 9 Oct 2017 16:03:26 +0000 (12:03 -0400)
committerAnna Schumaker <Anna.Schumaker@Netapp.com>
Mon, 16 Oct 2017 17:51:27 +0000 (13:51 -0400)
In current kernels, waiting in xprt_release appears to be safe to
do. I had erroneously believed that for ASYNC RPCs, waiting of any
kind in xprt_release->xprt_rdma_free would result in deadlock. I've
done injection testing and consulted with Trond to confirm that
waiting in the RPC release path is safe.

For the very few times where RPC resources haven't yet been released
earlier by the reply handler, it is safe to wait synchronously in
xprt_rdma_free for invalidation rather than defering it to MR
recovery.

Note: When the QP is error state, posting a LocalInvalidate should
flush and mark the MR as bad. There is no way the remote HCA can
access that MR via a QP in error state, so it is effectively already
inaccessible and thus safe for the Upper Layer to access. The next
time the MR is used it should be recognized and cleaned up properly
by frwr_op_map.

Signed-off-by: Chuck Lever <chuck.lever@oracle.com>
Signed-off-by: Anna Schumaker <Anna.Schumaker@Netapp.com>
net/sunrpc/xprtrdma/transport.c

index c84e2b644e133ee13c94082b171acbe063bf3f97..8cf5ccfe180d35a6809d121ff6d0cb7da71a3464 100644 (file)
@@ -686,7 +686,7 @@ xprt_rdma_free(struct rpc_task *task)
        dprintk("RPC:       %s: called on 0x%p\n", __func__, req->rl_reply);
 
        if (!list_empty(&req->rl_registered))
-               ia->ri_ops->ro_unmap_safe(r_xprt, req, !RPC_IS_ASYNC(task));
+               ia->ri_ops->ro_unmap_sync(r_xprt, &req->rl_registered);
        rpcrdma_unmap_sges(ia, req);
        rpcrdma_buffer_put(req);
 }