net/core/net_namespace.c

   1 // SPDX-License-Identifier: GPL-2.0-only
   2 #define pr_fmt(fmt) KBUILD_MODNAME ": " fmt
   3
   4 #include <linux/workqueue.h>
   5 #include <linux/rtnetlink.h>
   6 #include <linux/cache.h>
   7 #include <linux/slab.h>
   8 #include <linux/list.h>
   9 #include <linux/delay.h>
  10 #include <linux/sched.h>
  11 #include <linux/idr.h>
  12 #include <linux/rculist.h>
  13 #include <linux/nsproxy.h>
  14 #include <linux/fs.h>
  15 #include <linux/proc_ns.h>
  16 #include <linux/file.h>
  17 #include <linux/export.h>
  18 #include <linux/user_namespace.h>
  19 #include <linux/net_namespace.h>
  20 #include <linux/sched/task.h>
  21 #include <linux/uidgid.h>
  22 #include <linux/cookie.h>
  23 #include <linux/proc_fs.h>
  24
  25 #include <net/sock.h>
  26 #include <net/netlink.h>
  27 #include <net/net_namespace.h>
  28 #include <net/netns/generic.h>
  29
  30 /*
  31  *      Our network namespace constructor/destructor lists
  32  */
  33
  34 static LIST_HEAD(pernet_list);
  35 static struct list_head *first_device = &pernet_list;
  36
  37 LIST_HEAD(net_namespace_list);
  38 EXPORT_SYMBOL_GPL(net_namespace_list);
  39
  40 /* Protects net_namespace_list. Nests iside rtnl_lock() */
  41 DECLARE_RWSEM(net_rwsem);
  42 EXPORT_SYMBOL_GPL(net_rwsem);
  43
  44 #ifdef CONFIG_KEYS
  45 static struct key_tag init_net_key_domain = { .usage = REFCOUNT_INIT(1) };
  46 #endif
  47
  48 struct net init_net;
  49 EXPORT_SYMBOL(init_net);
  50
  51 static bool init_net_initialized;
  52 /*
  53  * pernet_ops_rwsem: protects: pernet_list, net_generic_ids,
  54  * init_net_initialized and first_device pointer.
  55  * This is internal net namespace object. Please, don't use it
  56  * outside.
  57  */
  58 DECLARE_RWSEM(pernet_ops_rwsem);
  59 EXPORT_SYMBOL_GPL(pernet_ops_rwsem);
  60
  61 #define MIN_PERNET_OPS_ID       \
  62         ((sizeof(struct net_generic) + sizeof(void *) - 1) / sizeof(void *))
  63
  64 #define INITIAL_NET_GEN_PTRS    13 /* +1 for len +2 for rcu_head */
  65
  66 static unsigned int max_gen_ptrs = INITIAL_NET_GEN_PTRS;
  67
  68 DEFINE_COOKIE(net_cookie);
  69
  70 static struct net_generic *net_alloc_generic(void)
  71 {
  72         unsigned int gen_ptrs = READ_ONCE(max_gen_ptrs);
  73         unsigned int generic_size;
  74         struct net_generic *ng;
  75
  76         generic_size = offsetof(struct net_generic, ptr[gen_ptrs]);
  77
  78         ng = kzalloc(generic_size, GFP_KERNEL);
  79         if (ng)
  80                 ng->s.len = gen_ptrs;
  81
  82         return ng;
  83 }
  84
  85 static int net_assign_generic(struct net *net, unsigned int id, void *data)
  86 {
  87         struct net_generic *ng, *old_ng;
  88
  89         BUG_ON(id < MIN_PERNET_OPS_ID);
  90
  91         old_ng = rcu_dereference_protected(net->gen,
  92                                            lockdep_is_held(&pernet_ops_rwsem));
  93         if (old_ng->s.len > id) {
  94                 old_ng->ptr[id] = data;
  95                 return 0;
  96         }
  97
  98         ng = net_alloc_generic();
  99         if (!ng)
 100                 return -ENOMEM;
 101
 102         /*
 103          * Some synchronisation notes:
 104          *
 105          * The net_generic explores the net->gen array inside rcu
 106          * read section. Besides once set the net->gen->ptr[x]
 107          * pointer never changes (see rules in netns/generic.h).
 108          *
 109          * That said, we simply duplicate this array and schedule
 110          * the old copy for kfree after a grace period.
 111          */
 112
 113         memcpy(&ng->ptr[MIN_PERNET_OPS_ID], &old_ng->ptr[MIN_PERNET_OPS_ID],
 114                (old_ng->s.len - MIN_PERNET_OPS_ID) * sizeof(void *));
 115         ng->ptr[id] = data;
 116
 117         rcu_assign_pointer(net->gen, ng);
 118         kfree_rcu(old_ng, s.rcu);
 119         return 0;
 120 }
 121
 122 static int ops_init(const struct pernet_operations *ops, struct net *net)
 123 {
 124         struct net_generic *ng;
 125         int err = -ENOMEM;
 126         void *data = NULL;
 127
 128         if (ops->id && ops->size) {
 129                 data = kzalloc(ops->size, GFP_KERNEL);
 130                 if (!data)
 131                         goto out;
 132
 133                 err = net_assign_generic(net, *ops->id, data);
 134                 if (err)
 135                         goto cleanup;
 136         }
 137         err = 0;
 138         if (ops->init)
 139                 err = ops->init(net);
 140         if (!err)
 141                 return 0;
 142
 143         if (ops->id && ops->size) {
 144                 ng = rcu_dereference_protected(net->gen,
 145                                                lockdep_is_held(&pernet_ops_rwsem));
 146                 ng->ptr[*ops->id] = NULL;
 147         }
 148
 149 cleanup:
 150         kfree(data);
 151
 152 out:
 153         return err;
 154 }
 155
 156 static void ops_pre_exit_list(const struct pernet_operations *ops,
 157                               struct list_head *net_exit_list)
 158 {
 159         struct net *net;
 160
 161         if (ops->pre_exit) {
 162                 list_for_each_entry(net, net_exit_list, exit_list)
 163                         ops->pre_exit(net);
 164         }
 165 }
 166
 167 static void ops_exit_list(const struct pernet_operations *ops,
 168                           struct list_head *net_exit_list)
 169 {
 170         struct net *net;
 171         if (ops->exit) {
 172                 list_for_each_entry(net, net_exit_list, exit_list) {
 173                         ops->exit(net);
 174                         cond_resched();
 175                 }
 176         }
 177         if (ops->exit_batch)
 178                 ops->exit_batch(net_exit_list);
 179 }
 180
 181 static void ops_free_list(const struct pernet_operations *ops,
 182                           struct list_head *net_exit_list)
 183 {
 184         struct net *net;
 185         if (ops->size && ops->id) {
 186                 list_for_each_entry(net, net_exit_list, exit_list)
 187                         kfree(net_generic(net, *ops->id));
 188         }
 189 }
 190
 191 /* should be called with nsid_lock held */
 192 static int alloc_netid(struct net *net, struct net *peer, int reqid)
 193 {
 194         int min = 0, max = 0;
 195
 196         if (reqid >= 0) {
 197                 min = reqid;
 198                 max = reqid + 1;
 199         }
 200
 201         return idr_alloc(&net->netns_ids, peer, min, max, GFP_ATOMIC);
 202 }
 203
 204 /* This function is used by idr_for_each(). If net is equal to peer, the
 205  * function returns the id so that idr_for_each() stops. Because we cannot
 206  * returns the id 0 (idr_for_each() will not stop), we return the magic value
 207  * NET_ID_ZERO (-1) for it.
 208  */
 209 #define NET_ID_ZERO -1
 210 static int net_eq_idr(int id, void *net, void *peer)
 211 {
 212         if (net_eq(net, peer))
 213                 return id ? : NET_ID_ZERO;
 214         return 0;
 215 }
 216
 217 /* Must be called from RCU-critical section or with nsid_lock held */
 218 static int __peernet2id(const struct net *net, struct net *peer)
 219 {
 220         int id = idr_for_each(&net->netns_ids, net_eq_idr, peer);
 221
 222         /* Magic value for id 0. */
 223         if (id == NET_ID_ZERO)
 224                 return 0;
 225         if (id > 0)
 226                 return id;
 227
 228         return NETNSA_NSID_NOT_ASSIGNED;
 229 }
 230
 231 static void rtnl_net_notifyid(struct net *net, int cmd, int id, u32 portid,
 232                               struct nlmsghdr *nlh, gfp_t gfp);
 233 /* This function returns the id of a peer netns. If no id is assigned, one will
 234  * be allocated and returned.
 235  */
 236 int peernet2id_alloc(struct net *net, struct net *peer, gfp_t gfp)
 237 {
 238         int id;
 239
 240         if (refcount_read(&net->ns.count) == 0)
 241                 return NETNSA_NSID_NOT_ASSIGNED;
 242
 243         spin_lock_bh(&net->nsid_lock);
 244         id = __peernet2id(net, peer);
 245         if (id >= 0) {
 246                 spin_unlock_bh(&net->nsid_lock);
 247                 return id;
 248         }
 249
 250         /* When peer is obtained from RCU lists, we may race with
 251          * its cleanup. Check whether it's alive, and this guarantees
 252          * we never hash a peer back to net->netns_ids, after it has
 253          * just been idr_remove()'d from there in cleanup_net().
 254          */
 255         if (!maybe_get_net(peer)) {
 256                 spin_unlock_bh(&net->nsid_lock);
 257                 return NETNSA_NSID_NOT_ASSIGNED;
 258         }
 259
 260         id = alloc_netid(net, peer, -1);
 261         spin_unlock_bh(&net->nsid_lock);
 262
 263         put_net(peer);
 264         if (id < 0)
 265                 return NETNSA_NSID_NOT_ASSIGNED;
 266
 267         rtnl_net_notifyid(net, RTM_NEWNSID, id, 0, NULL, gfp);
 268
 269         return id;
 270 }
 271 EXPORT_SYMBOL_GPL(peernet2id_alloc);
 272
 273 /* This function returns, if assigned, the id of a peer netns. */
 274 int peernet2id(const struct net *net, struct net *peer)
 275 {
 276         int id;
 277
 278         rcu_read_lock();
 279         id = __peernet2id(net, peer);
 280         rcu_read_unlock();
 281
 282         return id;
 283 }
 284 EXPORT_SYMBOL(peernet2id);
 285
 286 /* This function returns true is the peer netns has an id assigned into the
 287  * current netns.
 288  */
 289 bool peernet_has_id(const struct net *net, struct net *peer)
 290 {
 291         return peernet2id(net, peer) >= 0;
 292 }
 293
 294 struct net *get_net_ns_by_id(const struct net *net, int id)
 295 {
 296         struct net *peer;
 297
 298         if (id < 0)
 299                 return NULL;
 300
 301         rcu_read_lock();
 302         peer = idr_find(&net->netns_ids, id);
 303         if (peer)
 304                 peer = maybe_get_net(peer);
 305         rcu_read_unlock();
 306
 307         return peer;
 308 }
 309 EXPORT_SYMBOL_GPL(get_net_ns_by_id);
 310
 311 /* init code that must occur even if setup_net() is not called. */
 312 static __net_init void preinit_net(struct net *net)
 313 {
 314         ref_tracker_dir_init(&net->notrefcnt_tracker, 128, "net notrefcnt");
 315 }
 316
 317 /*
 318  * setup_net runs the initializers for the network namespace object.
 319  */
 320 static __net_init int setup_net(struct net *net, struct user_namespace *user_ns)
 321 {
 322         /* Must be called with pernet_ops_rwsem held */
 323         const struct pernet_operations *ops, *saved_ops;
 324         LIST_HEAD(net_exit_list);
 325         LIST_HEAD(dev_kill_list);
 326         int error = 0;
 327
 328         refcount_set(&net->ns.count, 1);
 329         ref_tracker_dir_init(&net->refcnt_tracker, 128, "net refcnt");
 330
 331         refcount_set(&net->passive, 1);
 332         get_random_bytes(&net->hash_mix, sizeof(u32));
 333         preempt_disable();
 334         net->net_cookie = gen_cookie_next(&net_cookie);
 335         preempt_enable();
 336         net->dev_base_seq = 1;
 337         net->user_ns = user_ns;
 338         idr_init(&net->netns_ids);
 339         spin_lock_init(&net->nsid_lock);
 340         mutex_init(&net->ipv4.ra_mutex);
 341
 342         list_for_each_entry(ops, &pernet_list, list) {
 343                 error = ops_init(ops, net);
 344                 if (error < 0)
 345                         goto out_undo;
 346         }
 347         down_write(&net_rwsem);
 348         list_add_tail_rcu(&net->list, &net_namespace_list);
 349         up_write(&net_rwsem);
 350 out:
 351         return error;
 352
 353 out_undo:
 354         /* Walk through the list backwards calling the exit functions
 355          * for the pernet modules whose init functions did not fail.
 356          */
 357         list_add(&net->exit_list, &net_exit_list);
 358         saved_ops = ops;
 359         list_for_each_entry_continue_reverse(ops, &pernet_list, list)
 360                 ops_pre_exit_list(ops, &net_exit_list);
 361
 362         synchronize_rcu();
 363
 364         ops = saved_ops;
 365         rtnl_lock();
 366         list_for_each_entry_continue_reverse(ops, &pernet_list, list) {
 367                 if (ops->exit_batch_rtnl)
 368                         ops->exit_batch_rtnl(&net_exit_list, &dev_kill_list);
 369         }
 370         unregister_netdevice_many(&dev_kill_list);
 371         rtnl_unlock();
 372
 373         ops = saved_ops;
 374         list_for_each_entry_continue_reverse(ops, &pernet_list, list)
 375                 ops_exit_list(ops, &net_exit_list);
 376
 377         ops = saved_ops;
 378         list_for_each_entry_continue_reverse(ops, &pernet_list, list)
 379                 ops_free_list(ops, &net_exit_list);
 380
 381         rcu_barrier();
 382         goto out;
 383 }
 384
 385 static int __net_init net_defaults_init_net(struct net *net)
 386 {
 387         net->core.sysctl_somaxconn = SOMAXCONN;
 388         /* Limits per socket sk_omem_alloc usage.
 389          * TCP zerocopy regular usage needs 128 KB.
 390          */
 391         net->core.sysctl_optmem_max = 128 * 1024;
 392         net->core.sysctl_txrehash = SOCK_TXREHASH_ENABLED;
 393
 394         return 0;
 395 }
 396
 397 static struct pernet_operations net_defaults_ops = {
 398         .init = net_defaults_init_net,
 399 };
 400
 401 static __init int net_defaults_init(void)
 402 {
 403         if (register_pernet_subsys(&net_defaults_ops))
 404                 panic("Cannot initialize net default settings");
 405
 406         return 0;
 407 }
 408
 409 core_initcall(net_defaults_init);
 410
 411 #ifdef CONFIG_NET_NS
 412 static struct ucounts *inc_net_namespaces(struct user_namespace *ns)
 413 {
 414         return inc_ucount(ns, current_euid(), UCOUNT_NET_NAMESPACES);
 415 }
 416
 417 static void dec_net_namespaces(struct ucounts *ucounts)
 418 {
 419         dec_ucount(ucounts, UCOUNT_NET_NAMESPACES);
 420 }
 421
 422 static struct kmem_cache *net_cachep __ro_after_init;
 423 static struct workqueue_struct *netns_wq;
 424
 425 static struct net *net_alloc(void)
 426 {
 427         struct net *net = NULL;
 428         struct net_generic *ng;
 429
 430         ng = net_alloc_generic();
 431         if (!ng)
 432                 goto out;
 433
 434         net = kmem_cache_zalloc(net_cachep, GFP_KERNEL);
 435         if (!net)
 436                 goto out_free;
 437
 438 #ifdef CONFIG_KEYS
 439         net->key_domain = kzalloc(sizeof(struct key_tag), GFP_KERNEL);
 440         if (!net->key_domain)
 441                 goto out_free_2;
 442         refcount_set(&net->key_domain->usage, 1);
 443 #endif
 444
 445         rcu_assign_pointer(net->gen, ng);
 446 out:
 447         return net;
 448
 449 #ifdef CONFIG_KEYS
 450 out_free_2:
 451         kmem_cache_free(net_cachep, net);
 452         net = NULL;
 453 #endif
 454 out_free:
 455         kfree(ng);
 456         goto out;
 457 }
 458
 459 static void net_free(struct net *net)
 460 {
 461         if (refcount_dec_and_test(&net->passive)) {
 462                 kfree(rcu_access_pointer(net->gen));
 463
 464                 /* There should not be any trackers left there. */
 465                 ref_tracker_dir_exit(&net->notrefcnt_tracker);
 466
 467                 kmem_cache_free(net_cachep, net);
 468         }
 469 }
 470
 471 void net_drop_ns(void *p)
 472 {
 473         struct net *net = (struct net *)p;
 474
 475         if (net)
 476                 net_free(net);
 477 }
 478
 479 struct net *copy_net_ns(unsigned long flags,
 480                         struct user_namespace *user_ns, struct net *old_net)
 481 {
 482         struct ucounts *ucounts;
 483         struct net *net;
 484         int rv;
 485
 486         if (!(flags & CLONE_NEWNET))
 487                 return get_net(old_net);
 488
 489         ucounts = inc_net_namespaces(user_ns);
 490         if (!ucounts)
 491                 return ERR_PTR(-ENOSPC);
 492
 493         net = net_alloc();
 494         if (!net) {
 495                 rv = -ENOMEM;
 496                 goto dec_ucounts;
 497         }
 498
 499         preinit_net(net);
 500         refcount_set(&net->passive, 1);
 501         net->ucounts = ucounts;
 502         get_user_ns(user_ns);
 503
 504         rv = down_read_killable(&pernet_ops_rwsem);
 505         if (rv < 0)
 506                 goto put_userns;
 507
 508         rv = setup_net(net, user_ns);
 509
 510         up_read(&pernet_ops_rwsem);
 511
 512         if (rv < 0) {
 513 put_userns:
 514 #ifdef CONFIG_KEYS
 515                 key_remove_domain(net->key_domain);
 516 #endif
 517                 put_user_ns(user_ns);
 518                 net_free(net);
 519 dec_ucounts:
 520                 dec_net_namespaces(ucounts);
 521                 return ERR_PTR(rv);
 522         }
 523         return net;
 524 }
 525
 526 /**
 527  * net_ns_get_ownership - get sysfs ownership data for @net
 528  * @net: network namespace in question (can be NULL)
 529  * @uid: kernel user ID for sysfs objects
 530  * @gid: kernel group ID for sysfs objects
 531  *
 532  * Returns the uid/gid pair of root in the user namespace associated with the
 533  * given network namespace.
 534  */
 535 void net_ns_get_ownership(const struct net *net, kuid_t *uid, kgid_t *gid)
 536 {
 537         if (net) {
 538                 kuid_t ns_root_uid = make_kuid(net->user_ns, 0);
 539                 kgid_t ns_root_gid = make_kgid(net->user_ns, 0);
 540
 541                 if (uid_valid(ns_root_uid))
 542                         *uid = ns_root_uid;
 543
 544                 if (gid_valid(ns_root_gid))
 545                         *gid = ns_root_gid;
 546         } else {
 547                 *uid = GLOBAL_ROOT_UID;
 548                 *gid = GLOBAL_ROOT_GID;
 549         }
 550 }
 551 EXPORT_SYMBOL_GPL(net_ns_get_ownership);
 552
 553 static void unhash_nsid(struct net *net, struct net *last)
 554 {
 555         struct net *tmp;
 556         /* This function is only called from cleanup_net() work,
 557          * and this work is the only process, that may delete
 558          * a net from net_namespace_list. So, when the below
 559          * is executing, the list may only grow. Thus, we do not
 560          * use for_each_net_rcu() or net_rwsem.
 561          */
 562         for_each_net(tmp) {
 563                 int id;
 564
 565                 spin_lock_bh(&tmp->nsid_lock);
 566                 id = __peernet2id(tmp, net);
 567                 if (id >= 0)
 568                         idr_remove(&tmp->netns_ids, id);
 569                 spin_unlock_bh(&tmp->nsid_lock);
 570                 if (id >= 0)
 571                         rtnl_net_notifyid(tmp, RTM_DELNSID, id, 0, NULL,
 572                                           GFP_KERNEL);
 573                 if (tmp == last)
 574                         break;
 575         }
 576         spin_lock_bh(&net->nsid_lock);
 577         idr_destroy(&net->netns_ids);
 578         spin_unlock_bh(&net->nsid_lock);
 579 }
 580
 581 static LLIST_HEAD(cleanup_list);
 582
 583 static void cleanup_net(struct work_struct *work)
 584 {
 585         const struct pernet_operations *ops;
 586         struct net *net, *tmp, *last;
 587         struct llist_node *net_kill_list;
 588         LIST_HEAD(net_exit_list);
 589         LIST_HEAD(dev_kill_list);
 590
 591         /* Atomically snapshot the list of namespaces to cleanup */
 592         net_kill_list = llist_del_all(&cleanup_list);
 593
 594         down_read(&pernet_ops_rwsem);
 595
 596         /* Don't let anyone else find us. */
 597         down_write(&net_rwsem);
 598         llist_for_each_entry(net, net_kill_list, cleanup_list)
 599                 list_del_rcu(&net->list);
 600         /* Cache last net. After we unlock rtnl, no one new net
 601          * added to net_namespace_list can assign nsid pointer
 602          * to a net from net_kill_list (see peernet2id_alloc()).
 603          * So, we skip them in unhash_nsid().
 604          *
 605          * Note, that unhash_nsid() does not delete nsid links
 606          * between net_kill_list's nets, as they've already
 607          * deleted from net_namespace_list. But, this would be
 608          * useless anyway, as netns_ids are destroyed there.
 609          */
 610         last = list_last_entry(&net_namespace_list, struct net, list);
 611         up_write(&net_rwsem);
 612
 613         llist_for_each_entry(net, net_kill_list, cleanup_list) {
 614                 unhash_nsid(net, last);
 615                 list_add_tail(&net->exit_list, &net_exit_list);
 616         }
 617
 618         /* Run all of the network namespace pre_exit methods */
 619         list_for_each_entry_reverse(ops, &pernet_list, list)
 620                 ops_pre_exit_list(ops, &net_exit_list);
 621
 622         /*
 623          * Another CPU might be rcu-iterating the list, wait for it.
 624          * This needs to be before calling the exit() notifiers, so
 625          * the rcu_barrier() below isn't sufficient alone.
 626          * Also the pre_exit() and exit() methods need this barrier.
 627          */
 628         synchronize_rcu_expedited();
 629
 630         rtnl_lock();
 631         list_for_each_entry_reverse(ops, &pernet_list, list) {
 632                 if (ops->exit_batch_rtnl)
 633                         ops->exit_batch_rtnl(&net_exit_list, &dev_kill_list);
 634         }
 635         unregister_netdevice_many(&dev_kill_list);
 636         rtnl_unlock();
 637
 638         /* Run all of the network namespace exit methods */
 639         list_for_each_entry_reverse(ops, &pernet_list, list)
 640                 ops_exit_list(ops, &net_exit_list);
 641
 642         /* Free the net generic variables */
 643         list_for_each_entry_reverse(ops, &pernet_list, list)
 644                 ops_free_list(ops, &net_exit_list);
 645
 646         up_read(&pernet_ops_rwsem);
 647
 648         /* Ensure there are no outstanding rcu callbacks using this
 649          * network namespace.
 650          */
 651         rcu_barrier();
 652
 653         /* Finally it is safe to free my network namespace structure */
 654         list_for_each_entry_safe(net, tmp, &net_exit_list, exit_list) {
 655                 list_del_init(&net->exit_list);
 656                 dec_net_namespaces(net->ucounts);
 657 #ifdef CONFIG_KEYS
 658                 key_remove_domain(net->key_domain);
 659 #endif
 660                 put_user_ns(net->user_ns);
 661                 net_free(net);
 662         }
 663 }
 664
 665 /**
 666  * net_ns_barrier - wait until concurrent net_cleanup_work is done
 667  *
 668  * cleanup_net runs from work queue and will first remove namespaces
 669  * from the global list, then run net exit functions.
 670  *
 671  * Call this in module exit path to make sure that all netns
 672  * ->exit ops have been invoked before the function is removed.
 673  */
 674 void net_ns_barrier(void)
 675 {
 676         down_write(&pernet_ops_rwsem);
 677         up_write(&pernet_ops_rwsem);
 678 }
 679 EXPORT_SYMBOL(net_ns_barrier);
 680
 681 static DECLARE_WORK(net_cleanup_work, cleanup_net);
 682
 683 void __put_net(struct net *net)
 684 {
 685         ref_tracker_dir_exit(&net->refcnt_tracker);
 686         /* Cleanup the network namespace in process context */
 687         if (llist_add(&net->cleanup_list, &cleanup_list))
 688                 queue_work(netns_wq, &net_cleanup_work);
 689 }
 690 EXPORT_SYMBOL_GPL(__put_net);
 691
 692 /**
 693  * get_net_ns - increment the refcount of the network namespace
 694  * @ns: common namespace (net)
 695  *
 696  * Returns the net's common namespace or ERR_PTR() if ref is zero.
 697  */
 698 struct ns_common *get_net_ns(struct ns_common *ns)
 699 {
 700         struct net *net;
 701
 702         net = maybe_get_net(container_of(ns, struct net, ns));
 703         if (net)
 704                 return &net->ns;
 705         return ERR_PTR(-EINVAL);
 706 }
 707 EXPORT_SYMBOL_GPL(get_net_ns);
 708
 709 struct net *get_net_ns_by_fd(int fd)
 710 {
 711         struct fd f = fdget(fd);
 712         struct net *net = ERR_PTR(-EINVAL);
 713
 714         if (!f.file)
 715                 return ERR_PTR(-EBADF);
 716
 717         if (proc_ns_file(f.file)) {
 718                 struct ns_common *ns = get_proc_ns(file_inode(f.file));
 719                 if (ns->ops == &netns_operations)
 720                         net = get_net(container_of(ns, struct net, ns));
 721         }
 722         fdput(f);
 723
 724         return net;
 725 }
 726 EXPORT_SYMBOL_GPL(get_net_ns_by_fd);
 727 #endif
 728
 729 struct net *get_net_ns_by_pid(pid_t pid)
 730 {
 731         struct task_struct *tsk;
 732         struct net *net;
 733
 734         /* Lookup the network namespace */
 735         net = ERR_PTR(-ESRCH);
 736         rcu_read_lock();
 737         tsk = find_task_by_vpid(pid);
 738         if (tsk) {
 739                 struct nsproxy *nsproxy;
 740                 task_lock(tsk);
 741                 nsproxy = tsk->nsproxy;
 742                 if (nsproxy)
 743                         net = get_net(nsproxy->net_ns);
 744                 task_unlock(tsk);
 745         }
 746         rcu_read_unlock();
 747         return net;
 748 }
 749 EXPORT_SYMBOL_GPL(get_net_ns_by_pid);
 750
 751 static __net_init int net_ns_net_init(struct net *net)
 752 {
 753 #ifdef CONFIG_NET_NS
 754         net->ns.ops = &netns_operations;
 755 #endif
 756         return ns_alloc_inum(&net->ns);
 757 }
 758
 759 static __net_exit void net_ns_net_exit(struct net *net)
 760 {
 761         ns_free_inum(&net->ns);
 762 }
 763
 764 static struct pernet_operations __net_initdata net_ns_ops = {
 765         .init = net_ns_net_init,
 766         .exit = net_ns_net_exit,
 767 };
 768
 769 static const struct nla_policy rtnl_net_policy[NETNSA_MAX + 1] = {
 770         [NETNSA_NONE]           = { .type = NLA_UNSPEC },
 771         [NETNSA_NSID]           = { .type = NLA_S32 },
 772         [NETNSA_PID]            = { .type = NLA_U32 },
 773         [NETNSA_FD]             = { .type = NLA_U32 },
 774         [NETNSA_TARGET_NSID]    = { .type = NLA_S32 },
 775 };
 776
 777 static int rtnl_net_newid(struct sk_buff *skb, struct nlmsghdr *nlh,
 778                           struct netlink_ext_ack *extack)
 779 {
 780         struct net *net = sock_net(skb->sk);
 781         struct nlattr *tb[NETNSA_MAX + 1];
 782         struct nlattr *nla;
 783         struct net *peer;
 784         int nsid, err;
 785
 786         err = nlmsg_parse_deprecated(nlh, sizeof(struct rtgenmsg), tb,
 787                                      NETNSA_MAX, rtnl_net_policy, extack);
 788         if (err < 0)
 789                 return err;
 790         if (!tb[NETNSA_NSID]) {
 791                 NL_SET_ERR_MSG(extack, "nsid is missing");
 792                 return -EINVAL;
 793         }
 794         nsid = nla_get_s32(tb[NETNSA_NSID]);
 795
 796         if (tb[NETNSA_PID]) {
 797                 peer = get_net_ns_by_pid(nla_get_u32(tb[NETNSA_PID]));
 798                 nla = tb[NETNSA_PID];
 799         } else if (tb[NETNSA_FD]) {
 800                 peer = get_net_ns_by_fd(nla_get_u32(tb[NETNSA_FD]));
 801                 nla = tb[NETNSA_FD];
 802         } else {
 803                 NL_SET_ERR_MSG(extack, "Peer netns reference is missing");
 804                 return -EINVAL;
 805         }
 806         if (IS_ERR(peer)) {
 807                 NL_SET_BAD_ATTR(extack, nla);
 808                 NL_SET_ERR_MSG(extack, "Peer netns reference is invalid");
 809                 return PTR_ERR(peer);
 810         }
 811
 812         spin_lock_bh(&net->nsid_lock);
 813         if (__peernet2id(net, peer) >= 0) {
 814                 spin_unlock_bh(&net->nsid_lock);
 815                 err = -EEXIST;
 816                 NL_SET_BAD_ATTR(extack, nla);
 817                 NL_SET_ERR_MSG(extack,
 818                                "Peer netns already has a nsid assigned");
 819                 goto out;
 820         }
 821
 822         err = alloc_netid(net, peer, nsid);
 823         spin_unlock_bh(&net->nsid_lock);
 824         if (err >= 0) {
 825                 rtnl_net_notifyid(net, RTM_NEWNSID, err, NETLINK_CB(skb).portid,
 826                                   nlh, GFP_KERNEL);
 827                 err = 0;
 828         } else if (err == -ENOSPC && nsid >= 0) {
 829                 err = -EEXIST;
 830                 NL_SET_BAD_ATTR(extack, tb[NETNSA_NSID]);
 831                 NL_SET_ERR_MSG(extack, "The specified nsid is already used");
 832         }
 833 out:
 834         put_net(peer);
 835         return err;
 836 }
 837
 838 static int rtnl_net_get_size(void)
 839 {
 840         return NLMSG_ALIGN(sizeof(struct rtgenmsg))
 841                + nla_total_size(sizeof(s32)) /* NETNSA_NSID */
 842                + nla_total_size(sizeof(s32)) /* NETNSA_CURRENT_NSID */
 843                ;
 844 }
 845
 846 struct net_fill_args {
 847         u32 portid;
 848         u32 seq;
 849         int flags;
 850         int cmd;
 851         int nsid;
 852         bool add_ref;
 853         int ref_nsid;
 854 };
 855
 856 static int rtnl_net_fill(struct sk_buff *skb, struct net_fill_args *args)
 857 {
 858         struct nlmsghdr *nlh;
 859         struct rtgenmsg *rth;
 860
 861         nlh = nlmsg_put(skb, args->portid, args->seq, args->cmd, sizeof(*rth),
 862                         args->flags);
 863         if (!nlh)
 864                 return -EMSGSIZE;
 865
 866         rth = nlmsg_data(nlh);
 867         rth->rtgen_family = AF_UNSPEC;
 868
 869         if (nla_put_s32(skb, NETNSA_NSID, args->nsid))
 870                 goto nla_put_failure;
 871
 872         if (args->add_ref &&
 873             nla_put_s32(skb, NETNSA_CURRENT_NSID, args->ref_nsid))
 874                 goto nla_put_failure;
 875
 876         nlmsg_end(skb, nlh);
 877         return 0;
 878
 879 nla_put_failure:
 880         nlmsg_cancel(skb, nlh);
 881         return -EMSGSIZE;
 882 }
 883
 884 static int rtnl_net_valid_getid_req(struct sk_buff *skb,
 885                                     const struct nlmsghdr *nlh,
 886                                     struct nlattr **tb,
 887                                     struct netlink_ext_ack *extack)
 888 {
 889         int i, err;
 890
 891         if (!netlink_strict_get_check(skb))
 892                 return nlmsg_parse_deprecated(nlh, sizeof(struct rtgenmsg),
 893                                               tb, NETNSA_MAX, rtnl_net_policy,
 894                                               extack);
 895
 896         err = nlmsg_parse_deprecated_strict(nlh, sizeof(struct rtgenmsg), tb,
 897                                             NETNSA_MAX, rtnl_net_policy,
 898                                             extack);
 899         if (err)
 900                 return err;
 901
 902         for (i = 0; i <= NETNSA_MAX; i++) {
 903                 if (!tb[i])
 904                         continue;
 905
 906                 switch (i) {
 907                 case NETNSA_PID:
 908                 case NETNSA_FD:
 909                 case NETNSA_NSID:
 910                 case NETNSA_TARGET_NSID:
 911                         break;
 912                 default:
 913                         NL_SET_ERR_MSG(extack, "Unsupported attribute in peer netns getid request");
 914                         return -EINVAL;
 915                 }
 916         }
 917
 918         return 0;
 919 }
 920
 921 static int rtnl_net_getid(struct sk_buff *skb, struct nlmsghdr *nlh,
 922                           struct netlink_ext_ack *extack)
 923 {
 924         struct net *net = sock_net(skb->sk);
 925         struct nlattr *tb[NETNSA_MAX + 1];
 926         struct net_fill_args fillargs = {
 927                 .portid = NETLINK_CB(skb).portid,
 928                 .seq = nlh->nlmsg_seq,
 929                 .cmd = RTM_NEWNSID,
 930         };
 931         struct net *peer, *target = net;
 932         struct nlattr *nla;
 933         struct sk_buff *msg;
 934         int err;
 935
 936         err = rtnl_net_valid_getid_req(skb, nlh, tb, extack);
 937         if (err < 0)
 938                 return err;
 939         if (tb[NETNSA_PID]) {
 940                 peer = get_net_ns_by_pid(nla_get_u32(tb[NETNSA_PID]));
 941                 nla = tb[NETNSA_PID];
 942         } else if (tb[NETNSA_FD]) {
 943                 peer = get_net_ns_by_fd(nla_get_u32(tb[NETNSA_FD]));
 944                 nla = tb[NETNSA_FD];
 945         } else if (tb[NETNSA_NSID]) {
 946                 peer = get_net_ns_by_id(net, nla_get_s32(tb[NETNSA_NSID]));
 947                 if (!peer)
 948                         peer = ERR_PTR(-ENOENT);
 949                 nla = tb[NETNSA_NSID];
 950         } else {
 951                 NL_SET_ERR_MSG(extack, "Peer netns reference is missing");
 952                 return -EINVAL;
 953         }
 954
 955         if (IS_ERR(peer)) {
 956                 NL_SET_BAD_ATTR(extack, nla);
 957                 NL_SET_ERR_MSG(extack, "Peer netns reference is invalid");
 958                 return PTR_ERR(peer);
 959         }
 960
 961         if (tb[NETNSA_TARGET_NSID]) {
 962                 int id = nla_get_s32(tb[NETNSA_TARGET_NSID]);
 963
 964                 target = rtnl_get_net_ns_capable(NETLINK_CB(skb).sk, id);
 965                 if (IS_ERR(target)) {
 966                         NL_SET_BAD_ATTR(extack, tb[NETNSA_TARGET_NSID]);
 967                         NL_SET_ERR_MSG(extack,
 968                                        "Target netns reference is invalid");
 969                         err = PTR_ERR(target);
 970                         goto out;
 971                 }
 972                 fillargs.add_ref = true;
 973                 fillargs.ref_nsid = peernet2id(net, peer);
 974         }
 975
 976         msg = nlmsg_new(rtnl_net_get_size(), GFP_KERNEL);
 977         if (!msg) {
 978                 err = -ENOMEM;
 979                 goto out;
 980         }
 981
 982         fillargs.nsid = peernet2id(target, peer);
 983         err = rtnl_net_fill(msg, &fillargs);
 984         if (err < 0)
 985                 goto err_out;
 986
 987         err = rtnl_unicast(msg, net, NETLINK_CB(skb).portid);
 988         goto out;
 989
 990 err_out:
 991         nlmsg_free(msg);
 992 out:
 993         if (fillargs.add_ref)
 994                 put_net(target);
 995         put_net(peer);
 996         return err;
 997 }
 998
 999 struct rtnl_net_dump_cb {
1000         struct net *tgt_net;
1001         struct net *ref_net;
1002         struct sk_buff *skb;
1003         struct net_fill_args fillargs;
1004         int idx;
1005         int s_idx;
1006 };
1007
1008 /* Runs in RCU-critical section. */
1009 static int rtnl_net_dumpid_one(int id, void *peer, void *data)
1010 {
1011         struct rtnl_net_dump_cb *net_cb = (struct rtnl_net_dump_cb *)data;
1012         int ret;
1013
1014         if (net_cb->idx < net_cb->s_idx)
1015                 goto cont;
1016
1017         net_cb->fillargs.nsid = id;
1018         if (net_cb->fillargs.add_ref)
1019                 net_cb->fillargs.ref_nsid = __peernet2id(net_cb->ref_net, peer);
1020         ret = rtnl_net_fill(net_cb->skb, &net_cb->fillargs);
1021         if (ret < 0)
1022                 return ret;
1023
1024 cont:
1025         net_cb->idx++;
1026         return 0;
1027 }
1028
1029 static int rtnl_valid_dump_net_req(const struct nlmsghdr *nlh, struct sock *sk,
1030                                    struct rtnl_net_dump_cb *net_cb,
1031                                    struct netlink_callback *cb)
1032 {
1033         struct netlink_ext_ack *extack = cb->extack;
1034         struct nlattr *tb[NETNSA_MAX + 1];
1035         int err, i;
1036
1037         err = nlmsg_parse_deprecated_strict(nlh, sizeof(struct rtgenmsg), tb,
1038                                             NETNSA_MAX, rtnl_net_policy,
1039                                             extack);
1040         if (err < 0)
1041                 return err;
1042
1043         for (i = 0; i <= NETNSA_MAX; i++) {
1044                 if (!tb[i])
1045                         continue;
1046
1047                 if (i == NETNSA_TARGET_NSID) {
1048                         struct net *net;
1049
1050                         net = rtnl_get_net_ns_capable(sk, nla_get_s32(tb[i]));
1051                         if (IS_ERR(net)) {
1052                                 NL_SET_BAD_ATTR(extack, tb[i]);
1053                                 NL_SET_ERR_MSG(extack,
1054                                                "Invalid target network namespace id");
1055                                 return PTR_ERR(net);
1056                         }
1057                         net_cb->fillargs.add_ref = true;
1058                         net_cb->ref_net = net_cb->tgt_net;
1059                         net_cb->tgt_net = net;
1060                 } else {
1061                         NL_SET_BAD_ATTR(extack, tb[i]);
1062                         NL_SET_ERR_MSG(extack,
1063                                        "Unsupported attribute in dump request");
1064                         return -EINVAL;
1065                 }
1066         }
1067
1068         return 0;
1069 }
1070
1071 static int rtnl_net_dumpid(struct sk_buff *skb, struct netlink_callback *cb)
1072 {
1073         struct rtnl_net_dump_cb net_cb = {
1074                 .tgt_net = sock_net(skb->sk),
1075                 .skb = skb,
1076                 .fillargs = {
1077                         .portid = NETLINK_CB(cb->skb).portid,
1078                         .seq = cb->nlh->nlmsg_seq,
1079                         .flags = NLM_F_MULTI,
1080                         .cmd = RTM_NEWNSID,
1081                 },
1082                 .idx = 0,
1083                 .s_idx = cb->args[0],
1084         };
1085         int err = 0;
1086
1087         if (cb->strict_check) {
1088                 err = rtnl_valid_dump_net_req(cb->nlh, skb->sk, &net_cb, cb);
1089                 if (err < 0)
1090                         goto end;
1091         }
1092
1093         rcu_read_lock();
1094         idr_for_each(&net_cb.tgt_net->netns_ids, rtnl_net_dumpid_one, &net_cb);
1095         rcu_read_unlock();
1096
1097         cb->args[0] = net_cb.idx;
1098 end:
1099         if (net_cb.fillargs.add_ref)
1100                 put_net(net_cb.tgt_net);
1101         return err;
1102 }
1103
1104 static void rtnl_net_notifyid(struct net *net, int cmd, int id, u32 portid,
1105                               struct nlmsghdr *nlh, gfp_t gfp)
1106 {
1107         struct net_fill_args fillargs = {
1108                 .portid = portid,
1109                 .seq = nlh ? nlh->nlmsg_seq : 0,
1110                 .cmd = cmd,
1111                 .nsid = id,
1112         };
1113         struct sk_buff *msg;
1114         int err = -ENOMEM;
1115
1116         msg = nlmsg_new(rtnl_net_get_size(), gfp);
1117         if (!msg)
1118                 goto out;
1119
1120         err = rtnl_net_fill(msg, &fillargs);
1121         if (err < 0)
1122                 goto err_out;
1123
1124         rtnl_notify(msg, net, portid, RTNLGRP_NSID, nlh, gfp);
1125         return;
1126
1127 err_out:
1128         nlmsg_free(msg);
1129 out:
1130         rtnl_set_sk_err(net, RTNLGRP_NSID, err);
1131 }
1132
1133 #ifdef CONFIG_NET_NS
1134 static void __init netns_ipv4_struct_check(void)
1135 {
1136         /* TX readonly hotpath cache lines */
1137         CACHELINE_ASSERT_GROUP_MEMBER(struct netns_ipv4, netns_ipv4_read_tx,
1138                                       sysctl_tcp_early_retrans);
1139         CACHELINE_ASSERT_GROUP_MEMBER(struct netns_ipv4, netns_ipv4_read_tx,
1140                                       sysctl_tcp_tso_win_divisor);
1141         CACHELINE_ASSERT_GROUP_MEMBER(struct netns_ipv4, netns_ipv4_read_tx,
1142                                       sysctl_tcp_tso_rtt_log);
1143         CACHELINE_ASSERT_GROUP_MEMBER(struct netns_ipv4, netns_ipv4_read_tx,
1144                                       sysctl_tcp_autocorking);
1145         CACHELINE_ASSERT_GROUP_MEMBER(struct netns_ipv4, netns_ipv4_read_tx,
1146                                       sysctl_tcp_min_snd_mss);
1147         CACHELINE_ASSERT_GROUP_MEMBER(struct netns_ipv4, netns_ipv4_read_tx,
1148                                       sysctl_tcp_notsent_lowat);
1149         CACHELINE_ASSERT_GROUP_MEMBER(struct netns_ipv4, netns_ipv4_read_tx,
1150                                       sysctl_tcp_limit_output_bytes);
1151         CACHELINE_ASSERT_GROUP_MEMBER(struct netns_ipv4, netns_ipv4_read_tx,
1152                                       sysctl_tcp_min_rtt_wlen);
1153         CACHELINE_ASSERT_GROUP_MEMBER(struct netns_ipv4, netns_ipv4_read_tx,
1154                                       sysctl_tcp_wmem);
1155         CACHELINE_ASSERT_GROUP_MEMBER(struct netns_ipv4, netns_ipv4_read_tx,
1156                                       sysctl_ip_fwd_use_pmtu);
1157         CACHELINE_ASSERT_GROUP_SIZE(struct netns_ipv4, netns_ipv4_read_tx, 33);
1158
1159         /* TXRX readonly hotpath cache lines */
1160         CACHELINE_ASSERT_GROUP_MEMBER(struct netns_ipv4, netns_ipv4_read_txrx,
1161                                       sysctl_tcp_moderate_rcvbuf);
1162         CACHELINE_ASSERT_GROUP_SIZE(struct netns_ipv4, netns_ipv4_read_txrx, 1);
1163
1164         /* RX readonly hotpath cache line */
1165         CACHELINE_ASSERT_GROUP_MEMBER(struct netns_ipv4, netns_ipv4_read_rx,
1166                                       sysctl_ip_early_demux);
1167         CACHELINE_ASSERT_GROUP_MEMBER(struct netns_ipv4, netns_ipv4_read_rx,
1168                                       sysctl_tcp_early_demux);
1169         CACHELINE_ASSERT_GROUP_MEMBER(struct netns_ipv4, netns_ipv4_read_rx,
1170                                       sysctl_tcp_reordering);
1171         CACHELINE_ASSERT_GROUP_MEMBER(struct netns_ipv4, netns_ipv4_read_rx,
1172                                       sysctl_tcp_rmem);
1173         CACHELINE_ASSERT_GROUP_SIZE(struct netns_ipv4, netns_ipv4_read_rx, 18);
1174 }
1175 #endif
1176
1177 void __init net_ns_init(void)
1178 {
1179         struct net_generic *ng;
1180
1181 #ifdef CONFIG_NET_NS
1182         netns_ipv4_struct_check();
1183         net_cachep = kmem_cache_create("net_namespace", sizeof(struct net),
1184                                         SMP_CACHE_BYTES,
1185                                         SLAB_PANIC|SLAB_ACCOUNT, NULL);
1186
1187         /* Create workqueue for cleanup */
1188         netns_wq = create_singlethread_workqueue("netns");
1189         if (!netns_wq)
1190                 panic("Could not create netns workq");
1191 #endif
1192
1193         ng = net_alloc_generic();
1194         if (!ng)
1195                 panic("Could not allocate generic netns");
1196
1197         rcu_assign_pointer(init_net.gen, ng);
1198
1199 #ifdef CONFIG_KEYS
1200         init_net.key_domain = &init_net_key_domain;
1201 #endif
1202         down_write(&pernet_ops_rwsem);
1203         preinit_net(&init_net);
1204         if (setup_net(&init_net, &init_user_ns))
1205                 panic("Could not setup the initial network namespace");
1206
1207         init_net_initialized = true;
1208         up_write(&pernet_ops_rwsem);
1209
1210         if (register_pernet_subsys(&net_ns_ops))
1211                 panic("Could not register network namespace subsystems");
1212
1213         rtnl_register(PF_UNSPEC, RTM_NEWNSID, rtnl_net_newid, NULL,
1214                       RTNL_FLAG_DOIT_UNLOCKED);
1215         rtnl_register(PF_UNSPEC, RTM_GETNSID, rtnl_net_getid, rtnl_net_dumpid,
1216                       RTNL_FLAG_DOIT_UNLOCKED |
1217                       RTNL_FLAG_DUMP_UNLOCKED);
1218 }
1219
1220 static void free_exit_list(struct pernet_operations *ops, struct list_head *net_exit_list)
1221 {
1222         ops_pre_exit_list(ops, net_exit_list);
1223         synchronize_rcu();
1224
1225         if (ops->exit_batch_rtnl) {
1226                 LIST_HEAD(dev_kill_list);
1227
1228                 rtnl_lock();
1229                 ops->exit_batch_rtnl(net_exit_list, &dev_kill_list);
1230                 unregister_netdevice_many(&dev_kill_list);
1231                 rtnl_unlock();
1232         }
1233         ops_exit_list(ops, net_exit_list);
1234
1235         ops_free_list(ops, net_exit_list);
1236 }
1237
1238 #ifdef CONFIG_NET_NS
1239 static int __register_pernet_operations(struct list_head *list,
1240                                         struct pernet_operations *ops)
1241 {
1242         struct net *net;
1243         int error;
1244         LIST_HEAD(net_exit_list);
1245
1246         list_add_tail(&ops->list, list);
1247         if (ops->init || (ops->id && ops->size)) {
1248                 /* We held write locked pernet_ops_rwsem, and parallel
1249                  * setup_net() and cleanup_net() are not possible.
1250                  */
1251                 for_each_net(net) {
1252                         error = ops_init(ops, net);
1253                         if (error)
1254                                 goto out_undo;
1255                         list_add_tail(&net->exit_list, &net_exit_list);
1256                 }
1257         }
1258         return 0;
1259
1260 out_undo:
1261         /* If I have an error cleanup all namespaces I initialized */
1262         list_del(&ops->list);
1263         free_exit_list(ops, &net_exit_list);
1264         return error;
1265 }
1266
1267 static void __unregister_pernet_operations(struct pernet_operations *ops)
1268 {
1269         struct net *net;
1270         LIST_HEAD(net_exit_list);
1271
1272         list_del(&ops->list);
1273         /* See comment in __register_pernet_operations() */
1274         for_each_net(net)
1275                 list_add_tail(&net->exit_list, &net_exit_list);
1276
1277         free_exit_list(ops, &net_exit_list);
1278 }
1279
1280 #else
1281
1282 static int __register_pernet_operations(struct list_head *list,
1283                                         struct pernet_operations *ops)
1284 {
1285         if (!init_net_initialized) {
1286                 list_add_tail(&ops->list, list);
1287                 return 0;
1288         }
1289
1290         return ops_init(ops, &init_net);
1291 }
1292
1293 static void __unregister_pernet_operations(struct pernet_operations *ops)
1294 {
1295         if (!init_net_initialized) {
1296                 list_del(&ops->list);
1297         } else {
1298                 LIST_HEAD(net_exit_list);
1299                 list_add(&init_net.exit_list, &net_exit_list);
1300                 free_exit_list(ops, &net_exit_list);
1301         }
1302 }
1303
1304 #endif /* CONFIG_NET_NS */
1305
1306 static DEFINE_IDA(net_generic_ids);
1307
1308 static int register_pernet_operations(struct list_head *list,
1309                                       struct pernet_operations *ops)
1310 {
1311         int error;
1312
1313         if (ops->id) {
1314                 error = ida_alloc_min(&net_generic_ids, MIN_PERNET_OPS_ID,
1315                                 GFP_KERNEL);
1316                 if (error < 0)
1317                         return error;
1318                 *ops->id = error;
1319                 /* This does not require READ_ONCE as writers already hold
1320                  * pernet_ops_rwsem. But WRITE_ONCE is needed to protect
1321                  * net_alloc_generic.
1322                  */
1323                 WRITE_ONCE(max_gen_ptrs, max(max_gen_ptrs, *ops->id + 1));
1324         }
1325         error = __register_pernet_operations(list, ops);
1326         if (error) {
1327                 rcu_barrier();
1328                 if (ops->id)
1329                         ida_free(&net_generic_ids, *ops->id);
1330         }
1331
1332         return error;
1333 }
1334
1335 static void unregister_pernet_operations(struct pernet_operations *ops)
1336 {
1337         __unregister_pernet_operations(ops);
1338         rcu_barrier();
1339         if (ops->id)
1340                 ida_free(&net_generic_ids, *ops->id);
1341 }
1342
1343 /**
1344  *      register_pernet_subsys - register a network namespace subsystem
1345  *      @ops:  pernet operations structure for the subsystem
1346  *
1347  *      Register a subsystem which has init and exit functions
1348  *      that are called when network namespaces are created and
1349  *      destroyed respectively.
1350  *
1351  *      When registered all network namespace init functions are
1352  *      called for every existing network namespace.  Allowing kernel
1353  *      modules to have a race free view of the set of network namespaces.
1354  *
1355  *      When a new network namespace is created all of the init
1356  *      methods are called in the order in which they were registered.
1357  *
1358  *      When a network namespace is destroyed all of the exit methods
1359  *      are called in the reverse of the order with which they were
1360  *      registered.
1361  */
1362 int register_pernet_subsys(struct pernet_operations *ops)
1363 {
1364         int error;
1365         down_write(&pernet_ops_rwsem);
1366         error =  register_pernet_operations(first_device, ops);
1367         up_write(&pernet_ops_rwsem);
1368         return error;
1369 }
1370 EXPORT_SYMBOL_GPL(register_pernet_subsys);
1371
1372 /**
1373  *      unregister_pernet_subsys - unregister a network namespace subsystem
1374  *      @ops: pernet operations structure to manipulate
1375  *
1376  *      Remove the pernet operations structure from the list to be
1377  *      used when network namespaces are created or destroyed.  In
1378  *      addition run the exit method for all existing network
1379  *      namespaces.
1380  */
1381 void unregister_pernet_subsys(struct pernet_operations *ops)
1382 {
1383         down_write(&pernet_ops_rwsem);
1384         unregister_pernet_operations(ops);
1385         up_write(&pernet_ops_rwsem);
1386 }
1387 EXPORT_SYMBOL_GPL(unregister_pernet_subsys);
1388
1389 /**
1390  *      register_pernet_device - register a network namespace device
1391  *      @ops:  pernet operations structure for the subsystem
1392  *
1393  *      Register a device which has init and exit functions
1394  *      that are called when network namespaces are created and
1395  *      destroyed respectively.
1396  *
1397  *      When registered all network namespace init functions are
1398  *      called for every existing network namespace.  Allowing kernel
1399  *      modules to have a race free view of the set of network namespaces.
1400  *
1401  *      When a new network namespace is created all of the init
1402  *      methods are called in the order in which they were registered.
1403  *
1404  *      When a network namespace is destroyed all of the exit methods
1405  *      are called in the reverse of the order with which they were
1406  *      registered.
1407  */
1408 int register_pernet_device(struct pernet_operations *ops)
1409 {
1410         int error;
1411         down_write(&pernet_ops_rwsem);
1412         error = register_pernet_operations(&pernet_list, ops);
1413         if (!error && (first_device == &pernet_list))
1414                 first_device = &ops->list;
1415         up_write(&pernet_ops_rwsem);
1416         return error;
1417 }
1418 EXPORT_SYMBOL_GPL(register_pernet_device);
1419
1420 /**
1421  *      unregister_pernet_device - unregister a network namespace netdevice
1422  *      @ops: pernet operations structure to manipulate
1423  *
1424  *      Remove the pernet operations structure from the list to be
1425  *      used when network namespaces are created or destroyed.  In
1426  *      addition run the exit method for all existing network
1427  *      namespaces.
1428  */
1429 void unregister_pernet_device(struct pernet_operations *ops)
1430 {
1431         down_write(&pernet_ops_rwsem);
1432         if (&ops->list == first_device)
1433                 first_device = first_device->next;
1434         unregister_pernet_operations(ops);
1435         up_write(&pernet_ops_rwsem);
1436 }
1437 EXPORT_SYMBOL_GPL(unregister_pernet_device);
1438
1439 #ifdef CONFIG_NET_NS
1440 static struct ns_common *netns_get(struct task_struct *task)
1441 {
1442         struct net *net = NULL;
1443         struct nsproxy *nsproxy;
1444
1445         task_lock(task);
1446         nsproxy = task->nsproxy;
1447         if (nsproxy)
1448                 net = get_net(nsproxy->net_ns);
1449         task_unlock(task);
1450
1451         return net ? &net->ns : NULL;
1452 }
1453
1454 static inline struct net *to_net_ns(struct ns_common *ns)
1455 {
1456         return container_of(ns, struct net, ns);
1457 }
1458
1459 static void netns_put(struct ns_common *ns)
1460 {
1461         put_net(to_net_ns(ns));
1462 }
1463
1464 static int netns_install(struct nsset *nsset, struct ns_common *ns)
1465 {
1466         struct nsproxy *nsproxy = nsset->nsproxy;
1467         struct net *net = to_net_ns(ns);
1468
1469         if (!ns_capable(net->user_ns, CAP_SYS_ADMIN) ||
1470             !ns_capable(nsset->cred->user_ns, CAP_SYS_ADMIN))
1471                 return -EPERM;
1472
1473         put_net(nsproxy->net_ns);
1474         nsproxy->net_ns = get_net(net);
1475         return 0;
1476 }
1477
1478 static struct user_namespace *netns_owner(struct ns_common *ns)
1479 {
1480         return to_net_ns(ns)->user_ns;
1481 }
1482
1483 const struct proc_ns_operations netns_operations = {
1484         .name           = "net",
1485         .type           = CLONE_NEWNET,
1486         .get            = netns_get,
1487         .put            = netns_put,
1488         .install        = netns_install,
1489         .owner          = netns_owner,
1490 };
1491 #endif