docs/globus.md

   1 # Globus File Transfer
   2
   3 [Globus](https://www.globus.org), sometimes called Globus Connect, is a service for robust transfer of large amounts of data without having to monitor the connection and transparently through firewalls. It provides access to a network of computers running the Globus software, free for personal use in the US academia.
   4
   5 ## Globus basics
   6
   7 Globus data transfer runs between two software installations, called [endpoints](https://docs.globus.org/faq/globus-connect-endpoints). The transfer is initiated and can be monitored from a web interface. There are two kinds of endpoints, ''Server'' and ''Personal'' paid subscription is required to run a Server endpoint or to transfer data between two Personal endpoints. Without a subscription, at least one of the endpoints needs to be a Server endpoint. Details of [Globus subscription](https://www.globus.org/subscriptions) vary over time.
   8
   9 ## How to connect to Globus
  10
  11 CU Denver does not have Globus subscription and thus we do not have any Server endpoints. But you can install Globus Personal endpoint in your account on our Linux servers or your PC and transfer data to and from any Server endpoint you are allowed to log into.
  12
  13 Log into your account on the `math-alderaan` or `clas-compute`, and install the
  14 endpoint from the command line:
  15
  16     mkdir globus
  17     cd globus
  18     wget https://downloads.globus.org/globus-connect-personal/linux/stable/globusconnectpersonal-latest.tgz
  19     tar xvfz globusconnectpersonal-latest.tgz
  20     cd globusconnectpersonal-x.y.z  (replace x.y.z by the version from the downloaded file)
  21     ./globusconnectpersonal -setup
  22
  23 (See also the [instructions](https://docs.globus.org/how-to/globus-connect-personal-linux) for further details.)
  24 After a little while, you should get a link. Copy and paste the link to your browser and log in with your CU Denver credentials. The Globus website should give you a temporary access code, copy and paste it after `Enter the auth code:` and press enter. The setup should ask for an endpoint name, make it something you can find easily, such as `math-alderaan-`your-name. Your email address will be visible to anyone on Globus who searches for an endpoint anyway.
  25
  26 Run the endpoint:
  27
  28     screen -S globus
  29     ./globusconnectpersonal -start`
  30
  31 Kill the terminal window or detach from the terminal session by Ctrl-A d. Your endpoint now runs in a virtual terminal until system reboot. You can reconnect to the virtual terminal if you need to by `screen -r globus`.
  32
  33 Log into [Globus](https://globus.org) again and search for your personal endpoint in the Collections box. Click on the your endpoint name, and you should see the files in your home directory! You can now transfer data between this endpoint and any Server endpoint you can log into.
  34
  35 Optional: Make a Personal endpoint on your computer the same way following [instructions](https://www.globus.org/globus-connect-personal). You can now transfer data between any Server endpoint and your computer.
  36
  37 # Security notes
  38
  39 * Your personal endpoint runs as you and, in principle, it has access to any files on the computer that you have.
  40 * A personal endpoint seems to refuse access to some files outside of your home directory, even if they are owned by you.
  41 * Your personal endpoint is visible to anyone on Globus but it is accessible from your own Globus account only.
  42
  43 # Works with
  44 This guide was tested in the following environment. It should work in other similar cases too.
  45
  46 * 2023-04-21 math-alderaan Centos 8, globus 3.2.0, command line ssh, no graphics
  47
  48 # Some Globus Server endpoints
  49
  50 * RMACC Alpine at CU Boulder - use the `CU Boulder Research Computing ACCESS` endpoint, select your `ACCESS CI` identity
  51 * NCAR - use the `NCAR Data Sharing Service` endpoint
  52
  53 # External links
  54
  55 https://docs.globus.org/how-to/get-started/
  56
  57 (links below need updating)
  58
  59 https://docs.globus.org/how-to/globus-connect-personal-windows/
  60
  61 https://www2.cisl.ucar.edu/resources/storage-and-file-systems/globus-file-transfers
  62
  63 https://nar.ucar.edu/2014/cisl/ncar%E2%80%99s-data-sharing-service-globus-plus  "dropbox for big data"
  64
  65 https://www.globus.org/globus-connect-server
  66
  67 https://www.globus.org/subscriptions
  68
  69 https://www2.vrdc.cornell.edu/news/repost-ecco-important-changes-to-globus-web-site-and-products/
  70
  71 https://docs.globus.org/faq/globus-connect-endpoints/ : Globus Connect Personal can execute a transfer as long as either the source or destination endpoint has a routable IP address (which is the case for almost all Globus Connect Server endpoints).
  72
  73 http://help.unc.edu/help/globus-connect-file-transfer/ Example
  74
  75 https://docs.globus.org/how-to/access-google-drive/
  76
  77 https://ci.uchicago.edu/press-releases/globus-expands-data-services-accelerate-secure-cancer-research ''...expect to become eligible for HIPAA business associate agreements in mid-2018.''
  78