<div dir="ltr">Well the first batch of nodes we are going to try this with are the Jetson TK1s...  <div><a href="http://www.nvidia.com/object/jetson-tk1-embedded-dev-kit.html" target="_blank">http://www.nvidia.com/object/jetson-tk1-embedded-dev-kit.html</a>    ... there aren't a lot of I/O options and we have already tested the onboard GigE and found it to be lacking in a couple of areas. We were thinking it would be good for intracluster commo but not a lot of sustained writes to the head node. NVidia understandably didn't put a lot of money into the NIC on board the Jetson so it isn't much to write about. There are some tantalizing GPIO pins that might represent a path to a better network although a lit search doesn't turn much up. The next gen Jetson model (the TX1) has a GPIO pinout that is compatible with Ras Pi Shield standard but I don't think that is true with the Tegra K1...  That's how I ended up investigating this path; bandwidth to local disk is pretty good on these dev kits and there aren't many (better, faster, cheaper) ways to get data off these... the best picture of the <span style="color:rgb(84,84,84);line-height:18.2px">µ</span>cluster so far is at ...    <a href="http://web.mit.edu/~kkeville/www/Jetson3.jpg">http://web.mit.edu/~kkeville/www/Jetson3.jpg</a></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Feb 15, 2016 at 12:00 PM, Mark Komarinski <span dir="ltr"><<a href="mailto:mkomarinski@wayga.org" target="_blank">mkomarinski@wayga.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class=""><br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
On Feb 14, 2016, at 4:21 PM, Kurt Keville <<a href="mailto:kurt.keville@gmail.com" target="_blank">kurt.keville@gmail.com</a>> wrote:<br>
<br>
I am looking at putting a cluster together, say 6 nodes with local disk and 1 GigE network port... but instead of having them talk to the head node via network I want the head node to have 6 connections directly to the hard drives... I figure this would require some sort of SATA pigtail in the client nodes, and a 6 node SATA card in the head node, but is there a way to run an arbitrator on the head node that won't interfere with the operation of the local disk, since the nodes wouldn't necessarily know about the head node... this way I remove the need to copy files to the head node via GigE...<br>
<br>
I know I can do parts of this independently... I have a couple of JBOD boxes here and as long as I can just let the head node know it is a read-only filesystem I might be in business... especially if I can ensure that I am not doing head node reads at the same time as client node writes...<br>
<br>
</blockquote>
<br></span>
Hi Kurt,<br>
<br>
Rather than look at the solution you're proposing, I’d like to look at the problem and understand it.  What are you trying to solve?  It sounds like you have data on the head node that you’d like to get to the compute nodes but not go over the GigE port (why avid GigE?).  Do the compute nodes need to send data back to the head node?  Is it the same data on all 7 hard drives?<br>
<br>
I’ve got a bunch of ideas on how you can solve this, but I don’t think that having multiple SATA cables per drive is the best way to go.<span class="HOEnZb"><font color="#888888"><br>
<br>
-Mark<br>
</font></span></blockquote></div><br></div>