/docs/HDDocs

Tasks

-----

 - Infrastructure

    - Suren/Marco: Fully-functional backup server. Move katrin.kit.edu name to virtual machine

    which will perform packet forwarding only. Or just VIP. Gluster vs. Master-Master MySQL replication

    - Suren: How to proceed with student cluster computers? [ Enable Advanced/System Agent/iGPU. Find a 

    way to make snapshots (LFS vs BTRFs). User VMs using integrated video: KVM vs. OpenVZ/Docker/LXC ]

    OpenSUSE 13.1 vs 13.3? Configuring the nodes, packages (remote boot? git? ...) 

 - UFO paper

    - Roman: Fix DFI (and ensure proper scallability)

    - Matthias: Graph with bandwidth and latency of DirectGMA approach, DirectGMA vs. FPGA->CPU->GPU pathh

    - Andrey: UFO-clustering benchmarks, scalability of ART methods on the cluster (Dresden cluster)

    - Andrey: Why SBTV are performing badly on AMD platform? Scallability of SBTV

    - Tomas: Laminography scallability on new AMD platform

    - Timo: KIRO performance figures

 - Camera paper

    - Suren: see details in bechmarking description

 - uPiV paper

    - Chuan: Performance on AMD, NVIDIA, Intel

        * Why is not working on AMD/Intel? Use standard FFT instead of a full convolution. Or optimize it as in FBP?

    - Chuan: Multi-GPU support, scallability

 - ART paper

    - Andrey: Implement Split-Bregman with framelets & framelets+tv in UFO.

    - Andrey: Add DFI-based projectors (sinc)

    - Andrey: Ensure scalling is working well on the cluster (Dresden)

    - Andrey: More data sets (phase-contrast vs. absorbtion), simulation of Tomas (measure quality of algorithm)

    - Andrey: Find if ART-reconstruction help for segmentation

 - Visualization

    - Nicholas: Stable version

    - Nicholas: Zooming support

    - Nicholas: Show high quality cuts when no user-interaction

    - Nicholas: Full histogram as in version of Felix

    - Nicholas: 4D visualization

    - Andrey: Automatic background segmentation

    - Student?: Advanced rendering: Data compression? DCT? Use texture tree's to optimize preloading.

 - ASTOR

    - Andrey: Integration with slicer: show in low resolution / segment in high resolution.

 

 

Students

--------

 - For the start in Jan we need proposals in July / August.

 - For the start in May we need proposals in November.

 

ART-proposal

------------

 - Ralf Hofmann

    * Skeptical about DFG

        + We need reasons why Helmholtz will no pay this (science, not engineering)

        + Thinks best Engineering/Informatics

    * Additional scientific stuff

        + Define metrics to compare quality, etc.

        + For phase-contrast, first perform FBP (ART), then, phase retrieval

    * TV may be good, we only interested in the cell-countours in the embryo development

    * Interested to see the example DFG-proposal we have applied

    * Interested to participate in the PhD hiring process

 - Tomas / Baumbach?

 - Andreas proposed Felix (GKSS) 

 

 

Infrastructure

--------------

 - Nagios + Munin on ipepdvcompute* and cluster comoputers

 - Add ipebessadei to Nagios. Failed KATRIN redirects are not detected

 - Hardware: 2x 2.5'' to 3.5'' is taken by Danniel. Where is Raidsonic 2.5'' USB3 gehause + HDD (Chuan, Timo - order more)? HDD to WiFi was ordered? MiniPC complete (memory for Atom?)

    Lost GPUBox IPs: ipepdvcompute1 

        192.168.26.161 just re-saved (IP is missing)

        192.168.1.99 renamed to 192.168.26.162 (both IPs missing)

 

DarkServ

--------

 - darksoft.org expires on June 23, 2015

 - On serv1, if glibc upgraded to 2.17 or 2.19, all applications linked with libm are

 segfaulting. However, if we copy libm (only libm) from stage3-i486-20141209.tar.bz2, 

 everything seems to work. I have tried to configure and build myself disabling part 

 of optimizations, but to no avail (gcc 4.8.3 and latest kernel-headers). 

 Googling mention problem (or similar), but no solutions.

 All stuff for future evaluation in /home/csa/glibc

 

UFO

---

 - Infrastructure

    - I'm waiting for info from Meik and David on the ankaimage-mnt configuration

 - Visualization

    - Check sterescopic view provided by ThreeJS

    - Integrate automatic background removal

    - Support segmented volumes

    - Define multiple cache levels

    - Define optimal storage format and storage engine

    - Easy measurements of objects using pixel size on the web interface (voxel size is in meta-data)

    - Point some specific function areas and export it as CSV file from web interface.

 - UFO Architecture

    * Support ART in the cluster environment (transfer of object properties)

    * RDMA based clustering

    * On NVIDIA, common context for 9 GPUs significantly slow downs kernel execution penalty (from 20us to 150us).

    We may look into using per-device contexts. Or spawn multiple UFO severs?

    * UFO operations are either compiled on each invocation (very slow) or cached (only a single thread may use).

    Have to be fixed.

    * Aysnchronous buffer API + overlapping.

    * UFO/CUDA interoperability: OpenCL kernels can be compiled to PTX and further to nvidia cubins.

    Support code should dublicated for CUDA and OpenCL.

 - Better profilling

    * Currently there is no clFinish in the end if profilling is off. App will exit before GPUs are done

    * In profilling charts show kernels and tasks using the same time scale (better interleave in single chart)

    * Show per-gpu usage

    * Show transfer time in the kernels

    * per-GPU usage

 - Optimizations and requirements of secondary filters

    * ROI: Is currently always executed on CPU. For DFI this will increase the amount of

    data transfered over PCIe significantly. We need hybrid version.

    * FFT: Can we fix AMD library to fix performance on NVIDIA hardware and improve 

    R2C/C2R performance?

 - FBP

    * Optimize PyHST for Xeon Phi & GK110

        * Check  https://ispc.github.io/

    * UFO: Migrate part of optimizations from PyHST (At least Kepler and GCN versions)

 - DFI

    * UFO: Compute redundant coefficients using Hermetian symmetry

    * Eliminate swapping quadrants stage before iFFT (just recompute coefficients in interpolation kernel) 

    * PyHST: Eleminate quandrant swapping and crop after iFFT (integrate it into the cudaMemcpy call splitting it 

    in 4 parts)

    * In-place vs. out-of-place FFT? Currently, UFO is o-o-p, PyHST R2C is i-p and C2R is o-o-p.

 - ART

     - Compare quality and performance with Shao Lie application. Check our reconstruction with data

     from Shao Lie and check Shao Lie reconstruction with data from Andrey's Article.

     - Check if low-pass filtering may improve results on real-data.

     - Provide projectors and back-projector in Matlab. Can we accelerate it like that? Multi-GPU.

     - Number of kernel lauches takes significant time (2 launches per iteration per projection in SART) and

     harms scallability on NVIDIA platform

     - Fix running on clusters

     - Split-bregmann (linearized-bregman), wavelets, overcomplete dictionaries

     - TV-regularization on GPU

     - Phase contrast and absorption contrast reconstruction and segmentation differs.

    In phase contrast there are sharp edges. Find good dataset.

 - FFT Benchmark

    * C2R/R2C speed 

    * in-place vs. out-of-place

 - ASTOR segmentation

    - Background removal is most important now. Fighting ring artefacts, etc. Philipp algorithms.

    - Positioning of object: where is head, where is tail, etc...

    - There is inperfect ring-removal code fixing small artifacts (Tomas)

 - PyHST

    * Provide PyHST/OpenCL to deal with 8001 projections [Shall we?]

    * Fix preprocessing SSE code of PyHST (alignment causes segmentations in some cases)

 - Scripts

    - Get update reconstruct script supporting reduced DFI output.

    - Integrate DFI roi options to reconstruct script

    

 

Visualization

-------------

 - Histogram (Felix)

 - State recovery or storage of the current view (Felix)

 - Settings storage (Transferfunction, Grayvalue selection) to apply on different volumes, maybe per user setting (Felix)

 - Multiple time frames in zooming mode (Felix)

 - Those orthogonal layers, which can be slid through the unvisible volume and on which the volume values are visible (Felix)

 - Background removal (Philipp, Andrey)

 - MapReduce with database

 

    

Articles

--------

 - UFO (with ASTOR) status and perspectives

 - Reconstruction stack of UFO framework

    * We might include phase contrast and grating interferometry (and possibly

    other interesting preprocessing filters)

    * We need to compare FBP and DFI quality. Noisy data? Undersampled data?

    Is there cases when the FBP quality is superior?

    * We need a better explanation why interpolation is limited to R (this is

    not completely losseless) and that consequences it have for different types

    of data (small details? Phantom used by Andrey?)

    * UFO scalability issues. DFI is only add 50% performance with each GPU.

    ART performance fully stops after 6th device.

    * Thorsten Hopp have some expirience in defining metrics to compare reconstructed images

 - Optimizing FBP for parallel architectures

 - DFI

    * Verify FFT performance. Why iFFT 3 times slwoer when where is no significant difference

    in FFT benchmark. Verify cuFFT C2R/R2C is no faster than C2C. Can we add it on the FFT chart

    otherwise? Seems, cuFFT value for 2D FFT benchmark is wrong. Or is it due to C2C vs. C2R difference?

    * In the stages benchmark, we have included H2D, but not D2H timing (in the null-task we doesn't 

    copy anything from device to host (we can force to copy, but it requires to set 'force-download' 

    property). Cropping is excluded from UFO-chain due to lack of GPU version. Cropping is

    artificially excluded from PyHST numbers as well. It would be nice to include both

    cropping stage and D2H transfer time in memory operations. The qundrant swapping should be 

    split in 2 (is it actually joined or more is skipped from post iFFT stages?): pre-iFFT

    and post-iFFT.

     Actually what is included and excluded from performance chart?

 

 

    

    

Algorithms

-----------

 - DFI

    - In OpenCL interpolate only half the volume by performing mirroring before 2D ifft

    - Move zero-padding optimiztions to CUDA version

    

 

 

ADEI

----

 - Top priority

    - Artur: Finish CRD modification and integrate in my version

    - Suren: Return data from caches.

    - Suren: Cache ADEI metadata in disconnected configurations

    - Nicholas: Run-time interface with export of Raw Files (NetCDF for KITCube, free-format in general).

  - PhD idea:

    * Automatic data quality montiroing. Find trends and check if some sensors measurements

    are fall out of the trends. Correlations, auto-correlations, etc. Also, introduce models,

    etc.

 - KIT Cube:

    We need to integrate more views from Weisser and provide them as secondary graphs

    in ADEI (HATPRO, Lidar, Radar). 

 - Students:

    * ADEI: Filter 850 values among KATRIN temperatures

    * ADEI: Support filter= parameter in get_data service

    * ADEI: Provide access to the cached data instead of real (cache=3600) and use cache in

    get_data.php by default

    * ADEI: Handle ADEI archives with missing active database

    * ADEI/Control: cache DB configuration and accept retries parameter (check for timeout error)

    * ADEI: Check alternative D3 rendering engine

    * ADEI: Temperature profile, etc. visualization in main graph

    * ADEI: Download Manager for multi-purpose configurations

    * ADEI: Download is failing for databases which source was cut, but cache stayed. No real data.

    * ADEI: Database sorting as in configuration

    * ADEI: JpGraph log axis are always starting from 1. Update jpgraph or configure manually

    * ADEI: Notify in status that there is too many axes

 - Matveev

    * We may reconsider database selection. Mozilla is important. Just think about more clever way

    to use indexedDb API.Also, something strange is happening with parsing data from cache (it stored

    as JSON now?)

    * Web sockets or HTTP Get? 

    * Workers in web threads

        https://bugzilla.mozilla.org/show_bug.cgi?id=504553

 

 - CRD: Prevent SELECT based aggregation for views (resolution should boldly define the results)

 - Haag: Slow export (CSV) performance

 - Haag: Joining of historical databases

 - Andreas: Run/Subrun architecture (!)

 - Andreas: Raw file exporter (!)

 - Andreas: Mixed X & Y axes for Scatter plot, Problems with Log-scale labeling, Add cross-correlation plot

 - ADEI autokiller to prevent hanged ADEI processes

 

 

 

ALPS

====

 - Fixes

    - In pci cli while writting to files prevent telling (writted xx bytes) - quite mode

 - HEB

     - Event Engine for HEB (clearing the padding), Payload Patch, Support for multiple devices

 - Better camera locking

    - We should have locking for the register access and camera start/stop/stream

    operations. The DMA IP should remain for complete time of streaming.

    However, after start we are unlocking camera and would like to allow

    multiple threads to request frames. The stop should be called by the same

    thread who executed start.

    - Driver may report on process controlling DMA?

 - Alps2

    - Optimize buffer access, use hash-tables?

    - Disconnect DMA and Event plugins...

    - Support XML register models...

    - Simplify driver, check VFIO...

    - Allow DMA mapping of user-supplied memory...

    - Support internal auto-triggering

    - Properly use bus addresses

 - GPUDirect

    - Can we stabilize IB on ARM? Ask Pedraforca for help...

        http://www.bsc.es/about-bsc/staff-directory/puzovic-nikola

        http://www.bsc.es/computer-sciences/computer-architecture

        http://webcache.googleusercontent.com/search?q=cache:NjZnHfkNqJ0J:on-demand.gputechconf.com/gtc/2013/presentations/S3064-Pedraforca-ARM-GPU-Cluster-HPC.pdf+&cd=1&hl=en&ct=clnk

     - Can we do GPUDirect without Tesla?

     - Play with remote GPUs (IB): manual and with MPI stack. 

        - Will Titan work?

     - Can we do direct Camera->IB transfers?

     - GPUDirect for RDMA vs. GPUDirect for Video

     - AMD DirectGMA? HSA specifications?

 - Clustering

    - Rewrite UCA driver efficiently

    - Try to provide general rDMA based interface (?)

    - GPI-2 replacement for MPI?

 - Streaming to storage

     - IO: Check Linus idea to use mmap I/O and page faults instead of O_DIRECT

 

 

UPiV

----

 - MultiGPU issues. Are we fine now?

 

ZEUS

----

 - Control system (cFP interface with shared variable and DB, PVSS-based system, Direct cFP protocol)

    EPICS?