Workshop helg kring SVO SAAF och Fotometri

[akjalam2]

Jag skapar en ny tråd enligt ämne:


En workshop helg kring framtida fotometri välkomnar jag.

Det är i mitt tycke ett måste att skapa automatisering kring den fotometri som i dag tar mer o mer tid av oss som sysslar med detta.
Risken finns annars att man ger upp då det blir alltför monotont och tidskrävande.
Jag finner inget nöje i att klicka mig runt i VPHOT då jag ändå sällan ratar någon data.
Finns inget att rata då jag har byggt bra sekvenser.
Är det något som skall bort så kan även ett intelligent script göra det.


Jag skulle vilja dra upp riktlinjer hur automatisering av Fotometri via Pyraf script skulle kunna utföras utföras för att senare kunna användas via SVO och kanske för vårt kommande Robot teleskop .

Jag använder mina egna Pyraf script som diskussions underlag.

Pyraf är för den oinsatta ett Python skal över Iraf som gör att man enkelt kan skapa egna script.
Jag använder ochså DS9 som är ett mångfacetterat program typ ALADIN men bra mkt enklare i mitt tycke (=ingen java )

Kritik har framförts på forumet att Iraf/Pyraf skulle vara svårt att använda och viss sanning ligger däri.
Men man behöver inte ta in mer än de bitar man är intresserad av och då är det inte speciellt svårt.
Att man använder sig av CommandLine (Pyraf/Iraf) kanske är en chock för många ?
Men tangenterna är enkla att använda även om det anses "svårt" i dagens klick-klick miljöer.

GIvetvis skall det vara så transparent och lätt att använda som möjligt men hur skall indata se ut ?

Någon form av indata behövs då scriptet frågar vad som skall göras.

Processen i mitt script är som följer.

-> betyder in mot scriptet
<- utdata eller mellen data.
P programmet

-> Kalibrerad/Stackad och WCS solved image fil

P läser nu headern som skall vara i GCVS stil typ "R Sct"
P söker efter hjälpfilerna RSct.ocoo och RSct.hcoo (Rx.ocoo = Koordinater i Sexa format för objektet. Rx.hcoo = Sekvens.
<- xy filer för objekt och sekvens.
P utför fotometri på sekvens objekt samt räknar ut Zeropoint
P utför fotometri på objektet vi söker.
<- AAVSO.txt fil skrivs och programmet loopar till nästa objekt
efter loopen har man en färdig AAVSO fil med alla objekt att ladda upp.

Några mellansteg till finns med bla Check att objekt och sekvens finns där annars loopar vi vidare.

Vad som saknas ännu är att välja en compstar samt beräkna MagErr.
Psf-fitting för att välja lämpliga aperture cirklar.
Mer omfattande error checking av för låga SNR värden etc .



Potential finns dock att göra detta i Pyraf samt alla dess plugins.

Man kan oxå tänka sig att göra fotometri på ALLA objekt i en bild och skriva dem till en databas dvs gör en typ av Survey
på de plåtar man har.

Hur många nya variabler missar vi då vi går igenom störtfloden av data?
Tid finns inte till att råkolla alla bilder.

Iofs har vi VS (Variable search)i VPHOT som gör detta men ack så omständigt.

I vilken miljö körs SVO:s databaser i dag ?
Unix förmodar jag ?

Tankar ?

/Pierre

[Robert]

VPHOT är bra men blir lätt monotont när man har mycket data och mycket småväntande då det är lite segt tycker jag. Känns som många repitiva steg där skulle kunna optimeras bort.

Har också funderingar på att göra mer automatiserad fotometri och har börjat skriva på ett progoram fast dock i Windows miljö. Just nu står det på pause då jag behöver färdigställa andra projekt först..

Mitt program hämtar refensstjärnor automatiskt från AAVSO's sida. men jag har inte gjort något system där man kan välja vilka som skall ingå i sekvensen ännu utan den tar allt vilket inte är helt bra ännu.
Mitt programanvänder Pinpoint för astromeri och SExtractor för att ta fram fotometri data.

Framtiden får visa om jag kör vidare med det eller om det blir pyraf/iraf som jag inte har testat ännu. I vilket fall som hellst är det mycket instrssant att samrbeta om detta.

SVO servern kör Linux med Debian 7. Så det går väl säkert att köra pyraf där senare.

[Hans Bengtsson]

Av intresse kan vara något som Arne Henden skrev i februari i år angående AAVSO-jämförelsestjärnor:

"Part of that is waiting for a major comparison-star database update that will occur near the end of the year, filling in with APASS where photometry is missing".

Betyder detta att AAVSO-kartorna kommer att fyllas med magnituddata (till stor del från APASS) även där det idag saknas jfr-magnituder? Det låter så. I så fall kommer det nog inte att finnas något behov av att beställa sekvenser från AAVSO:s sekvens-team om några månader?

m v h
Hans Bengtsson

[akjalam2]

Kul att andra går i samma tankar.

Jo de extra onödiga stegen i VPHOT blir med tiden irriterande.
Jag har som sagt försökt att få Henden o grabbarna att optimera bort onödiga steg men mest få nja o nej.

Så låt oss visa AAVSO att SVO kör spjutspets fotometri

Att köra i Windows miljö blir nog svårt men en bedrift i sig att Robert fått igång Sextractor i den miljön.

Jag har både Sextractor och Astrometry.net motor rullande med.

Grabbarna på Astrometry.net har ett annat project påG.

http://thetractor.org/

I Betat stadiet sägs det men inget har hänt på senaste halvåret så..

/P

/Pierre

[Starsoft]

Hej

Jag är klart intresserad av en diskussion om vad man vill uppnå, typ vilka funktioner som behövs och hur en lösning ska se ut för att den ska vara optimalt användbar.

Däremot har jag inget intresse av en lösning för någon annan plattform än Windows, för att en lösning ska vara tillgänglig och användbar för flertalet så är det i Windows miljön man måste hålla till, att lägga till en unix tröskel att försöka kravla sig över tror jag skulle sålla bort de flesta av de redan alltför få utövarna av fotometri.

Anders

[akjalam2]

Du Anders.. Denna tråd är en uppmuntran till
diskussion kring ämnet.
Det är ingen plats att ställa kravspecifikationer ang
sin ev medverkan eller inte.

I en förening lyssnar man på vad andra säger och
böjer sig för majoriteten.

Skärpning!

/Pierre

[Tompa]

Detta är mycket intressanta ideér!
I och med att man kör automatiserade sessioner öppnar sig ju möjligheten (eller risken) att man får mer data än vad man orkar hantera manuellt. Så för att inte tröttna får man begränsa sitt insamlande, dela med sig av sina bilder eller automatisera analysen.

Tyvärr så måste jag redan från början medge att det är länge sedan jag hängde med på tåget vad gäller utveckling av system och programmering. Lite fragment sitter kvar men det är nog ganska lite. Det känns som att hjärnan är lite trögare nu än för 25 år sedan
Däremot är jag mer än gärna med och kommer med ideér och bistår med heja-rop, eller på annat sätt försöker dra mitt strå till stacken.

Plattformen för det hela behöver väl inte vara kritisk? De som är duktiga på Linux/Unix jobbar med detta och windows-experter kör sitt spår?

Mvh,
Tomas W

[akjalam2]

Kanske skulle vi anamma VPHOT:s stil dvs skapa en möjlighet för användarna att ladda sina objekt filer direkt till SVO och
sedan köra autofotometri via servern?

Då skulle våra bilder inte längre gå via jänkarna .

Inget ont om dem men det skulle vara kul att vara först med något liknande.
Jag är säker på att det kommer via AAVSO för eller senare men senare kan dröja flera år tror jag.

Är detta möjligt med nuvarande server miljö?
Var finns SVO:s databas?
På något webhotel eller i vår egen regi?

/P

[Robert]

Jag tror att vi säkert kommer utveckla flera lösningar och om det blir så är det bra om vi kan dela med oss av lösningar som man kan använda på annan plattform/projekt.

Själv föredrar jag med en lösning på windowsplattform då det är det jag använder. Mitt program har sina nackdelar då den kräver fullversion av Pinpoint som kostar pengar.

Nackdelen med en weblösning ala VPHOT är att man behöver ladda upp alla bilder man vill ha analyserat vilket kan ta en hel del tid. Fast en sådan lsöning har ju även andra fördelar.


SVO och astronet ligger på en server som står på mitt jobb. Servern i sig har inga problem att lösa detta skulle jag tro. Dock inte obegränsat med lagringsplats så den skulle inte passa som lagring av alla bilder för lång tid.
Servern är en HP Quad Xeon server med raid 5 system av SAS SCSI diskar. Så den är hyffsat rapp. Även 100 mbit in/ut trafik.

[akjalam2]

Är man intresserad av windows lösningar så finns bla;

Lesve Photometry .

http://www.dppobservatory.net/AstroProg ... ervers.php

Inte helt tokigt om man orkar bygga sin egen databas med obj/sekvens.

Samt följa programmets standard för filnamn->indata.

/P

[akjalam2]

Faktum är att Lesve Photometry har blivit riktigt fullvuxet.

Spenderade en timme på att kolla igenom det och det som förut var dess black om foten har blivit mkt enklare.

I sista versionen finns ett nytt verktyg:
'Convert AAVSO Photometry Table.

Great.

I tidigare verisioner fick man handplita alla värden i databasen(innehållande obj/sekvens) (eller copy and paste)
Men nu kan man lätt importera från 'Convert AAVSO Photometry Table:s output till databasen.

Det enda du behöver göra "för hand" är att välja Comp och Check star.

Körde en test på R Peg och output från VHPOT vs Lesve.

Lesve:
R PEG,2456538.36789,11.875, 0.018,V,NO,STD,000-BCR-214,18.690,000-BCR-201,17.761,1.73,na,12642BAL,Standard mag: C = 11.746 K = 10.913

VPHOT:
R Peg,2456538.36733,11.891,0.023,V,NO,ABS,117,-7.643,109,-8.588,1.7336,na,12642BDI,na

Så V Mag 11.875 resp 11.891

Diff på 0.016

Har inte kollat att jag fått programmets övriga parametrar rätt men jag tror så.

Inte så illa.

Till programmets fördel är att man kan dela med sig av redan färdiga databasposter.

Kolla upp det grabbar.

/pierre



'

[akjalam2]

Har forsatt att kolla upp Lesve Photometry och den har sina begränsningar.

Databasen med obj/comp stars paras mot namnet på din fits fil (du kan välja hur det ska matchas).
Så on din fil heter GCVS R Sct# så letar prog efter den variabeln (som du själv tidigare skapat i databasen)
Nackdelen blir då att du inte får några "bonus" variabler mätta om du råkar ha dem i samma fält.

Man kan kopiera sin GCVS R Sct# fil och göra en rename till tex GCVS X xx# där X då är nästa variabel i fältet en
det känns omständigt.
Alt kan man ta dubbla exponeringar och namnge dem från scratch men det känns inte heller bra om man nu har 5-6 variabler i ett o samma fält.

Annars är precisionen bra och jag har fått igenom 90 % av mätningarna automatiserat ovanstående begränsningar includerat.
Lesve missar att hitta en del variabler=no report samt även comp/check objekt.

Känns inte helt hundra mao.

/Pierre

[Robert]

Lesve Photometry har jag tittat på en del med. Det verkar ganska kompetent på det den klarar av att mäta. Som du säger är det omständigt med att mäta flera variabler på samma bild då man får döpa om dem som extra kopior som det är nu. Men det kan ju förbättras i framtiden kan man hoppas på.

Sista versionen har som du skriver gjort det lättare att mata in jämförelsestjärnor men programmet borde kunna hämta det direkt från VSX som jag gör med min kod. Får skicka hur jag har gjort till honom så får vi se.

[akjalam2]

hur ser ditt anrop mot vsx ut ?
/pierre

[Robert]

Code: Select all

            string url;
            int fov = 70;
            string varname = textBox_Variable.Text.Trim();

           url = "http://aavso.org/vsp/chart?name=" + varname.Replace(" ", "%20") + "&ccdtable=on&fov=" + fov.ToString(); // +"&printable=yes";
            string result = GetHTTP(url);

            RefStars stars = new RefStars();

            stars.ParseVSP(result);
            if (stars.Var != null)
            {
                richTextBox1.AppendText(";" + Environment.NewLine);
                richTextBox1.AppendText("; === Target " + stars.Var + " ===" + Environment.NewLine);
                richTextBox1.AppendText(";" + Environment.NewLine);

                if (checkBox_Platesolve.Checked)
                    richTextBox1.AppendText("#platesolve" + Environment.NewLine);

                richTextBox1.AppendText("#repeat 1" + Environment.NewLine);
                richTextBox1.AppendText("#count " + textBox_Nr.Text + Environment.NewLine);
                richTextBox1.AppendText("#filter " + textBox_Filter.Text + Environment.NewLine);
                richTextBox1.AppendText("#interval "+ textBox_Exposure.Text + Environment.NewLine);
                richTextBox1.AppendText("#binning " + textBox_Binning.Text + Environment.NewLine);
                //richTextBox1.AppendText("YY Aur	06:04:06.15	42° 00' 31.3" + Environment.NewLine);
                richTextBox1.AppendText(stars.Var + "\t" + stars.RA + "\t" + stars.Decl2 + Environment.NewLine);
            }

Sedan har jag min refstars class som parsar resultatet. Och jag får position på variabla stjärnan och info om alla referensstjärnor.