Deze week ben ik begonnen aan een nieuw project!
Dit is opnieuw een intern project dat ik maak voor Boondoggle om het werk te vereenvoudigen. Wat ik moet maken is helemaal geen website, maar een console applicatie.
Concreet, Rabobank is een grote klant van Boondoggle en maakt gebruik van een extern ticket systeem om issues te reporten aan de Boondoggle account managers. Deze moeten dan deze issues bekijken en plaatsen op het intern Boondoggle issue systeem op Sharepoint .
Mijn nieuw project bestaat er uit deze stap over te slaan. Het is de bedoeling dat ik met een script de nieuwe issues van de website op haal en deze post in de Sharepoint issues.
Leuk project?
Zeker! Het is een hele uitdaging om via een script op deze website te proberen in te loggen. Vermits mijn stagebegeleider de volledige paasvakantie verlof heeft heb ik weinig hulp momenteel. Voor hij vertrok heeft hij mij hierover wat uitleg gegeven. Ik heb enkele termen gekregen die mij op weg moesten helpen om dit project tot een goed einde te krijgen.
- Httpwebrequest
- Cookiecontainer
- Scraping
- Google
- HTTPS
- Regex ???
Maandag ben ik begonnen met het zoeken naar de betekenis van al deze termen. Daarna ben ik de website beginnen onderzoeken. Ik heb wat uitleg gevraagd aan de account director hoe hij deze website juist gebruikt en wat de belangrijke elementen zijn.
Vervolgens ben ik beginnen schrijven aan mijn login script voor de website. Dit was natuurlijk moeilijker dan verwacht. De website maakt gebruik van een certificaat en HTTPS in plaats van de standaard HTTP verbinding. Ik heb van de andere programmeurs enkele hints gekregen, ik kon best gebruik maken van de tool Fiddler. Dit is een tool die al je internetverkeer in de gaten houdt. Hier kan je alle requests en responses bekijken die je computer met het internet doet.
Hier kan je veel bruikbare informatie uithalen!
Na 2 dagen was het loginscript klaar en werkte het voor de volle 100%.
Volgende stap is de printvriendelijke versie van een issue opvragen omdat daar alle informatie over een issue mooi op 1 pagina staat. Dat maakt het makkelijker om de content te gaan scrapen.
Scrapen is eigenlijk letterlijk de content van een pagina schrapen. Je moet via regex (regular expressions) op zoek in de html code naar het elementje dat je wil kopiëren.
Momenteel ben ik nog steeds bezig met het schrijven van code om al deze content op te vragen en mooi in variabelen te steken. Deze variabelen zijn nodig voor mijn volgende stap, namelijk inloggen via mijn script op de sharepoint server en daar al deze variabelen wegschrijven in een nieuwe issue.
WAT HEB IK GELEERD:
- Hoe je via een beveiligde verbinding met een script kan inloggen op een website.
- Wat scrapen is
- Hoe je moet scrapen –> gebruik maken van regular expressions
- Gebruik maken van HttpWebRequests
- Gebruik maken van de Fiddler web monitor.
WELKE MOEILIJKHEDEN HEB IK ONDERVONDEN:
- http VS. https
- Hoe je een “bad certificate error” moet vermijden
- Geen website maar een console application???
HOE HEB IK DEZE MOEILIJKHEDEN OPGELOST:
- Hulp vragen aan de accounts over het gebruik van de website
- ASP.NET Debugging
- Fiddler
3 WOORDEN GEVOEL:
logisch denken, verbetering, voldoening
Screenshot Logboek Week 5
(Klik op de afbeelding om te vergroten!)
