Design and Analysis of Algorithms

Prof. Tim Roughgarden

COURSE DESCRIPTION

Overview course:   Introduction to fundamental techniques for designing and analyzing algorithms, including asymptotic analysis; divide-and-conquer algorithms and recurrences; greedy algorithms; data structures; dynamic programming; graph algorithms; and randomized algorithms.

Required textbook:   Kleinberg and Tardos, Algorithm Design, Covering Most of Chapters 4-6 will be 2005. We, some Parts of Chapter 13, and in The Book of Not A couple topics.

Prerequisites:   Introduction to proofs, and with with discrete Mathematics and Probability (eg, CS 103 and Stat116). If you have not taken a probability course, you should expect to do some independent reading during the course on topics including random variables, expectation, conditioning, and basic combinatorics.

1. INTRODUCTION (1/4/2011)

•  Why are you here?
•  Example: Internet Routing
•  Shortest-Path Algorithms
•  Example: Sequence Alignment (Part 1)
•  Example: Sequence Alignment (Part 2)
•  Beating Brute Force Search
•  Administrivia
•  Recursive Algorithms for Integer Multiplication
•  Gauss's Trick

2. BASIC DIVIDE & CONQUER (1/6/2011)

•  Merge Sort: Motivation
•  Merge Sort: Formal Definition
•  Running Time of Merge
•  Running Time of Merge Sort (Part 1)
•  Running Time of Merge Sort (Part 2)
•  Guiding Principles of CS161 (Part 1)
•  Guiding Principles of CS161 (Part 2)
•  Review of Asymptotic Notation
•  Asymptotic Notation: Example # 1
•  Asymptotic Notation: Example # 2
•  Big-Omega and Big-Theta

3. THE MASTER METHOD (1/11/2011)

•  Integer Multiplication Revisited
•  Master Method: Formal Statement (Part 1)
•  Master Method: Formal Statement (Part 2)
•  Master Method: Examples
•  Proof of Master Method (Part 1)
•  Proof of Master Method (Part 2)
•  Master Method: Interpretation of the Three Cases
•  Proof of Master Method (Part 3)

4. LINEAR-TIME MEDIAN (1/13/2011)

We apologize for the poor audio quality in this video.

•  The Selection Problem
•  Partitioning Around a Pivot
•  A Generic Selection Algorithm
•  Median of Medians
•  Recap
•  Rough Recurrence
•  Key Lemma (Part 1)
•  Key Lemma (Part 2)
•  The Substitution Method
•  Analysis of Rough Recurrence

5. GRAPH SEARCH & DIJKSTRA'S ALGORITHM (1/18/2011)

•  Graph Primitives
•  Representing Graphs: Adjacency Matrices and Lists
•  Breadth-First and Depth-First Search
•  Dijkstra's Algorithm (Part 1)
•  Dijkstra's Algorithm (Part 2)
•  Dijkstra's Algorithm: Example
•  Dijkstra's Algorithm: Proof of Correctness (Part 1)
•  Dijkstra's Algorithm: Proof of Correctness (Part 2)
•  Undirected Connectivity

6. CONNECTIVITY IN DIRECTED GRAPHS (1/20/2011)

•  Strongly Connected Components
•  SCCs: A Two-Pass Algorithm
•  Depth-First Search Revisited
•  Example (Part 1)
•  Example (Part 2)
•  Two-Tier Structure of Directed Graphs
•  Correctness of Algorithm
•  Correctness Intuition
•  Proof of Key Lemma
•  Structure of the Web, Small World Property, and PageRank

7. INTRODUCTION TO GREEDY ALGORITHMS (1/25/2011)

•  Course Roadmap
•  Application and Final Exam Info
•  A Scheduling Problem
•  Two Greedy Algorithms
•  Correctness Proof
•  Cost-Benefit Analysis

8. MINIMUM SPANNING TREES (1/27/2011)

•  Introduction
•  Prim's Algorithm
•  Graph Theory Preliminaries
•  Feasibility of Prim's Algorithm
•  The Cut Property
•  Proof of Cut Property
•  Key Exchange Argument
•  Naive Running Time and Heap Review
•  Implementing Prim with Heaps (Part 1)
•  Implementing Prim with Heaps (Part 2)
•  New Running Time Analysis

9. KRUSKAL'S ALGORITHM AND UNION-FIND (2/1/2011)

•  Kruskal's Algorithm
•  Proof of Correctness (Part 1)
•  Proof of Correctness (Part 2)
•  Naive Running Time
•  Union-Find Data Structure
•  Union by Rank
•  Rank and Size of Subtrees
•  Open Research Question
•  Path Compression
•  Path Compression and the Ackermann Function

10. PATH COMPRESSION AND CLUSTERING (2/3/2011)

•  Union-Find Review
•  Path Compression
•  Rank Blocks
•  Counting Pointer Updates
•  Clustering
•  A Greedy Algorithm
•  Correctness of Greedy Algorithm (Part 1)
•  Correctness of Greedy Algorithm (Part 2)

11. INTRODUCTION TO RANDOMIZED ALGORITHMS (2/8/2011)

•  The Min Cut Problem
•  The Contraction Algorithm
•  Probability Review
•  Analysis of Contraction Algorithm
•  Success Through Independent Trials
•  Final Comments

12. QUICKSORT (2/10/2011)

•  The QuickSort Algorithm
•  Best-Case and Worst-Case Pivots
•  Running Time of Randomized QuickSort
•  Probability Review Part 2
•  Linearity of Expectation
•  Counting Comparisons
•  Crux of Proof
•  Final Calculations
•  Lower Bound of Comaprison-Based Sorting

13. HASHING (2/15/2011)

•  Hashing: Introduction
•  Hashing: High-Level Idea
•  Running Time
•  How to Analyze Hashing
•  Universal Hashing
•  Proof of O (1) Running Time
•  A Universal Family
•  Universality: Proof Idea
•  Bloom Filters

14. BALANCED SEARCH TREES AND SKIP LISTS (2/17/2011)

•  Review of Binary Search Trees
•  Deleting from a BST
•  Red-Black Trees
•  Height of Red-Black Trees
•  Rotations
•  Insertion to a Red-Black Tree
•  Skip Lists: High-Level Idea
•  Skip Lists: Intuition for Analysis

15. INTRODUCTION TO DYNAMIC PROGRAMMING (2/22/2011)

•  Dynamic Programming: A First Example
•  Structure of Optimal Solution
•  A Recursive Algorithm
•  Bottom-Up Formulation
•  Reconstruction Algorithm
•  The Knapsack Problem
•  Dynamic Programming Solution

16. SEQUENCE ALIGNMENT (2/24/2011)

•  Sequence Alignment
•  Optimal Substructure
•  Dynamic Programming Solution
•  Dynamic Programming Algorithm
•  Shortest Paths with Negative Edge Lengths
•  On Negative Cycles
•  Optimal Substructure (Part 1)
•  Optimal Substructure (Part 2)

17. SHORTEST PATHS: BELLMAN-FORD AND FLOYD-WARSHALL (3/1/2011)

•  Single-Source Shortest Paths Revisited
•  The Bellman-Ford Algorithm
•  Negative Cycle Checking
•  Space Optimization
•  The Floyd-Warshall Algorithm (Part 1)
•  The Floyd-Warshall Algorithm (Part 2)
•  Dynamic Programming Algorithm

18. NP-COMPLETE PROBLEMS (3/3/2011)

•  Polynomial Time Algorithms and P
•  The Traveling Salesman Problem
•  Reductions
•  Completeness
•  NP-Completeness
•  Many Problems are NP-Complete
•  Does P = NP?
•  Coping with NP-Completeness
•  The Vertex Cover Problem
•  Smarter Brute-Force Search

19. APPROXIMATION ALGORITHMS (3/8/2011)

•  Performance Guarantees for Heuristics
•  A Greedy Knapsack Algorithm
•  Proof of Performance Guarantee
•  Final Exam Info
•  Better Performance via Dynamic Programming
•  Accuracy Analysis
•  Running Time Analysis

20. THE WIDER WORLD OF ALGORITHMS (3/10/2011)

•  Bipartite Matching
•  Stable Matching
•  Gale-Shapley Proposal Algorithm
•  Maximum Flow
•  Selfish Flow and Braess's Paradox
•  Linear Programming
•  Computational Geometry
•  Approximation and Randomized Algorithms
•  Complexity and Epilogue
• thanks

http://openclassroom.stanford.edu/

Must watch this world record.

ஸெல்மா லாகர் லெவ்: அறிமுகக்குறிப்பு - சுந்தர ராமசாமி

ஸெல்மா லாகர் லெவ் (1858 - 1940)

ஸெல்மா லாகர் லெவின் ‘மதகுரு’ (கெஸ்டா பெர்லிங்ஸாகா) தமிழில் 1957-ல் வெளிவந்திருக்கிறது. ஸ்வீடிஷ் நாவல். மொழிபெயர்ப்பு: க. நா. சுப்ரமணியம்.

முன்னுரையில் க.நா.சு. சொல்லுகிறார். ‘1931-ல் கல்கத்தாவில் இம்பீரியல் லைப்ரரியில் (இப்பொழுது இதன் பெயர் நேஷனல் லைப்ரரி) என்னுடைய பத்தொன்பதாவது வயதில் நான் முதன் முதலாக கெஸ்டா பெர்லிங்ஸாகாவைப் படித்தேன். அன்றுமுதல் இன்றுவரை இந்த இருபத்தைந்து வருடங்களில் நான் இதை ஆதி முதல் அந்தம் வரை ஐம்பது தடவைகளாவது படித்திருப்பேன். இப்பொழுது மொழி பெயர்க்க உட்காரும்போது கூட நாலு பக்கம் மொழிபெயர்த்தால் தொடர்ந்து நாற்பது பக்கம் படித்துவிட்டுத்தான் அடுத்த நாலுபக்கம் மொழிபெயர்ப்பது என்று ஏற்பட்டுவிட்டது. படிக்குந்தோறும், படிக்குந்தோறும் இந் நாவலில் என் ஈடுபாடு அதிகரிக்கிறது. ஒவ்வொரு தடவையும் புதிதுபுதிதாக நான் பல உணர்ச்சி அனுபவங்களைப் பெறுகிறேன். முந்திய தடவை கவனிக்காத பல புதுப்புது அர்த்தங்கள் ஒவ்வொரு தடவை வாசிக்கும் போதும் எனக்குத் தோன்றுகின்றன. ஸெல்மா லாகர் லெவ் என்ற ஸ்வீடிஷ் ஆசிரியையிடம் எனக்கு ஒவ்வொரு தடவையும் கெஸ்டா பெர்லிங்க்ஸாகாவைப் படிக்கும்போது பயமும் பக்தியும் அதிகரிக்கிறது. உலக இலக்கியத்தின் முதல் வரிசையில் நிற்கக்கூடியவை என்று நினைக்கத்தக்க நூல்களில் கெஸ்டா பெர்லிங்க்ஸாகாவும் ஒன்று என்பதை ஒவ்வொரு தடவையும் நான் ஊர்ஜிதப்படுத்துகிறேன்.’  (’மதகுரு’ முன்னுரையில்)

க.நா.சு. இந்த நாவல் மீது கொண்டுள்ள ஈடுபாடு மிக ஆழமானது. ‘மதகுரு போன்ற நூல்கள் உலக இலக்கியத்திலேயே ஒரு சிலதான்’ என்றும் சொல்கிறார். க.நா.சு. உலக விமர்சன அரங்கில் ஸெல்மா லாகர் லெவின் பெயர் கண்ணில் தென்படுவதே அபூர்வம். ஆங்கில மொழிக்குள் வராத விமர்சன உலகத்தில் அவர் சிறப்பாகக் கருதக்கூடியவராக இருக்கலாம். அப்பொழுதும் ஸெல்மா லாகர் லெவ் எனும் ஸ்வீடிஷ் நாவலாசிரியையின் மிகச்சிறந்த வாசகர் தமிழர் க.நா.சு.தான் என்று சொன்னால் தவற வாய்ப்பில்லை.

ஸெல்மா லாகர் லெவ் 1958-ம் ஆண்டு ஸ்வீடிஷ் மாகாணத்தில் வாம்லேண்ட் என்கிற இடத்தில் பிறந்தார். சிறுவயதில் இளம்பிள்ளை வாதம் தாக்க, ஊனமுற்று, இளமைக்காலத்தை அநேகமாக மருத்துவ மனைகளிலும், வீட்டுக்குள்ளும் கழித்தார். பின் ஆசிரியர் தேர்ச்சிப் பள்ளியில் பயின்று ஆசிரியையானார்.

ஸெல்மாவின் முதல் புத்தகமான ‘மதகுரு’தான் அவருடைய மிகச் சிறந்த புத்தகமாகவும் கருதப்படுகிறது. இப்புத்தகத்திலுள்ள கதைகள் அவர் வாழ்ந்த வான்லேண்ட் பிராந்தியத்தில், அவர் பிறப்புக்கு அரை நூற்றாண்டுக்கு முன் நிலவிய வாழ்வு குறித்த அவருடைய பாட்டியார் கூறியவற்றிலிருந்து, கிளைத்தவையாகும். 1909-ல் இவர் நோபல் பரிசு பெற்றார். பின் ஸ்வீடிவ் அக்காடமியும் இவரை உறுப்பினராக்கிக் கவுரவித்தது. அரசியல் பற்றியோ, மதம் பற்றியோ தீவிரமான அபிப்ராயங்கள் சொல்லாமல், பெண் எழுத்தாளர்களின் பட்டுக்கொள்ளாத ஜாக்கிரதையுடன் வாழ்ந்தார்.  1940-ல் காலமானர்.

லாகர் லெவின் மிக முக்கியமான வேறு நூல்கள் ‘போர்த்துகலியாவின் சக்ரவர்த்தி’, ‘ஜெருசலம்’ ஆகியவை. அதே போல் ‘நில்லின் அதிசய வீரக்கதைகள்’ இவர் எழுதிய மற்றொரு புகழ் பெற்ற புத்தகம். குழந்தைகளுக்காக எழுதியது. மொழிபெயர்ப்பில் பல தேசக் குழந்தைகளுக்கும் பரிச்சயப்பட்டது.

‘மதகுரு’ விவலிய நூல் போல் மேலிட்ட எளிமையும், உள்ளே ஆழமும் கொண்டது. நாடோடிக் கதைகள், புராணக் கதைகள் ஆகியவற்றின் சூழல் நிறைந்தஹ்டு. அவர் காலத்தைத் தாண்டிய ஒரு சுதந்திர உலகம் அது. குஸ்தாஃபிளாபர்ட், எமலி ஜோலா ஆகியோர் எதார்த்தக் கொடியை உயரப் பறக்கவிட்டுக் கொண்டிருக்கும்போது, ஸெல்மா அவருடைய சொந்த உலகில் ஆழ்ந்து, தர்க்க மூளை ஏற்றுக்கொள்ள மறுக்கும் சம்பவங்களை விதைத்து, புராண மரபுடன் ஒரு கதையைப் பல்வேறு அர்த்தங்கள் தொனிக்கும்படி எழுதிக்காட்டி, அதில் வெற்றியும் பெறுகிறபோது, எதார்த்தம் நாவலின் தவிர்க்க முடியாத அம்சம் அல்ல என்றும் சொல்லலாம், அல்லது மிகச்சிறந்த இக்கதை நாவல் அல்ல என்றும் சொல்லலாம். புராண மரபு கொண்ட இந்திய மனம் இந்நாவலை விசேஷமாக ஏற்கக் கூடியதுதான். ஸாகா என்ற வார்த்தையின் மூலப்பொருளே பழைய சாகசக் கதைகள் என்பதுதானாம்.

இந்த நாவலைத் தமிழில் படித்திருப்பவர்களாக நான் நாலைந்து பேர்களை நிச்சயம் சந்தித்திருப்பேன். உவகையுடன் இச்செய்தியை இங்கு குறிக்கிறேன். கிருஷ்ணன் நம்பிக்கு இந்த நாவல் ரொம்பவும் பிடித்திருந்தது. கி. ராஜநாராயணனும், தீப. நடராஜனும் இந்த நாவலைப் படித்தார்கள் என, போன ஜென்ம வாசனைப் போல் ஒரு நினைவு. வல்லிக்கண்ணன் படித்திருக்கக்கூடும். நகுலன் ஆங்கிலத்திலோ, தமிழிலோ அவசியம் படித்திருப்பார். G.M.L. பிரகாஷ் படித்திருக்கக் கூடும். இதுதவிர இன்னும் ஒரு அரை டஜன் பேர்கள் அல்லது ஒரு டஜன் பேர்கள் கூட நிச்சயம் படித்திருப்பார்கள். தமிழில் வெளி வந்து 22 வருடங்கள் ஆகியிருக்கின்றன. சிறந்த புத்தகங்கள் மெல்ல மெல்ல இலக்கிய பீடத்தைப் பற்றிக் கொண்டுவிடும் என விமர்சகர்கள் தொடர்ந்து நம்பிக்கைத் தெரிவித்து வருகிறார்கள். க.நா.சு.வின் தமிழ் சேவை வீண் போகாது என நம்புவோமாக.

- நன்றி கொல்லிப்பாவை இதழ்த்தொகுப்பு.

The greatest civilization of the world....(What was found at the site of Mohenjo Daro corresponds exactly to Nagasaki by an atomic bomb.)

An ancient, heavily populated city in Pakistan was instantly destroyed 2,000 years before Christ by an incredible explosion that could only been caused by an atomic bomb.

That's the mind bogging conclusion of a British researcher, David Davenport, who spent 12 years studying ancient Hindu scripts and evidence at the site where the great city - Mohenjo Daro once stood.

Mounam Pesiyadhe - Tamil Love Short Film - English Subtitles

Quicker, more sustainable way to produce hydrogen fuel

A new method will allow researchers to make larger-than-ever quantities of hydrogen from water, and can be powered by renewable energy sources.

Scientists in Scotland have just taken a huge step towards producing clean hydrogen fuel in a sustainable way.

Unlike fossil fuels, hydrogen gas can be burned to generate electricity without producing toxic emissions. It’s produced easily from water through a process known as electrolysis, which uses electricity to break the bonds between hydrogen and oxygen, to release them as gas.

But, and this is a big but, the problem is where that electricity comes from - current methods are driven by the burning of fossil fuels, which sort of defeats the whole point of making hydrogen fuel in the first place.

This new method, however, developed by chemists from the University of Glasgow in Scotland, is 30 times faster than the current technique, and also requires a far lower energy load, so that it can be powered by renewable energy sources such as solar or wind. The process is reported in this week’s edition of Science.

The most advanced method of hydrogen production at the moment is known as proton exchange membrane electrolysers (PEMEs). As a University of Glasgow press release explains: “PEMEs require precious metal catalysts to be held in high-pressure containers and subjected to high densities of electric current, which can be difficult to reliably achieve from fluctuating renewable sources.”

This new method, on the other hand, allows larger-than-ever quantities of hydrogen gas to be produced at atmospheric pressure and using lower power loads, such as those generated by renewable power sources.

Even more impressive, it also stores the hydrogen in a carbon-free liquid, which solves some of the safety issues which have so far limited the use of hydrogen fuel.

It does this by using a “liquid sponge” to lock up the protons and the electrons that have the potential to create hydrogen. The “sponge” is a metal oxide that starts off yellow and then turns blue as it's loaded up with this potential to create hydrogen.

"What you do is just turn on the electricity and you split water and you produce this liquid,” Lee Cronin, the leader of the team, told Ken Macdonald from BBC News Scotland. 

"When you want to produce the hydrogen, you don't have to add any more electricity. You just pour this over a catalyst and out comes the hydrogen. And it comes out 30 times faster than the equivalent commercial device."

The method can also help engineers use renewable energy more efficiently. Electricity generated from solar and wind farms is currently difficult to capture, but this breakthrough will allow that electricity to be used immediately to generate hydrogen gas from water, which is much easier to store and transport.

“The potential for reliable hydrogen production from renewable sources is huge. The sun, for example, provides more energy in a single hour of sunlight than the entire world’s population uses in a year. If we can tap and store even a fraction of that in the coming years and decrease our reliance on fossil fuels it will be a tremendously important step to slowing climate change,”said Cronin in the press release.

Sources: Science and The University of Glasgow